Eine Auto Eval Plattform wurde eingeführt, um KI-Modelle datengetrieben zu bewerten und menschliche Eingriffe zu minimieren. Dies adressiert Herausforderungen wie Inkonsistenz, Subjektivität und Kontextverständnis von KI. Die Plattform standardisiert die Qualitätsprüfung und bietet Tools, um Eingaben und Ausgaben zu analysieren, Kriterien festzulegen und Ergebnisse zu visualisieren. Ziel ist eine einheitliche und effiziente KI-Bewertung bei wachsendem Datenvolumen.
Webex hat begonnen, seine KI-Modelle nicht nur in alle Produkte zu integrieren, sondern sie auch zu evaluieren. Eine der grössten Herausforderungen beim Einsatz von KI ist nämlich, die Qualität zu bewerten. Nur die Zahl falsch geschriebener Wörter zu zählen, reicht dabei nicht aus. Seitdem generative KI eingesetzt wird, sind die Ansprüche an die Bewertung grösser geworden.
Zu den Herausforderungen einer Qualitätsprüfung gehört zum Beispiel, ob und wie subjektiv die KI ist und wie sie mit Kontext umgeht. Oft kommt es auch vor, dass die KI nicht konsistent in ihren Antworten ist und bei gleichen Fällen unterschiedliche Ergebnisse liefert. Nach Auffassung von Webex ist es nicht einfach, den Output qualitativ zu messen. Bislang hat man dies menschlichen Mitarbeitern überlassen. Das kann aber angesichts der grossen Datenmengen auf Dauer keine Lösung sein.
Webex hat deshalb die Auto Eval Platform eingeführt. Damit können Teams in der Cisco-Umgebung ihre KI-Systeme selbst bewerten.
„Das Ziel dieser Plattform ist es, einen datengetriebenen Ansatz bei der KI-Bewertung zu nutzen und menschliche Eingriffe so weit wie möglich zu reduzieren“
so Webex in einer Mitteilung. Ausserdem wolle man damit auch die KI-Bewertung aller Cisco-Produkte vereinheitlichen.
Die Plattform soll in der Lage sein, mehrere Qualitätsmerkmale zu untersuchen, und ist nach Unternehmensangaben sorgfältig getestet worden. Zunächst werden bei der Bewertung Daten eingespielt, und zwar sowohl Eingaben als auch Ausgaben. Dann können die Bewertungsgrundlagen festgelegt werden. Anschliessend werden die Daten evaluiert und interpretiert. Zum einfacheren Verständnis werden die Ergebnisse auch visualisiert.
WebEx
WebEx ist eine Videokonferenz- und Kollaborationsplattform, die von Cisco entwickelt wurde. Sie ermöglicht virtuelle Meetings, Webinare, Teamarbeit und Schulungen in Echtzeit. Mit Funktionen wie Bildschirmfreigabe, Chat, Dateiübertragung und Whiteboarding bietet WebEx eine umfassende Lösung für die Zusammenarbeit. Sie ist skalierbar, sicher und wird weltweit von Unternehmen, Bildungseinrichtungen und Teams genutzt, um effizient zu kommunizieren und remote zu arbeiten.