Wer schaut eigentlich den Agenten auf die Finger?

KI-Agenten haben mittlerweile eine große Verantwortung. Sie arbeiten weitgehend autonom, führen Gespräche, lösen Anfragen und nehmen Produkte zurück. Die Automatisierung hat vielen Unternehmen eine Erleichterung gebracht – aber einige vergessen die Gefahr, die darin liegt. Denn während man für die Arbeit von menschlichen Mitarbeitern – neben Erfolgsdaten – noch ein Gefühl dafür entwickeln kann, wenn mit ihnen was nicht stimmt, sieht man bei KI-Agenten Probleme nicht gleich – oder wenn sie zu spät sind.

Eine KI ins Unternehmen zu integrieren, ist nur der erste Schritt. Der Zweite ist die Kontrolle. AI-Agent Observability ist der technische Ausdruck dafür. Dahinter verbergen sich Werkzeuge, mit denen Firmen die Qualität der KI-Agenten überwachen können.

Die eigentliche Arbeit der virtuellen Arbeiter ist für uns nicht sichtbar. Sie führen, ihrem Job entsprechend, die Anweisungen durch und kooperieren mit anderen Agenten. Die Entwickler schauen meist nur darauf, ob das System technisch funktioniert. Ebenso wichtig ist aber zu kontrollieren, dass sich keine Fehler einschleichen. Solche können auf lange Sicht teuer zu stehen kommen.

Kleine Fehler, die schnell übersehen werden können

Ein Beispiel: KI-Agenten nehmen Reklamationen an. Diese basieren auf festgelegten Regeln, wann ein Produkt ausgetauscht wird und wann nicht. Irgendwann beginnt einer der Agenten selbstständig, eine der Regeln zu ignorieren. Zum Beispiel schickt er einen Austausch für ein Gerät, das ins Wasser gefallen ist. Der Fehler wird erst bemerkt, wenn herauskommt, dass es von einem Gerät ungewöhnlich viele Reklamationen gibt.

Ebenso möglich ist, dass KI-Agenten im Chat, gerade bei längeren Konversationen, ungenau werden, falsche Informationen geben oder die Emotionen des Kunden nicht verstehen. Um das zu verhindern, braucht es Überwachungswerkzeuge.

Sie messen die Genauigkeit von Antworten, zu welchem Zeitpunkt und wie oft Gespräche an Menschen übergeben wurden, wie schnell Anfragen beantwortet werden und ob es Veränderungen gibt, wenn Konversationen länger als gewöhnlich dauern.

KI-Agenten haben ihre Grenzen

Ein Beispiel dafür ist Klarna. Das Fintechunternehmen war stolz darauf, ganz vorne bei der KI im Kundenservice dabei zu sein. Die Ergebnisse waren beeindruckend: Kunden lösen ihre Probleme nun in weniger als 2 Minuten, gegenüber zuvor 11 Minuten, und die Zahl der wiederholten Anfragen ist um 25% zurückgegangen.

Aber als die Daten zeigten, dass sich die Kunden bei komplexen Fragen nicht ernst genommen fühlten, änderte Klarna seinen Kurs. Das Unternehmen stellt nun wieder menschliche Mitarbeiter ein und passt seine Strategie an – KI bearbeitet zwei Drittel der Anfragen, während Menschen eingreifen, wenn es auf Feinheiten ankommt.

So überwachen Sie Ihre KI-Agenten

Da KI-Agenten nicht zum monatlichen Mitarbeitergespräch kommen können, braucht es technische Werkzeuge, um sie zu kontrollieren.

1. Das Dashboard: In diesem Kontrollzentrum werden die Daten der KI-Agenten analysiert. Werkzeuge wie Azure Monitor, LangSmith oder Langfuse bieten Ihrem Team Überblick in Echtzeit über die Leistung der KI– darunter Bewertungen der Antwortqualität, Eskalationsraten, durchschnittliche Bearbeitungszeit und vieles mehr.
2. Qualität definieren: Damit die Agenten wissen, was gute Arbeit ist, muss diese ihnen gezeigt werden. Sie geben dem System vor: Eine gute Antwort sollte relevant, korrekt und prägnant sein. Das System bewertet dann automatisch jede KI-Antwort anhand dieser Kriterien und markiert alles, was diesen Anforderungen nicht entspricht.
3. Meldungen bei Abweichungen: Damit sie nicht ununterbrochen auf die Daten der Agenten schauen müssen, sollten ihre Werkzeuge ein Alarmsystem haben. Wenn etwas schiefgeht – beispielsweise bei langen Antwortzeiten oder niedrigen Qualitätsbewertungen – löst das Dashboard eine automatische Warnmeldung aus. Mithilfe dieser Warnmeldungen können Teams Probleme in Echtzeit erkennen und beheben, bevor sie sich auf die Nutzer auswirken.
4. Muster erkennen: Gute Werkzeuge müssen darin trainiert werden, aufkommende Muster früh zu erkennen. Wenn ein KI-Agent Fragen regelmäßig an einen menschlichen Mitarbeiter weiterleitet, sind möglicherweise bessere Trainingsdaten oder ein spezielles Tool erforderlich.
5. Ein Mensch über den Agenten: Zwar kann auch das Dashboard von anderen Agenten überwacht werden, aber das menschliche Gehirn ist immer noch komplexer als jeder Computer. KI ist als Unterstützung da, nicht um das Geschäft zu übernehmen. Deshalb sollte mindestens ein Mitarbeiter am Kontrollzentrum sitzen und auf Abweichungen reagieren.

Die Hürden bei der Überwachung

Einfach ist das nicht, es gibt einige Hürden. So kann es sein, dass Datenschutzgründe die Verarbeitung von Kundendaten in einem anderen System verhindern. Im Zweifel müssen die Daten zuerst anonymisiert werden.

Eine andere Herausforderung ist die Unsichtbarkeit von Fehlern. Je komplexer die KI-Agenten eingesetzt werden, umso schwieriger ist es für die Kontrollwerkzeuge, frühzeitige Abweichungen zu erkennen. Hier kann manchmal das Bauchgefühl des menschlichen Leiters gute Arbeit leisten.

Und dann ist da noch das Klarna-Problem. Wenngleich die KI-Agenten hervorragende Arbeit leisten, können Kunden unzufrieden sein, weil ihnen die menschliche Komponente fehlt. Das erkennt ein Kontrolldashboard nicht. Auch wenn Kunden angeben, dass sie mit einem Service nicht zufrieden waren, bedeutet das noch nicht, dass man weiß, warum das so ist.

Studien zeigen, dass 86% der Kunden bei der Lösung heikler oder komplexer Probleme Empathie gegenüber Schnelligkeit bevorzugen. Es bedarf menschlicher Einsicht, um die Gründe dafür zu verstehen und das Problem zu beheben.