KI-Agenten werden in Unternehmen zunehmend eingesetzt, um Prozesse zu automatisieren und digitale Workflows zu steuern, auch in Kundencentern. Microsoft-Sicherheitsforscher warnen jedoch, dass solche Agenten nach der Bereitstellung häufig weitreichende Zugriffe und Berechtigungen besitzen. Werden ihre Aktionsabfolgen manipuliert, kann es zu unbeabsichtigtem, aber formal erlaubtem Verhalten kommen, das mit klassischen Sicherheitsmechanismen schwer erkennbar ist. Microsoft empfiehlt daher eine kontinuierliche Überwachung und Kontrolle des Agentenverhaltens im laufenden Betrieb.
KI-Agenten werden für Unternehmen zunehmend zu einem zentralen Instrument, um Prozesse zu automatisieren, die Produktivität zu steigern und interne Daten sowie Systeme nahtlos in digitale Workflows einzubinden. Das gilt auch für Kundencenter, in denen solche Agenten Anfragen bearbeiten, Daten abrufen oder Aktionen in angebundenen Systemen auslösen können.
Microsoft-Sicherheitsforscher weisen darauf hin, dass KI-Agenten nach ihrer Bereitstellung häufig Zugriff auf sensible Informationen haben und privilegierte Aktionen allein auf Basis von natürlichsprachlichen Eingaben ausführen. Gelingt es Angreifern, die Planung oder Abfolge dieser Aktionen zu beeinflussen, kann es zu unbeabsichtigtem Verhalten kommen, das formal innerhalb der erlaubten Berechtigungen liegt – und deshalb mit klassischen Sicherheitsmechanismen nur schwer zu erkennen ist.
Gerade für Kundencenter ist das problematisch
Dort verarbeiten Agenten oft personenbezogene Daten, Vertragsinformationen oder Zahlungsdetails. Werden solche Systeme manipuliert, könnten sie ungewollt Daten preisgeben, falsche Änderungen vornehmen oder sicherheitskritische Aktionen auslösen, ohne dass dies sofort auffällt.
Microsoft rät deshalb dazu, das Verhalten von KI-Agenten nicht nur bei der Entwicklung, sondern auch während des laufenden Betriebs zu überwachen und zu kontrollieren. Entscheidend sei ein Mechanismus, der prüft, ob einzelne Aktionen eines Agenten tatsächlich dem vorgesehenen Zweck und den internen Sicherheitsrichtlinien entsprechen.
In Microsoft Copilot Studio wird dies nach Angaben des Unternehmens durch Laufzeit-Schutzmaßnahmen unterstützt. Bei jeder sogenannten Tool Invocation – also dann, wenn ein Agent ein angebundenes System oder eine Funktion aufrufen will – führt Microsoft Defender Sicherheitsprüfungen in Echtzeit durch. Erst danach wird entschieden, ob die Aktion ausgeführt oder blockiert wird. Auf diese Weise erhalten Sicherheitsteams Einblick in das aktuelle Verhalten der Agenten, ohne deren Flexibilität und Nutzen für den operativen Betrieb einzuschränken.
Microsoft beschreibt zudem mehrere Angriffsszenarien, bei denen Angreifer versuchen, Agenten so zu manipulieren, dass sie gefährliche oder unerwünschte Aktionen ausführen – oft ohne Wissen der Entwickler oder Betreiber. In solchen Fällen können Laufzeitprüfungen, etwa über webhook-basierte Kontrollen, diese Risiken erkennen und in Echtzeit stoppen. Das Unternehmen bietet eine Reihe von Sicherheitschecks auf seiner Webseite an.
Microsoft
Microsoft (Nasdaq: MSFT) entwickelt Plattformen und Tools, die auf KI basieren, um innovative Lösungen zu liefern, die den sich wandelnden Anforderungen unserer Kunden gerecht werden. Das Technologieunternehmen setzt sich dafür ein, KI auf breiter Basis verfügbar zu machen und dabei verantwortungsbewusst vorzugehen - mit dem Ziel, jeden Menschen und jedes Unternehmen auf der Welt in die Lage zu versetzen, mehr zu erreichen.
