KI-Agenten können nicht nur Antworten liefern, sondern E-Mails verschicken, Dateien verändern oder Zahlungen auslösen. Dadurch haben Fehler und Prompt-Injection direkte Folgen. Unternehmen müssen deshalb die Handlungsfreiheit der Systeme begrenzen: Agenten erhalten nur benötigte Werkzeuge, eng gefasste Zugriffsrechte und ein angemessenes Mass an Autonomie. Ein Assistent, der E-Mails zusammenfasst, braucht beispielsweise keine Versandberechtigung. Bei Rückerstattungen können geringe Beträge automatisch freigegeben werden, während grössere oder häufige Vorgänge menschliche Kontrolle erfordern. Warn- und Stoppschwellen sollen verhindern, dass einzelne Fehlentscheidungen oder wiederholte Manipulationen erhebliche Schäden verursachen.
KI-Agenten versprechen, künstliche Intelligenz über das Beantworten von Fragen und das Generieren von Inhalten hinaus weiterzuentwickeln. Durch die Anbindung von Modellen an Tools und Geschäftssysteme können Unternehmen der KI die Fähigkeit verleihen, in ihrem Namen Maßnahmen zu ergreifen. Diese Fähigkeit verändert jedoch auch die Sicherheitslage. Ein Chatbot, der eine ungenaue Antwort liefert, stellt eine bestimmte Art von Risiko dar, bei dem sein menschlicher Bediener als Verteidigungslinie fungiert. Ein KI-Agent, der E-Mails versenden, Dateien ändern, Befehle ausführen oder Kundenrückerstattungen vornehmen kann, kann eine Fehlentscheidung in eine unmittelbare Konsequenz in der realen Welt verwandeln.
Die Herausforderung besteht darin, dass große Sprachmodelle (Large Language Models, LLMs) nicht mit absoluter Zuverlässigkeit arbeiten können. Aufgrund ihres probabilistischen Charakters sind unerwartete Ergebnisse weiterhin möglich. Prompt-Injection schafft ein weiteres Problem: ein LLM hält keine zuverlässige Sicherheitsgrenze zwischen Anweisungen und den von ihm verarbeiteten Daten aufrecht, deshalb können böswillige Inhalte sein Verhalten beeinflussen. Maßnahmen zur Verbesserung der Zuverlässigkeit und zur Reduzierung von «Prompt Injection» sind zwar sinnvoll, werden aber niemals Perfektion erreichen. Sicherheitsteams müssen daher über den bloßen Versuch hinausdenken, ein KI-System daran zu hindern, jemals eine falsche Entscheidung zu treffen. Sie benötigen auch Kontrollmechanismen, die begrenzen, was passiert, wenn dies doch geschieht.
Übermäßige Handlungsfreiheit verändert die Risikogleichung
Dies ist das als «übermäßige Handlungsfreiheit» bezeichnete Problem: einem KI-System mehr Handlungsfähigkeit zu geben, als es benötigt, wodurch der Wirkungsradius jeder fehlerhaften oder manipulierten Operation erweitert wird. Das Konzept lässt sich auf drei Grundsätze reduzieren: Funktionalität minimieren, Berechtigungen minimieren und Autonomie minimieren.
Funktionalität zu minimieren bedeutet, einem Agenten nur die für seine Aufgabe notwendigen Werkzeuge zur Verfügung zu stellen. Stellen Sie sich einen Agenten vor, der dazu dient, einen Posteingang zu lesen und eine tägliche Prioritätenliste zu erstellen. Er benötigt Zugriff auf E-Mails, aber er benötigt keinen Zugriff auf jede Datei auf dem Computer des Benutzers.
Das gleiche Prinzip gilt für die Fähigkeiten einzelner Werkzeuge. Wenn ein Agent eine Datei lesen muss, geben Nutzer ihm eine Funktion, die ausschließlich Dateien liest. Nutzer sollten jedoch keine willkürliche Befehlsausführung ermöglichen, nur weil einer der Befehle, die er ausführen könnte, zufällig das Lesen einer Datei beinhaltet.
Der Unterschied ist im Wesentlichen der zwischen einem Nussknacker und einem Vorschlaghammer. Beide können zwar eine Nuss knacken, aber der eine birgt ein größeres Schadenspotenzial.
Least-Privilege auf KI-Identitäten anwenden
Die Minimierung von Berechtigungen erweitert die bekannten Prinzipien der geringsten Berechtigungen auf Agenten. Der Posteingangsassistent benötigt beispielsweise die Berechtigung, Nachrichten zu lesen. Er benötigt keine Berechtigung, diese zu versenden. Eine bösartige E-Mail mit einer Eingabeaufforderung könnte versuchen, den Agenten dazu zu verleiten, sensible Informationen an andere Stellen weiterzuleiten, doch jeder erfolgreiche Angriff wird zunichte gemacht, wenn ein Agent keine E-Mails versenden kann.
OAuth-Bereiche können dabei helfen, einen im Namen eines Nutzers agierenden Agenten so einzuschränken, dass er nur die erforderlichen Berechtigungen erhält. Wenn Agenten unter ihrer eigenen Identität agieren, sollten diese Identitäten ebenfalls nur die für ihre definierten Funktionen notwendigen Berechtigungen erhalten.
All dies ist konzeptionell nicht neu. Die Schwierigkeit liegt darin, diese Kontrollen konsistent und reibungslos umzusetzen, da agentenbasierte Systeme immer komplexer werden und mit anderen Agenten und Diensten interagieren.
Die menschliche Aufsicht muss verhältnismäßig sein
Das dritte Prinzip, die Minimierung der Autonomie, erfordert eine differenziertere Betrachtung. Für jede KI-Aktion eine menschliche Genehmigung zu verlangen, klingt sicher, wird aber schnell unpraktikabel. Nicht nur, dass ein Mensch schnell überlastet wäre, sondern wenn eine Person dieselbe harmlose Aktion 100 Mal genehmigt, ist die Wahrscheinlichkeit groß, dass sie die 101. genehmigt, ohne sie sorgfältig zu prüfen.
Ein besserer Ansatz unterscheidet zwischen reversiblen Aktionen mit geringem Risiko und Entscheidungen mit höherem Risiko oder irreversiblen Entscheidungen. Man stelle sich einen Kundendienstmitarbeiter vor, der befugt ist, Rückerstattungen zu veranlassen. Es könnte sinnvoll sein, Rückerstattungen unter einem gewissen Wert wie 20 Euro ohne individuelle Genehmigung zuzulassen. Eine Rückerstattung über diesem Wert könnte eine menschliche Bestätigung erfordern.
Auch das Volumen spielt eine Rolle. Zwanzig kleine Rückerstattungen an einem Tag könnten normale Geschäftstätigkeit darstellen; 10.000 sollten eine Überprüfung auslösen. Kontrollen sollten auch die kumulative Aktivität berücksichtigen, damit ein Angreifer nicht einfach wiederholt Anträge über 19,99 Euro stellen kann, um unter einem Schwellenwert pro Transaktion zu bleiben. Dies schafft Raum für abgestufte Kontrollmechanismen.
Eine «gelbe Linie» kann ungewöhnliche Aktivitäten erkennen, ohne den Betrieb sofort zu unterbrechen. Wird sie überschritten, löst dies eine «Human-on-the-Loop»-Überwachung aus: Der Prozess läuft weiter, aber eine Person wird alarmiert, um ihn zu überwachen.
Eine «rote Linie» stellt eine Schwelle mit höherem Risiko dar. Wird sie überschritten, wird die autonome Aktivität gestoppt und eine «Human-in-the-Loop»-Genehmigung erforderlich, was bedeutet, dass der Prozess erst fortgesetzt werden kann, wenn eine Person ihn ausdrücklich genehmigt.
Menschen müssen nicht bei jeder KI-Interaktion eingreifen, aber Organisationen sollten auch keine autonomen Agenten einsetzen und davon ausgehen, dass anfängliche Berechtigungen und Anweisungen diese innerhalb sicherer Grenzen halten.
Auf Fehler ausgelegt, nicht auf perfektes Verhalten
KI-Sicherheit darf nicht auf der Annahme beruhen, dass sich Modelle immer wie beabsichtigt verhalten. Prompt-Injektion, Halluzinationen und unerwartete Interaktionen zwischen Agenten machen dies unrealistisch. Bei der Kontrolle übermäßiger Handlungsautonomie geht es weniger darum, jedes unerwünschte Ergebnis zu verhindern, als vielmehr darum, den Schaden zu begrenzen, wenn unvermeidlich etwas schiefgeht.
Unternehmen, die Agenten einsetzen, sollten sich daher drei Fragen stellen:
- Benötigt diese KI jede ihrer Funktionen?
- Benötigt sie jede ihrer Berechtigungen?
- Und muss sie jede Entscheidung autonom treffen?
KI-Agenten beziehen ihren Wert daraus, dass sie handeln können. Sie abzusichern bedeutet nicht, diese Fähigkeit zu entfernen. Es bedeutet, sinnvolle Grenzen zu setzen und zu wissen, wann ein Mensch in den Kreislauf eingebunden oder in der Lage sein muss, die Notbremse zu ziehen.
Fazit
Organisationen gehen zunehmend dazu über, nicht mehr nur mit KI-Agenten zu experimentieren, sondern diese in alltägliche Geschäftsprozesse zu integrieren. Es wird immer wichtiger, diese Grenzen richtig zu setzen. Die Unternehmen, die agentenbasierte KI erfolgreich einsetzen, werden das richtige Gleichgewicht finden: Sie gewähren den Systemen genügend Autonomie, um einen Mehrwert zu schaffen, ohne dass diese Autonomie unnötige Risiken mit sich bringt. Bei KI-Produkten für Endnutzer sollte dieses Gleichgewicht vom Nutzer konfigurierbar sein, damit er seine eigene Risikobereitschaft festlegen und diese anpassen kann, je nachdem, wie sich sein Vertrauen in ein System entwickelt.
KI-Agenten benötigen keine unbegrenzte Freiheit, um nützlich zu sein. Sie benötigen genügend Freiheit, um ihre Aufgaben zu erfüllen, gestützt durch Kontrollmechanismen, die verhindern, dass eine unerwartete Entscheidung zu einem vermeidbaren Sicherheitsvorfall wird.
Autor: Andy Smith, Certified Instructor beim SANS Institute.
