KI-Sprachbots im Kundenservice eröffnen eine neue Angriffsfläche: Bei Audio Prompt-Injektionen schleusen Angreifer Befehle über Sprache oder manipulierte Tonsignale direkt in KI-Modelle ein. Herkömmliche Schutzmechanismen, die nur Transkripte prüfen, können solche Angriffe übersehen. Forschende zeigen, wie sich Sprachmodelle dadurch zu unerwünschten Antworten oder Handlungen bewegen lassen. Sicherheitsexperten empfehlen deshalb, sowohl das Audiosignal als auch den gesprochenen Inhalt zu prüfen.
Immer mehr Banken, Versicherungen und Einzelhändler verwenden KI-Bots, die für sie Anrufe annehmen und die Audioaufzeichnung des Anrufers direkt an ein Modell weiterleiten, das zuhört und mit dem Nutzer spricht. Diese Neuerung eröffnet Angreifern eine Einfallsmöglichkeit, die es so bisher nicht gab: Die Audio Prompt-Injektion, bei der die Anweisung an das Modell als Ton eintrifft. Anders als die textbasierte Prompt-Injektion ist sie anfälliger auf schädliche Anweisungen oder Fragen und für Teams, die Sprachagenten entwickeln oder verwenden, ist es wichtig zu verstehen, wie diese Angriffe funktionieren und was dagegen unternommen werden kann.
Bis vor kurzem waren die meisten Sprachassistenten als Pipelines aufgebaut: Sprache wurde in Text umgewandelt, ein Textmodell verfasste die Antwort, und die Antwort wurde wieder in Sprache umgewandelt – so gab es stets ein Transkript, das als Leitplanke dienen konnte. Speech-to-Speech-Modelle überspringen den Text und hören direkt zu, was Gespräche schneller und natürlicher macht, jedoch auch die einzige Stelle beseitigt, an der textbasierte Schutzmassnahmen greifen könnten.
In einer Studie beantworteten Open Source-Audiomodelle schädliche Fragen in mehr als zwei Dritteln der Fälle. In einer anderen variierten Forscher so lange bei Geschwindigkeit, Tonhöhe und Hintergrundgeräuschen, bis ein führendes Echtzeit-Sprachmodell auf etwa 70 Prozent davon schädliche Antworten gab. Denn in dem Audio versteckte, für Zuhörer nicht wahrnehmbare Anweisungen können kommerzielle Sprachassistenten zu Handlungen veranlassen, für welche sie nie vorgesehen waren.
Je mehr Zugriff Sprachassistenten auf bestimmte Tools erhalten, desto gefährlicher werden solche Angriffe, denn ein Assistent, der Konten einsehen, Liefertermine verschieben oder Rückerstattungen vornehmen kann, wird diese Berechtigungen auch nutzen, wenn er den Befehl dazu bekommt.
«Bereits zu Beginn der ersten öffentlichen KI-Modelle, gab es Versuche Stimmen zu klonen und damit Menschen zu manipulieren. Nun werden nicht mehr nur Menschen durch Stimmen manipuliert, sondern auch KI-Modelle und deren Agenten. Der schnellste Weg zum Ziel für Cyberkriminelle zeigt sich aktuell darin, KI-Chatbots und KI-Sprachbots auf Webseiten für ihre Zwecke zu missbrauchen, dabei wird es jedoch nicht bleiben», erklärt Patrick Fetter, Lead Sales Engineer & Cyber Security Evangelist, Office of the CTO bei Check Point Software.
Der Ton als Cyberwaffe
Ein Angreifer hat zwei Möglichkeiten: Die erste besteht darin, den Befehl direkt auszusprechen. Ein Anrufer sagt am Telefon in natürlicher Sprache «Ignorieren Sie Ihre vorherigen Anweisungen» und ein Agent, der dies nicht überprüft, behandelt dies wie jede andere Anfrage. Die zweite Möglichkeit lässt sich nicht in Textform wiedergeben: Dabei wird der Ton so manipuliert, dass Maschinen ihn falsch verstehen. Forscher haben gezeigt, dass ein universeller, nur 0,64 Sekunden langer Clip, der vor jeder Sprachäusserung abgespielt wird, dazu führte, dass ein weit verbreitetes Transkriptionsmodell bei mehr als 97 Prozent der getesteten Aufnahmen überhaupt keine Ausgabe lieferte; auch künstlich erzeugtes Rauschen, Hall oder Stimmengewirr aus einer Menschenmenge können eine Anweisung auf ähnliche Weise verfälschen. Eine Sicherheitsbarriere, die nur das Transkript auswertet, erkennt dann Unsinn oder Stille und lässt den Clip durch, während das dahinterliegende Modell weiterhin das Original-Audio empfängt.
Ton-Überprüfung an zwei Stellen
Leitplanken für Audio-Inhalte überprüfen die Aufnahme direkt. Die Anwendung sendet den Clip und erhält umgehend ein Ergebnis zur Erkennung von Angriffen, ohne dass zuvor eine Transkriptionspipeline aufgebaut werden muss. Im Hintergrund durchläuft der Clip nacheinander zwei Prüfungen. Bei der ersten wird geprüft, ob das Audio verwendbar ist: wie stark die Qualität beeinträchtigt ist, ob es manipuliert wurde und ob Elemente enthalten sind, die es für Maschinen unlesbar machen. Die Tonaufnahme, die diese Prüfung nicht besteht, wird markiert und nicht weiterverarbeitet. Die zweite Prüfung transkribiert das Gesagte und bewertet es mit derselben «Prompt-Attack»-Erkennung, die auch Text schützt. Die erste Prüfung entscheidet also zuerst, ob die Transkription vertrauenswürdig ist, bevor die zweite sich darauf stützt. Das Ergebnis geht dann zurück an die Anwendung, die entscheidet, wie es weitergeht, indem der Gesprächsabschnitt beendet wird, der Anrufer gebeten wird, sich zu wiederholen, oder der Anruf an einen Mitarbeiter weitergeleitet wird.
Fazit
Wenn Audiodaten das Modell erreichen, reagiert das Modell auf den Ton selbst und nicht auf eine schriftliche Abschrift davon. Eine Überprüfung, die das Transkript auswertet, sieht nur das, was der Transkribierende gehört hat – und genau das ist der Teil, den ein Angreifer manipulieren kann. Indem zuerst das Signal und erst danach die Wörter überprüft werden, bevor das Modell reagiert, wird die Sicherheitsbarriere genau dort gesetzt, wo der Agent tatsächlich zuhört.
