Wie sicher ist ein KI-Assistent, wenn selbst sein strengster Schutzmodus umgangen werden kann? Sicherheitsforscher von Check Point Research haben bei ChatGPT eine Schwachstelle entdeckt, die grundlegende Fragen zur Sicherheit moderner KI-Plattformen aufwirft. Besonders brisant: Der Angriff konnte unter bestimmten Bedingungen ohne Zutun des Nutzers erfolgen. Der Fall zeigt, weshalb vermeintlich geschützte KI-Umgebungen neue Risiken bergen und Unternehmen genauer hinsehen sollten.
Check Point Research (CPR) hat eine Sicherheitslücke aufgedeckt und gemeldet, durch die sich der «Lockdown-Modus» von ChatGPT umgehen liess. Dabei handelt es sich um eine optionale Sicherheitseinstellung, die speziell dazu entwickelt wurde, um per Prompt-Injection verursachte Datenexfiltration einzudämmen.
Die Untersuchung deckt ein umfassenderes Branchenproblem auf: Selbst, wenn eine KI-Plattform eine spezielle Sicherheitskontrolle einsetzt, kann eine Schwachstelle in einem anderen Teil des Anwendungsstacks einen alternativen Umgehungsweg schaffen.
OpenAI teilte CPR mit, dass es die Sandbox-Berechtigungen, die diese Technik ermöglichten, entfernt habe; CPR testete die Schwachstelle erneut und bestätigte, dass die in der Untersuchung beschriebene Ausnutzungsmethode nicht mehr funktioniert. CPR hat keine Hinweise darauf gefunden, dass die Schwachstelle in der Praxis ausgenutzt wurde.
Wie der Lockdown-Modus ausgehebelt wurde
Der Lockdown-Modus von ChatGPT soll die Datenexfiltration erheblich erschweren, indem er potenzielle ausgehende Kanäle einschränkt, darunter Live-Webzugriff, im Internet gehostete Bilder und Canvas-Netzwerkanfragen. Gleichzeitig deaktiviert er Funktionen wie «Deep Research», den «Agent-Modus», Live-Konnektoren und Dateidownloads.
Die Sicherheitsforscher stellten jedoch fest, dass die Sandbox für die HTML-Seitenvorschau von ChatGPT, eine separate Anwendungskomponente zum Rendern von HTML-Inhalten, Popup-Berechtigungen beibehielt, auf die über eingebettete Frames zugegriffen werden konnte. Je nach Szenario könnte eine bösartige Eingabeaufforderung, ein bösartiges GPT oder ein geteilter Chat den Angriff auslösen. In der Electron-basierten ChatGPT-Desktopanwendung funktionierte das Popup-Verhalten ohne Benutzeraktion. CPR demonstrierte, wie ein bösartiges GPT unbemerkt Chat-Nachrichten an einen vom Angreifer kontrollierten Server weiterleitete, während das Opfer eine Unterhaltung führte. Dadurch wurde das Problem zu einem potenziellen Zero-Click-Szenario zur Datenexfiltration.
Ein vom Angreifer kontrolliertes Popup könnte das ChatGPT-Anwendungssymbol beibehalten und gleichzeitig vom Angreifer kontrollierte Titel und Inhalte anzeigen, wodurch Phishing oder der Köder eines gefälschten Anwendungsupdates innerhalb einer vertrauten und vertrauenswürdigen Benutzeroberfläche erscheinen könnte.
«KI-Assistenten entwickeln sich von einfachen Chatbots zu vernetzten Plattformen, die auf Daten zugreifen, Code ausführen und mit anderen Systemen interagieren können»
erklärt Pedro Drimel Neto, Sicherheitsforscher bei Check Point Research. «Dadurch eröffnen sie Angreifern auch neue Angriffswege, für deren Abwehr herkömmliche Sicherheitsmodelle nie ausgelegt waren. Diese Untersuchung macht deutlich, dass die Absicherung von KI nicht beim Modell enden oder sich auf eine einzige Schutzmassnahme stützen darf. Unternehmen benötigen Transparenz darüber, wie KI genutzt wird, strenge Beschränkungen hinsichtlich sensibler Daten und Zugriffsrechte sowie mehrschichtige Sicherheit in der gesamten KI-Umgebung. Das Ziel ist nicht, die Einführung von KI zu verlangsamen, sondern sicherzustellen, dass sich die Sicherheit genauso schnell weiterentwickelt wie die Technologie und die neue Angriffsfläche, die sie schafft.»
Eine Sicherheitsmassnahme, die eigentlich die Folgen einer Prompt-Injektion eindämmen soll, kann also durch eine Schwachstelle an anderer Stelle in der Plattform untergraben werden. KI-Assistenten sind längst nicht mehr nur Dialogmodelle. Sie kombinieren zunehmend Modelle mit Browser- und Desktop-Anwendungen, Ebenen zur Darstellung von Inhalten, Sandboxes, Code-Ausführungsumgebungen, Dateien, Konnektoren und externen Diensten. Jede Komponente verfügt zwar möglicherweise über eigene Sicherheitsmassnahmen, doch hängt der Schutz, der dem Nutzer geboten wird, letztendlich davon ab, wie diese Komponenten zusammenwirken.
Die Absicherung des Modells ist nicht gleichbedeutend mit der Absicherung des KI-Systems. Eine Einschränkung auf einer Ebene mag zwar für den beabsichtigten Pfad wirksam sein. Kompromittierung ist aber weiterhin möglich, wenn eine andere Funktion unbeabsichtigt einen alternativen Weg zum gleichen Ergebnis bietet. Bleibt ein unentdeckter Umgehungsweg für einen eingeschränkten Modus verfügbar, vertrauen Nutzer dieser Kontrollmassnahme möglicherweise stärker, als es die übergeordnete Anwendungsarchitektur zulässt.
Fazit
Unternehmen sollten keinen einzelnen eingeschränkten, sicheren oder gesperrten Modus als vollständige Sicherheitsgrenze betrachten. Stattdessen erfordert die Einführung von KI in Unternehmen einen mehrschichtigen Ansatz. Sicherheitsteams brauchen Einblick in die KI-Nutzung und ein Verständnis dafür, welche KI-Dienste Mitarbeiter nutzen und wo Unternehmensinformationen weitergegeben werden. Sie müssen Kontrollen über sensible Daten festlegen, die Mitarbeiter an KI-Tools von Drittanbietern weitergeben dürfen. Sie brauchen ausserdem eine systemweite Sicherheitsperspektive, indem sie Anwendungen, Laufzeitumgebungen, Sandboxes, Rendering-Ebenen, Tools und Konnektoren rund um das Modell bewerten und nicht nur das Modell selbst oder seiner Prompt-Sicherheitsvorkehrungen.
Weiterhin braucht es eine kontinuierliche Validierung, um Annahmen und Sicherheitsgrenzen zu prüfen, sobald KI-Plattformen neue Funktionen und Integrationen hinzufügen. Zu guter Letzt bedarf es einer Begrenzung der für einen KI-Dienst verfügbaren sensiblen Informationen, damit eine Schwachstelle in einer Drittanbieterplattform nicht automatisch alle für den Nutzer verfügbaren Daten offenlegt.
