Das neue KI-Büro der EU übernimmt die zentrale Aufsicht über allgemeine KI-Modelle und soll die Anforderungen des AI Act kontrollieren und durchsetzen. Seit August gelten strengere Kennzeichnungspflichten für KI-generierte Texte, Bilder, Videos, synthetische Stimmen sowie Anwendungen in Chat und Telefonie. Bei Verstössen können ab Dezember Bussgelder von bis zu 15 Millionen Euro oder drei Prozent des weltweiten Jahresumsatzes fällig werden. Fachleute sehen jedoch Lücken bei der praktischen Kontrolle: Begrenzte Personalkapazitäten, fehlender direkter Zugang zu Modellen und nicht einheitliche Prüfmethoden könnten belastbare Sicherheitsaussagen erschweren. Auch die verschobenen Hochrisiko-Regeln sorgen für Diskussionen.
Anfang August hat das KI-Büro der Europäischen Union seine Arbeit aufgenommen. Es soll als zentrale neue Regulierungsbehörde auf EU-Ebene die Einhaltung der Anforderungen des EU-KI-Gesetzes (Artificial Intelligence Act – AI Act) an KI-Modelle und -Systeme für allgemeine Zwecke (GPAI) in den 27 EU-Mitgliedstaaten überwachen, beaufsichtigen und durchsetzen. Dazu gehören auch die Analyse neu auftretender, unvorhergesehener Systemrisiken, die sich aus der Entwicklung und dem Einsatz von GPAI ergeben, sowie die Entwicklung von Fähigkeitsbewertungen, die Durchführung von Modellbewertungen und die Untersuchung von Vorfällen mit potenziellen Verstößen und Nichteinhaltung, wie die EU-Kommission erläutert.
Kennzeichnungspflicht mit Zähnen
Zu diesem Zweck wurde das KI-Büro mit scharfen Durchsetzungsbefugnissen ausgestattet. So gibt es für Chatbots, Deepfakes und generierte Inhalte nun strikte Kennzeichnungspflichten. Konkret bedeutet dies, dass ab diesem August große KI-Anbieter wie Google, Meta, Anthropic oder OpenAI ihre KI-generierten Inhalte wie Texte, Bilder und Videos gut erkennbar zu kennzeichnen haben: maschinenlesbar mit digitalen Wasserzeichen und Metadaten. Dasselbe gilt für KI-Anwendungen in der Kundenbetreuung, ob im Chat oder am Telefon, sowie für den Einsatz synthetischer Stimmen und von Bild- und Content-Generatoren.
Bei Verstößen gegen diese Vorschriften drohen den Unternehmen ab Dezember Bußgelder von bis zu 15 Millionen Euro oder drei Prozent ihres weltweiten Jahresumsatzes. Und der lag Angaben zufolge im vergangenen Jahr je nach Unternehmen zwischen 20 Milliarden (OpenAI) und über 400 Milliarden US-Dollar (Google/Alphabet). Im «worst case» sollen KI-Modelle sogar vom europäischen Markt ausgeschlossen werden können.
Auch für Kundenbetreuung in Chats oder am Telefon müssen Nutzer einen entsprechenden Hinweis erhalten. Wenn synthetische Stimmen, Bild- oder Content-Generatoren zum Einsatz kommen, ist dies anzuzeigen.
«Außer Kontrolle geratene KI»
Wie notwendig diese Regulierung zu sein scheint, machen nach Ansicht von Experten die jüngsten Schlagzeilen über «außer Kontrolle geratene KI» deutlich. So mussten führende KI-Unternehmen aus den USA kürzlich einräumen, dass ihre fortschrittlichen Sprachmodelle im Rahmen von Sicherheitsüberprüfungen oder realen Tests nicht nur eigenständig IT-Schwachstellen identifizierten und ausnutzten, sondern auch unbeabsichtigt im Netz andere Unternehmen angriffen, wie das ZDF berichtet. Demnach sollen die KI-Systeme nach aktuellem Erkenntnisstand allerdings nicht, wie einigen Medien zu entnehmen war, aus eigenem «Willen» gehandelt haben. Vielmehr sollen sie von menschlichen Nutzern oder Tester-Teams Vorgaben bekommen haben, um die Sicherheit von Zielsystemen zu überprüfen.
Der entscheidende Unterschied zu früher sei jedoch der Grad der Selbstständigkeit, stellt das ZDF fest: Denn die KI erhielt demnach nur eine allgemeine Aufgabe („finde einen Zugang zu diesem Server») und kombinierte anschließend eigenständig die erforderlichen Schritte, um das Ziel ohne weitere menschliche Anleitung zu erreichen. Der autonome Hackerangriff habe eine lange gehegte Befürchtung bestätigt, da OpenAI die Kontrolle über ein KI-Programm verloren habe, zitiert das ZDF den Experten für Cybersicherheit, Dennis-Kenji Kipker. «In diesem Fall war das Modell scheinbar so gut, dass es die Sicherheitszone, die OpenAI gesetzt hat, verlassen hat», ordnet Kipker den Vorfall ein.
Im Heise-Report betont Kipker, wissenschaftlicher Direktor und Gründer des cyberintelligence.institute in Frankfurt am Main und Professor für IT-Sicherheitsrecht, daher auch die Bedeutung des EU-AI-Acts: Das Gesetz dürfe nicht als Ausdruck weiterer Bürokratie oder Regulierungsfreude abgetan, vielmehr sollte es als Voraussetzung für Vertrauen verstanden werden, argumentiert Kipker. Es gehe längst nicht mehr allein um digitale Souveränität oder wirtschaftlichen Nutzen, sondern ebenso um die Risiken der weltweiten KI-Verbreitung, schreibt er. Denn kaum eine Dual-Use-Technologie habe sich jemals so rasant verbreitet wie generative KI.
Reicht die Durchsetzungskraft aus?
Vor diesem Hintergrund stellen Experten die entscheidende Frage, ob das KI-Büro mit ausreichender Durchsetzungskraft ausgestattet ist oder ob Personal und Ressourcen fehlen, wie der Tagesspiegel feststellt. Den deutschen KI-Fachmann Prof. Marco Barenkamp beschäftigt hierbei allerdings nicht zuerst die Personalstärke des KI-Büros, sondern eher, «worauf sich unsere Sicherheitsaussagen überhaupt noch stützen», wie er sagt.
«Anthropic, OpenAI und Meta mussten eingestehen, dass Modelle bei Cybersicherheitstests aus der Testumgebung heraus reale Firmensysteme erreicht haben, mehrfach wegen derselben Fehlkonfiguration desselben externen Testpartners», greift Prof. Barenkamp die aktuellen Vorkommnisse auf. Wenn also schon die Testinfrastruktur nicht beherrscht werde, sei jede darauf gestützte Sicherheitsaussage wertlos, unabhängig davon, wie sorgfältig das Modell selbst evaluiert wurde, warnt er. Aus seiner Sicht sollte das KI-Büro daher an diesem Punkt ansetzen und Anforderungen an Prüfumgebungen und externe Evaluatoren stellen, notfalls auch bis zur Akkreditierung.
Prof. Barenkamp: KI-Büro mangelt es an Größe
Nach Einschätzung von Prof. Barenkamp, selbst Gründer und Aufsichtsrat der auf KI-Entwicklungen spezialisierten LMIS AG, hat das KI-Büro seit dem 2. August alles, was eine Aufsicht braucht – außer Größe. «Von den etwa 145 Beschäftigten arbeiten, soweit ich weiß, rund 34 an Regulierung und Compliance, die Einheit für Spitzenmodelle verfügt über 36 Mitarbeiter», erklärt der KI-Experte. Zur besseren Einordnung weist der Tagesspiegel darauf hin, dass im Vergleich damit beim AI Security Institute in Großbritannien 200 KI-Experten tätig sind, die von Google, Deepmind, OpenAI und den besten Forschungsorganisationen kommen.
Für entscheidend hält Prof. Barenkamp den Zugang zum Prüfgegenstand. Und der sei zuletzt selbst für die beauftragten Evaluatoren schwierig gewesen, konstatiert er. «Solange dieser Zugang Verhandlungssache bleibt und kein durchsetzbares Recht ist, verbessern selbst vierzig neue Stellen lediglich die Fähigkeit, Dokumente zu lesen, die der Anbieter selbst geschrieben hat», kritisiert er. Die EU-Kommission hat vor, zur Verstärkung des Durchsetzungsteams insgesamt 40 weitere Juristen, KI- und Policy-Experten einzustellen.
Praxisleitfaden: Raster statt Prüfmaßstab
Streit zwischen Industrie und Zivilgesellschaft sehen Experten beim Verhaltenskodex für Allzweck-KI-Modelle vorprogrammiert, einem Praxisleitfaden, an dem sich die KI-Modellentwickler orientieren sollen und der die vagen Vorgaben aus dem AI Act in konkrete Maßnahmen übersetzt. Ab August müssen Anbieter wie OpenAI, Google und Anthropic Details zu ihren Modellen gegenüber der EU-Kommission offenlegen, wie der Tagesspiegel erläutert.
Die größten Konflikte liegen dabei im zweiten Teil des Leitfadens, der sich nur an wenige Anbieter richtet, nämlich die Entwickler der sogenannten fortschrittlichsten («Frontier») Modelle. Deren Anbieter haben ein Risikomanagementsystem zu erstellen, umzusetzen und zu aktualisieren. Um dies zu gewährleisten, müssten sie die Risiken ihrer Modelle alle sechs Monate bewerten und Maßnahmen ergreifen, um diese Risiken auf einem akzeptablen Niveau zu halten, erklärt der Tagesspiegel das Konfliktpotenzial.
Der Praxisleitfaden sei nie als Sicherheitsnachweis gedacht gewesen, sondern als Brücke zu den harmonisierten Normen, bewertet Prof. Barenkamp das Problem. Als Dokumentationsraster funktioniere der Leitfaden, als Prüfmaßstab jedoch nicht, weil die Anbieter ihre Bewertungsmethoden selbst wählen könnten und die Selbstauskünfte damit nicht vergleichbar seien, erklärt er. «Zudem adressiert er vor allem Anbieter», sagt der Wirtschaftsinformatiker. Die allermeisten europäischen Unternehmen seien allerdings Betreiber und blieben verantwortlich für Einbettung, Zweckbestimmung und menschliche Aufsicht. Dafür finde sich kein vergleichbares Instrument.
Regeln für Hochrisiko-KI verschoben
Die vielfach kritisierte Verschiebung der Hochrisiko-Pflichten durch die EU verteidigt Prof. Barenkamp. Seine Begründung: Es fehlten schlichtweg die harmonisierten Normen. Niemand könne Konformität gegen einen Standard nachweisen, den es noch nicht gibt, argumentiert er. Die Europäische Union hat das Inkrafttreten ursprünglich geplanter Pflichten für Hochrisiko-KI mit der offiziellen Begründung verschoben, so bekämen sowohl die EU als auch die Unternehmen mehr Zeit zur Umsetzung der neuen KI-Gesetze. Tatsächlich soll sich die Umsetzung der risikobasierten Auflagen für KI-Systeme in die Praxis als komplizierter herausgestellt haben als angenommen, wie der Deutschlandfunk erläutert. Kritiker befürchten nun, dass davon vor allem die Tech-Giganten profitieren werden, da ihnen so mehr Zeit bleibt, die geplanten Gesetze weiter auszuhöhlen.
ASAI
Die Academic Society for Artificial Intelligence – Studiengesellschaft für Künstliche Intelligenz e.V. ist ein eingetragener Verein mit Sitz in Hamburg (Fischertwiete 2, 20095 Hamburg). Sie widmet sich der Förderung und dem Austausch im Bereich Künstliche Intelligenz und ist im Vereinsregister unter VR24771 geführt.
