Vertrauen in KI entsteht nicht von selbst

Enza, du beschäftigst dich mit Datenschutz, Vertrauen und AI Governance. Wie greifen diese Themen ineinander?

Enza Iannopollo: Datenschutz ist mein ursprüngliches Forschungsgebiet. Dabei geht es nicht nur um Regulierung, sondern auch darum, wie Unternehmen Technologie nutzen können, um gesetzliche Anforderungen zu erfüllen.

Seit 2021 arbeite ich zudem an unserer Forschung zum Thema Vertrauen. Wir untersuchen, weshalb Kunden einer Marke oder Mitarbeitende ihrem Arbeitgeber vertrauen und welche Faktoren diese Beziehung prägen. Hinzu kommt AI Governance mit der Frage, wie Unternehmen KI ethisch und vertrauenswürdig einsetzen können.

Du sagst, Misstrauen werde zunehmend zur Standardeinstellung. Was hat sich verändert?

Generative KI ist seit einigen Jahren direkt bei den Konsumenten angekommen. Dadurch können wir inzwischen besser beobachten, wie sie deren Wahrnehmung und Verhalten beeinflusst. Wir wussten bereits, dass Vertrauen stark vom Kontext abhängt. Das Land, die Kultur und die Branche spielen eine wichtige Rolle. Neu tritt mit KI die Risikowahrnehmung stärker in den Vordergrund.

Hochregulierte Branchen gehören zwar weiterhin zu den vertrauenswürdigsten. Sobald wir jedoch fragen, ob Unternehmen KI wirksam einsetzen und die damit verbundenen Risiken beherrschen können, halbiert sich das Vertrauen ungefähr. KI verändert also die Erwartungen der Konsumenten deutlich.

Gleichzeitig nutzen viele Menschen KI täglich. Ist das nicht ein Widerspruch?

Vertrauen hängt stark vom jeweiligen Anwendungsfall ab. Bei einer Filmempfehlung ist das Risiko gering. Entsprechend sind viele Menschen bereit, einer KI zu folgen.

Anders sieht es bei Finanzentscheidungen, Gesundheitsfragen oder anderen sensiblen Situationen aus. Dort ist entscheidend, wem die Menschen zutrauen, KI verantwortungsvoll einzusetzen. Nur ein kleiner Teil der europäischen Konsumenten vertraut den von KI bereitgestellten Informationen. Gleichzeitig erkennen viele Menschen gar nicht, wann sie mit KI interagieren. Genau deshalb ist Transparenz so wichtig.

Unterschätzen Unternehmen, wie schnell ein schlecht eingesetztes KI-System Vertrauen beschädigen kann?

Ja, wobei nicht die Technologie allein das Problem ist. Meist liegt es am falschen Anwendungsfall, an einer unzureichenden technischen Umsetzung oder daran, dass Risiken nicht angemessen gesteuert werden. KI eignet sich beispielsweise schlecht für Situationen, die viel Empathie und ein tiefes Verständnis für den emotionalen Zustand eines Menschen verlangen. Ein System kann Gefühle imitieren, aber das ist noch keine echte Empathie.

Auch eine mangelhafte Datengrundlage erhöht das Risiko von falschen oder ungenauen Ergebnissen. Unternehmen dürfen Risiken nicht ignorieren, nur weil sie unangenehm oder aufwendig zu bewerten sind. Werden sie nicht erkannt und gesteuert, können sie erheblichen Schaden anrichten.

Was geschieht, wenn Unternehmen das Vertrauen ihrer Kunden verlieren?

Die Kunden verändern ihre Beziehung zur Marke. Sie kaufen weniger oder gar nicht mehr, empfehlen das Unternehmen nicht weiter und teilen weniger Daten. Viele möchten dann sogar, dass ihre Daten gelöscht werden. Sie wollen nicht, dass ein Unternehmen, dem sie nicht vertrauen, weiterhin Nutzen daraus zieht. Das ist für Unternehmen besonders relevant, weil sie zunehmend auf First-Party-Daten angewiesen sind. Wer Daten erhalten möchte, muss transparent erklären, wofür sie genutzt werden, sie schützen und die gegebenen Zusagen einhalten.

Vertrauen wird damit zur Voraussetzung für Personalisierung.

Vertrauen Kunden einem Unternehmen, sind sie eher bereit, Daten zu teilen und personalisierten Angeboten zuzustimmen. Dafür muss jedoch eine echte Beziehung entstehen. Das Unternehmen muss einen klaren Zweck nennen, Daten sicher aufbewahren und darf sie nicht ohne Wissen der Kunden weitergeben. Idealerweise sollten die Kunden auch erkennen, welchen Nutzen sie selbst aus der Datennutzung ziehen.

Was sollten Unternehmen tun, um die Vertrauenslücke bei KI zu schliessen?

Verantwortungsvolle KI ist nicht verhandelbar. Unternehmen brauchen eine robuste Governance, wenn sie KI vom Pilotprojekt in den produktiven Betrieb überführen wollen. Gleichzeitig muss KI im Interesse der Kunden arbeiten. Viele Chatbots sind nur darauf optimiert, einen Kauf auszulösen. Das entspricht nicht automatisch dem besten Interesse des Kunden. Unternehmen dürfen ihre eigenen Ziele verfolgen. Sie müssen aber ebenso berücksichtigen, wie KI den Kunden dabei unterstützt, seine Ziele zu erreichen.

Welche Grundsätze gehören zu verantwortungsvoller KI?

Datenschutz und Datensicherheit stehen an erster Stelle. Unternehmen müssen Kundendaten schützen, ethisch nutzen und die bei der Erhebung gemachten Zusagen einhalten. Ein weiterer Punkt ist die menschliche Kontrolle. Bei risikoreichen oder besonders empathischen Anwendungsfällen muss ein Mensch eingebunden sein. Hinzu kommen Fairness sowie der Schutz vor Diskriminierung und Verzerrungen. KI muss sicher und robust sein und sich auch in aussergewöhnlichen Situationen innerhalb klarer Grenzen bewegen. Entscheidungen müssen zudem nachvollziehbar und transparent sein. Und schliesslich braucht es eine klare Verantwortlichkeit. Trifft KI Entscheidungen im Namen eines Unternehmens, bleibt das Unternehmen dafür verantwortlich.

Wer trägt diese Verantwortung innerhalb des Unternehmens?

Verantwortung ist verteilt. Die Fachbereiche sind für die Anwendungen verantwortlich, die sie einsetzen. Bei Sicherheitsfragen bleibt der CISO beteiligt, bei Datenschutzthemen der Chief Privacy Officer und bei rechtlichen Fragen die Rechtsabteilung.

Auch HR spielt eine wichtige Rolle, wenn KI Mitarbeitende oder Bewerber betrifft. Es gibt deshalb nicht eine einzige Person, die für alles verantwortlich ist. Die Zuständigkeit hängt vom jeweiligen Risiko ab. Wichtig ist, klar festzulegen, wer verantwortlich ist, wer Entscheidungen trifft und wer einbezogen werden muss.

Wie können Unternehmen eine tragfähige AI Governance aufbauen?

Sie sollten nicht zwingend bei null anfangen. Unternehmen mit einer starken Data Governance können darauf aufbauen. Gleiches gilt für bestehende Programme zu Datenschutz, Informationssicherheit oder ethischer Datennutzung.

Ein weiterer Ansatz ist ein vollständiges Inventar der KI-Anwendungsfälle. Anschliessend wird bewertet, welche Daten genutzt werden, welche Menschen betroffen sind und welche Entscheidungen das System trifft. Auf dieser Grundlage lässt sich unterscheiden, ob ein Anwendungsfall ein hohes, mittleres oder geringes Risiko aufweist und welche Kontrollen notwendig sind.

Was sollten Unternehmen jetzt konkret tun?

Sie sollten verantwortungsvolle KI und Governance nicht auf später verschieben. Das mag weniger attraktiv wirken als die Einführung des neuesten Modells, ist aber die Voraussetzung für Skalierung.

Unternehmen müssen zudem an der Qualität ihrer Daten arbeiten und sich bereits heute auf agentische KI vorbereiten. Sobald Systeme selbstständig Entscheidungen treffen und mit anderen Systemen interagieren, reichen nachträglich eingeführte Kontrollen nicht mehr aus. Entscheidend ist deshalb, heute zu handeln und gleichzeitig vorauszudenken.

Du hast deinen Vortrag mit «Act and Lead» beendet. Was bedeutet das für Unternehmen?

Handeln bedeutet, Governance aufzubauen, Risiken zu bewerten und KI verantwortungsvoll einzusetzen. Führen bedeutet, nicht einfach dem zu folgen, was scheinbar alle anderen tun. Im Bereich Governance sehen wir viele Mitläufer, aber nur wenige echte Vorreiter.

Unternehmen, die früh Verantwortung übernommen haben, gehören heute häufig auch bei der erfolgreichen Nutzung von KI zu den führenden Organisationen. Wer sich differenzieren und mit KI wachsen will, muss mutig vorangehen.