Vertrauen wird zum Produktmerkmal

Bevor wir in die Themen KI, Vertrauen und Governance einsteigen: Können Sie sich beide kurz vorstellen und erläutern, welche Rolle Sie bei Zendesk haben?

Shana Simmons: Ich bin Chief Legal Officer bei Zendesk und seit etwas mehr als zwei Jahren im Unternehmen. Mein Team verantwortet die rechtlichen Anforderungen gegenüber all unseren Stakeholdern – also gegenüber Kunden, Regulatoren, Mitarbeitenden, Investoren und Eigentümern. Dazu gehört auch Compliance. Für mich bedeutet das nicht, einfach Checklisten abzuarbeiten. Es geht vielmehr darum, Compliance prinzipienbasiert in der Unternehmenskultur zu verankern.

Etwas ungewöhnlich ist vielleicht, dass ich auch für die physische Sicherheit verantwortlich bin. Auch dieses Team berichtet an mich.

Pam Couch: Ich bin Director of Product Legal im Team von Shana. Mein Team konzentriert sich auf verantwortungsvolle und effiziente rechtliche Produktprüfungen, auf IP-Themen sowie auf Technologiepartnerschaften.

Shana, Sie sitzen als Chief Legal Officer an der Schnittstelle von Innovation, Risiko, Governance und Vertrauen. Wie verändert sich Ihre Rolle, wenn KI nicht mehr nur Fragen beantwortet, sondern im Namen eines Unternehmens handelt?

Shana Simmons: Ich glaube nicht, dass sich meine Rolle im Kern verändert. Die Mission meiner Abteilung lautet: Wachstum ermöglichen und gleichzeitig Risiken mindern. Das habe ich bereits in meiner früheren Rolle als General Counsel so verstanden.

Wachstum zu ermöglichen heisst: Der Kunde steht im Zentrum. Wenn wir ein Produkt bauen, muss es nicht nur funktional gut sein oder die gewünschten Lösungen liefern. Es muss auch den Anforderungen der Kunden entsprechen – etwa wenn wir an Unternehmen im Gesundheitswesen verkaufen oder an Kunden in regulierten Märkten. Wir müssen verstehen, was diese Kunden brauchen, auch mit Blick auf ihre Regulatoren.

Natürlich wäre es einfach zu sagen: Meine Aufgabe ist es, Risiken zu eliminieren. Dann könnte ich einfach Nein sagen. Aber das ist nicht unser Anspruch. Wenn Legal wirklich Wachstum ermöglichen will, müssen wir früher im Produktentwicklungsprozess dabei sein, früher im Verkaufsprozess und auch früher im Austausch mit Regulatoren.

Sie haben gesagt, die grösste Hürde für KI-Adoption sei nicht die Fähigkeit der Technologie, sondern das Vertrauen. Was schafft dieses Vertrauen?

Shana Simmons: Vertrauen entsteht aus mehreren Dingen. Zunächst ist es auch eine psychologische Frage. Menschen haben oft Angst vor dem, was sie nicht kennen. Je mehr wir mit etwas in Kontakt kommen, desto vertrauter wird es uns. Das gilt auch für KI.

Der Unterschied zu früheren technologischen Veränderungen, etwa vom On-Premise-Modell in die Cloud, ist, dass KI heute alle betrifft. Damals mussten sich vor allem CIOs, Produktverantwortliche oder Juristen mit der Cloud beschäftigen. Heute kann jede und jeder ChatGPT, Claude oder Gemini auf dem Smartphone nutzen. Dadurch denken viel mehr Menschen über KI nach. Viele entwickeln sich von täglichen Nutzerinnen und Nutzern zu sogenannten Citizen Developers. Diese Nutzung schafft Vertrautheit – und damit auch Vertrauen.

Der zweite Punkt ist das Vertrauen in den Partner. Wie spricht ein Anbieter über Governance? Wie über Sicherheit? Was steht in den Vertragsbedingungen? Bei Zendesk haben wir unsere Kundenvereinbarung bewusst in klarer Sprache formuliert. Ich war selbst daran beteiligt, weil ich wollte, dass unsere Verpflichtungen verständlich sind – und zwar auch in den Übersetzungen.

Vertrauen entsteht also durch klare Verpflichtungen, durch Produktdesign, aber auch durch die Frage: Was passiert, wenn etwas schiefgeht? Kann ich jemanden erreichen? Gibt es Teams, die sich täglich mit Sicherheit, Spam, Missbrauch oder Kundenproblemen beschäftigen? All das ist Teil von Vertrauen.

Kunden sehen Vertrauen, Sicherheit, Compliance und Governance zunehmend als Teil des Produktwerts. Was bedeutet das für eine Rechtsabteilung in einem Technologieunternehmen?

Shana Simmons: Es macht uns im Unternehmen sichtbarer, vielleicht sogar beliebter. Legal ist heute stärker Teil der Kulturarbeit. Ich spreche mit Mitarbeitenden darüber, dass Vertrauen von Anfang an mitgedacht werden muss. Ein Vergleich: Bei physischer Sicherheit ist allen klar, dass man niemanden einfach ohne Ausweis ins Büro lässt. Bei KI müssen wir ein ähnliches Bewusstsein entwickeln – nur bezogen auf die Nutzung und Entwicklung von Produkten.

Gleichzeitig würde ich sagen: Bei Zendesk ändert sich dadurch im Grundsatz nicht alles. Wir wurden in Europa gegründet, Datenschutz war von Beginn an wichtig. Privacy und Security by Design, Kontrolle, Transparenz, Verantwortlichkeit und Kundenfeedback sind schon lange Teil unserer Arbeitsweise. Ich bin etwas provokativ: Der Begriff AI Governance wird heute manchmal so verwendet, als sei alles völlig neu. Aber viele gute Enterprise-Unternehmen betreiben im Kern schon lange Governance rund um Datenschutz, Sicherheit und KI. Am Ende geht es darum, das zu schützen, was für Kunden entscheidend ist: ihre Daten.

Pam, was heisst es in der Praxis, Legal und Security früh in den Produktzyklus einzubinden?

Pam Couch: Es beginnt mit der Kultur. Produktmanager und Ingenieurinnen kennen die zentralen Prinzipien bereits. Wenn sie Produktdokumente entwerfen, denken sie darüber nach: Welche Leitplanken brauchen wir? Wie werden Daten geschützt? Wie können wir einem Kunden erklären, wie er dieses Produkt sicher einführt? Denn Kunden kaufen nichts, womit sie sich nicht wohlfühlen.

Zusätzlich sind Legal und Security früh im Raum. Oft kommen Produktteams schon in der Strategiephase auf uns zu, bevor überhaupt etwas fertig ist. Sie wollen wissen, ob eine Idee aus Vertrauens- und Governance-Sicht sinnvoll ist.

Ein konkretes Beispiel: Wir haben im Markt gesehen, dass Kunden bei Privacy Notices teilweise Schwierigkeiten haben oder diese nicht korrekt implementieren. Formal liegt diese Verantwortung beim Kunden. Aber wenn ein Kunde dadurch ein Problem bekommt, betrifft uns das indirekt auch. Deshalb haben wir eine Standardeinstellung eingeführt, die Kunden dazu anleitet, ihre Datenschutzhinweise einzubinden. Das ist ein Beispiel dafür, wie Legal direkt zur Produktqualität beitragen kann.

Shana Simmons: Genau. Das ist ein gutes Beispiel dafür, dass Legal heute unmittelbar mit Produktwert verbunden ist. Wir hatten dafür sogar ein Engineering-Team, das an etwas gearbeitet hat, das ursprünglich stark rechtlich motiviert war. Das konnte ich auch unserem Audit Committee im Board zeigen: Legal ist nicht nur Risikokontrolle, sondern kann direkt zur Wertschöpfung im Produkt beitragen.

Die Produktteams sagen: Demo-Agents sind einfach. Schwierig sind Skalierung, Sicherheit und Konsistenz. Was macht das Skalieren von KI-Agenten aus Legal- und Governance-Sicht anders als klassische Softwarefeatures?

Shana Simmons: Bei agentischer KI sprechen wir über Systeme, die autonomer handeln. Kunden kaufen hier nicht nur Funktionalität, sie kaufen Vertrauen.

Gleichzeitig bauen wir nicht mehr nur vollständig eigene Software. Wir nutzen auch leistungsfähige Frontier Models. Deshalb müssen wir genau verstehen, welche Verpflichtungen wir von unseren Partnern erhalten, etwa von Anthropic, OpenAI, Google oder AWS. Und wir müssen wiederum unseren Kunden ermöglichen, diese Technologien sicher zu nutzen.

Ein Beispiel: Wir beobachten stärker, wie Drittanbieter-Partner, die unsere Kunden nutzen, mit unseren Systemen interagieren. Wenn wir erkennen, dass ein Problem von einem solchen Partner ausgeht, müssen wir in der Lage sein, schnell zu reagieren oder den Zugriff zu stoppen. Es geht also nicht mehr nur um uns selbst, sondern um unsere Rolle in einem vernetzten System.

Wenn KI-Agenten stärker mit Unternehmenssystemen verbunden werden, können Standards wie MCP helfen, den Zugriff auf Tools und Daten zu strukturieren. Gleichzeitig kann dadurch Risiko entstehen. Welche Leitplanken braucht es?

Shana Simmons: Beides ist wahr. Solche Standards können helfen – und sie können Risiken erhöhen. Entscheidend ist, ob es klare Kontrollen gibt, das heisst gute Vertragsbedingungen, Transparenz darüber, was im System passiert, laufende Überwachung und die Möglichkeit, im Problemfall einzugreifen.

Wir bedienen sehr unterschiedliche Unternehmen, vom kleinen Betrieb bis zum Fortune-100-Konzern. Deshalb müssen wir auch eine Art Vordenkerrolle einnehmen und Kunden dabei helfen zu verstehen, wie ein Netz aus KI und autonomen Agenten sicher orchestriert werden kann.

Unterscheiden sich die Anforderungen an Vertrauen, Sicherheit und Governance zwischen einem KI-Einsatz im Helpdesk und einer Enterprise-Contact-Center-Umgebung?

Shana Simmons: Aus meiner Sicht hängen die Anforderungen vor allem vom Risiko, vom Einfluss und von der Wirkung ab. Grundsätzlich müssen wir dieselben Verpflichtungen ernst nehmen. Unsere Kunden wissen, was grosse Anbieter wie Anthropic oder OpenAI versprechen. Entsprechend hoch sind ihre Erwartungen an uns. Und eigentlich sollten wir in bestimmten Bereichen sogar mehr leisten können, weil wir Customer Support sehr gut verstehen. Deshalb sehe ich hier keinen grundsätzlichen Unterschied in der Haltung. Wenn überhaupt, haben wir die Verantwortung, in unserem spezifischen Kontext besonders präzise zu sein.

Enterprise-Kunden fragen zunehmend nach Transparenz, Erklärbarkeit und Auditierbarkeit. Wie viel Einblick sollten Kunden darin haben, wie KI-Agenten trainiert, überwacht, korrigiert und gesteuert werden?

Shana Simmons: Transparenz ist im Moment zentral, weil Unternehmen noch Vertrauen aufbauen. Sie wollen wissen, wann KI eingesetzt wird. Ich glaube aber, dass wir in einem Jahr vielleicht weniger über Transparenz als solche sprechen werden, weil sie stärker in Systeme eingebaut sein wird.

Erklärbarkeit bleibt dennoch wichtig, besonders bei bestimmten Aufgaben. Und ich glaube, dass KI in manchen Fällen sogar besser erklären kann als Menschen, wie sie zu einer Antwort gekommen ist. Bei Retrieval Augmented Generation etwa kann man nachvollziehen, auf welche Informationen sich eine Antwort stützt. Das ist wichtig. Denn wenn mich jemand fragt, wie ich selbst zu einer Antwort gekommen bin, kann ich das nicht immer so klar rekonstruieren.

KI-Agenten können Effizienzgewinne schaffen. Wenn die «eingesparte» Zeit aber einfach mit zusätzlicher Arbeit gefüllt wird, kann das für Mitarbeitende problematisch werden. Gehört Verantwortung gegenüber Mitarbeitenden auch zu Responsible AI Governance?

Shana Simmons: Ja, das ist eine wichtige Frage. Regulatoren denken ebenfalls darüber nach: Wie werden Mitarbeitende behandelt? Welche Arbeitszeiten und Arbeitsbedingungen entstehen? Als global tätiges Unternehmen müssen wir darüber nachdenken. Gleichzeitig ist eine Transformation von einem Software-as-a-Service-Unternehmen zu einem KI-Unternehmen anspruchsvoll. Das verlangt Arbeit. Aber KI wird menschliche Empathie nicht ersetzen. Ich kann als Frau, Mutter und Führungskraft diese Empathie gegenüber Mitarbeitenden nicht ausblenden.

Wir müssen uns fragen: Wie entwickeln wir Mitarbeitende weiter? Wie stellen wir sicher, dass sie im Zentrum bleiben, damit sie wiederum Kunden gut unterstützen können? Es sind weiterhin Menschen, die mit Kunden sprechen, die Beziehungen aufbauen und Vertrauen schaffen. Deshalb sollte diese Verantwortung nicht allein bei Regulatoren liegen. Wir schulden sie auch den Menschen, die diese Unternehmen und Produkte aufgebaut haben.

Mit Blick nach vorne: Was wird die nächste grosse rechtliche und Governance-Herausforderung in KI-gestützter Customer Experience?

Shana Simmons: Ein grosses Thema ist Accountability und Liability, also Verantwortung und Haftung. Wo liegt die Verantwortung, wenn etwas schiefgeht? Heute gilt oft: Verantwortung liegt dort, wo die grösste menschliche Kontrolle besteht. Auch in einer Umgebung mit autonomen Agenten ist der Mensch noch Teil der Orchestrierung.

Aber das wird sich weiterentwickeln. Richterinnen, Anwälte und Unternehmen denken darüber nach. Die Antwort wird allerdings nicht nur in einem Vertrag stehen. Selbst wenn ich vertraglich sage, dass ich voll hafte: Was hilft das, wenn durch einen Fehler die Marke eines Kunden beschädigt wurde?

Deshalb müssen Anbieter und Kunden von Beginn an partnerschaftlich arbeiten und das Richtige für die Endkunden tun wollen. Aus Governance-Sicht finde ich spannend, dass wir alle kritischer darüber nachdenken, welchen Einfluss Software auf Menschen und Gesellschaft haben kann. Das wird uns weiter beschäftigen.

Zum Schluss: Was hat Sie bei den aktuellen Ankündigungen besonders interessiert?

Pam Couch: Für mich sind die Custom Agents beziehungsweise der Agent Builder besonders spannend. Man bewegt sich von einem Copilot-Szenario oder einem einfachen Agenten hin zu der Möglichkeit, komplexe Interaktionen zu orchestrieren, die auch Systeme und Prozesse ausserhalb von Zendesk verändern können. Aus juristischer Sicht ist es spannend, alle Risikominderungen mitzudenken. In diesen Funktionen wurden viele Kontrollen eingebaut, die Kunden Sicherheit geben sollen, solche Werkzeuge auszuprobieren.

Shana Simmons: Ich freue mich besonders über die Ankündigungen rund um Employee Service, auch aus Eigeninteresse. Die Rechtsabteilung nutzt Zendesk selbst. Je mehr wir für Kunden entwickeln, desto mehr profitieren auch wir intern. Früher mussten Mitarbeitende in Legal viele Fragebögen beantworten, oft mit sehr einfachen Fragen, etwa nach dem Namen des Unternehmens. Heute sind Kundenfragen anspruchsvoller geworden. Sie betreffen KI-Governance, Datenschutz, Guardrails und Kontrollen. Wir verfügen über Zertifizierungen wie ISO 42001 und CSA STAR, aber manche Kunden wollen trotzdem konkrete Antworten. Dafür haben wir einen Bot gebaut, der solche Fragen beantwortet. Das nimmt Mitarbeitenden repetitive Arbeit ab. Genau das zeigt für mich, welchen praktischen Wert diese Entwicklungen haben können.