Claude ist Testsieger – doch kein Modell überzeugt

AutomationContent MarketingConversational AIDigital MarketingGenAI

Claude ist Testsieger – doch kein Modell überzeugtClaude ist Testsieger – doch kein Modell überzeugt
Claude ist Testsieger – doch kein Modell überzeugt

Eine neue Studie vergleicht die aktuellen Sprachmodelle von Google, OpenAI und Anthropic beim Schreiben von B2B-Texten für Marketing und Vertrieb. Zwar erzielt das Modell des Unternehmens den höchsten Wert, doch keines der getesteten Systeme erreicht das Niveau gut verständlicher Texte. Die Analyse zeigt deutliche Schwächen bei Verständlichkeit, Stil und Kundenansprache. Ohne präzises Prompting entstehen häufig Floskeln, Passivkonstruktionen und schwer lesbare Formulierungen.

Eine WORTLIGA-Studie im Auftrag von SISTRIX verglich die Fähigkeiten der aktuellen Flaggschiff-Modelle von Google, OpenAI und Anthropic. Trotz großer Unterschiede offenbart die Analyse durchgängig Schwächen bei allen KI-Sprachmodellen. Die Analyse von 2.112 B2B-Texten für Vertrieb und Marketing zeigt: Ohne präzises Prompting scheitert die Kundenansprache an Floskeln, Schachtelsätzen und Passiv-Jargon.

Die Studie untersuchte elf Textgattungen, darunter Texte für Social Media, Werbe-E-Mails, SEO-Blogartikel, Case Studies und Whitepaper.

KI-Einsatz ohne Qualitätskontrolle ist riskant

Im umfassenden KI-Modell-Vergleich deklassiert das Modell Claude Opus 4.7 zwar die Konkurrenz und liefert branchenübergreifend die stabilsten sprachlichen Ergebnisse. Trotzdem erreicht das Modell nur einen durchschnittlichen WORTLIGA-Score von 47,7 Punkten. Erst ab einem Wert von 60 Punkten gelten Texte als verständlich. Der Score misst dabei die Lesbarkeit, sprachliche Hürden wie Schachtelsätze, Passiv-Jargon sowie Klang und Substanz von Texten.

Googles Flaggschiff-Modell Gemini 3.1 Pro (Vorabversion) überraschte im Test mit einer Flut an Floskeln und Füllwörtern und belegte den zweiten Platz. «Die Ergebnisse zeigen, dass die unkontrollierte KI-Kommunikation in Marketing und Vertrieb riskant ist», sagt Studienleiter Gidon Wagner von WORTLIGA.

GPT 5.5 für Marketing und Vertrieb besonders schwach

Für den Test nutzten die Autoren die Programmierschnittstellen der Sprachmodelle. Sie wählten neutrale Temperatur-Einstellungen und verwendeten neben den unterschiedlichen Textsorten acht verschiedene Prompts, um realistische und faire Testbedingungen zu schaffen.

GPT 5.5 schnitt im Test sehr schlecht ab. Mit nur 37,7 Punkten auf der WORTLIGA-Skala belegt das Modell den letzten Platz bei Verständlichkeit und Stil. Ohne genaue Regeln tendiert das Modell zu Beamtendeutsch und komplexer Fachsprache, was das Lesen für Chefs und Entscheider erschwert.

«Sprache ist keine Geschmacksfrage mehr»

Wie wichtig die Studien-Ergebnisse für das deutschsprachige B2B-Geschäft sind, erklärt der Experte für Online-Sichtbarkeit Johannes Beus, Gründer und CEO von SISTRIX. Denn wie gut Texte geschrieben sind, entscheidet über die Sichtbarkeit:

«Ob ein Text von einem KI-System korrekt interpretiert wird, hängt unter anderem von seiner sprachlichen Klarheit und Struktur ab», sagt Beus. «Sprache ist keine Geschmacksfrage mehr. Was also lange als ’nice to have› galt, ist heute sowohl aus Accessibility-Sicht als auch aus der Perspektive maschinenlesbarer Inhalte ein starkes Qualitätskriterium.»

Sprachmodelle übernehmen ungewollt Sprache aus Prompts

Die Studie zeigt ein weiteres Ergebnis: den Chamäleon-Effekt beim Prompting, also bei den Befehlen für die KI. Verleitet ein unglücklicher Prompt die Modelle zu einem distanziert-formellen Stil, bricht die Verständlichkeit drastisch ein. Sie erreicht im Durchschnitt nur noch sehr schlechte 4,4 Punkte. Die Systeme ignorieren bei nachlässigen Prompts sogar die Regeln für bestimmte Textarten. Werbe-E-Mails lesen sich dann wie Briefe vom Amt. Dieser Stil prägt besonders die Antworten des großen Modells von OpenAI, GPT 5.5.

«Die Daten zeigen, dass KI-Modelle von Haus aus keine überzeugenden B2B-Texte schreiben», sagt Gidon Wagner. Auftraggeber und fachlicher Beirat Johannes Beus fasst den Kern der Studie in seinem Vorwort zusammen: «Es ist eine ehrliche Bestandsaufnahme dessen, was künstliche Intelligenz heute tatsächlich leistet und wo der Mensch nach wie vor unverzichtbar bleibt.»

Das Ranking der drei Sprachmodelle beim Texten für Marketing und Vertrieb:

Platz 1: Claude Opus 4.7
Ø WORTLIGA-Score: 47,7 Punkte

Platz 2: Gemini 3.1 Pro (Vorabversion)
Ø WORTLIGA-Score: 46,8 Punkte

Platz 3: GPT 5.5
Ø WORTLIGA-Score: 37,7 Punkte

Mehr zu Automation

Das könnte Sie auch interessieren