KI-Text erkennen: Merkmale, Detektoren und ihre Grenzen

Ob ein Text von einer KI stammt, lässt sich weder durch bloßes Lesen noch mit einem Detektor sicher feststellen. Stilmerkmale und Detektor-Werte zeigen nur, dass ein Text maschinell erzeugtem Text ähnelt, sie beweisen nicht, wer ihn geschrieben hat. Ein faires Urteil verbindet diese Hinweise mit Belegen für den Schreibprozess, etwa Entwürfen, dem Versionsverlauf und einem Gespräch mit der Person, die den Text verfasst hat.

Woran man KI-Texte am Stil erkennt

Große Sprachmodelle erzeugen Text, indem sie immer wieder wahrscheinliche nächste Wörter auswählen. Durch Feinabstimmung werden sie zusätzlich zu höflichen, ausgewogenen und vollständigen Antworten erzogen. Das Ergebnis hat einen wiedererkennbaren Hausstil, vor allem wenn die Antwort ungeprüft übernommen wird.

Wortschatz und Formulierungen

• Lieblingswörter. Manche Wörter kommen in Chatbot-Antworten weit häufiger vor als in gewöhnlichen Texten. Im Englischen sind das etwa „delve“, „tapestry“, „testament to“, „pivotal“, „seamless“, „robust“, „landscape“ oder „navigate the complexities“.
• Wegweiser-Floskeln. „Es ist wichtig zu beachten, dass“, „Im heutigen digitalen Zeitalter“, „Wenn es um … geht“, „Zusammenfassend“ und „Insgesamt“ als automatische Überleitungen.
• Abgesicherte Ausgewogenheit. Jede Aussage wird abgeschwächt, auf jedes Argument folgt ein „allerdings sollte man auch bedenken“. Der Text legt sich selten auf eine Position fest.
• Dreierkonstruktionen. Aufzählungen aus drei Adjektiven oder drei parallelen Satzteilen, Absatz für Absatz.

Aufbau

• Gleichförmiger Rhythmus. Sätze und Absätze von ähnlicher Länge; jeder Absatz beginnt mit einem Themensatz und endet mit einer kleinen Zusammenfassung.
• Überall Zwischenüberschriften und Aufzählungspunkte, auch wo Fließtext natürlicher wäre, etwa in einem Motivationsschreiben oder einer E-Mail.
• Ein zusammenfassender Schluss, der die Einleitung wiederholt, ohne etwas hinzuzufügen.

Inhalt

• Fehlende Einzelheiten. Keine Namen, Daten, Orte, Zahlen oder persönlichen Erfahrungen, die man nachprüfen könnte, oder Details, die plausibel klingen, aber vage bleiben („eine aktuelle Studie hat gezeigt“).
• Selbstbewusste Fehler. Erfundene Quellen, falsche Daten oder Zitate, die es nicht gibt. Mehr dazu in unserem Ratgeber zu KI-Halluzinationen.
• Ein Bruch mit der Person. Glatter, allgemeiner Text von jemandem, dessen andere Arbeiten in Ton, Rechtschreibgewohnheiten oder Detailtiefe ganz anders sind.

Keines dieser Merkmale ist eindeutig. Viele Menschen schreiben förmlich und verwenden Aufzählungspunkte; Geschäfts-, Rechts- und Wissenschaftstexte folgen bewusst festen Mustern. Und wer sorgfältig vorgeht, kann ein Modell anweisen, all diese Gewohnheiten zu vermeiden. Stilmerkmale sind ein Grund, genauer hinzusehen, aber kein Beweis.

So funktionieren KI-Detektoren

Automatische Detektoren lassen sich grob in drei Gruppen einteilen.

Detektoren auf Basis eines Klassifikators

Ein Klassifikator ist ein neuronales Netz, oft ein feinabgestimmter Transformer wie RoBERTa, das mit vielen gekennzeichneten Beispielen menschlicher und maschineller Texte trainiert wurde. Es lernt die statistischen Unterschiede, die beide Gruppen in seinen Trainingsdaten trennen, und gibt eine Wahrscheinlichkeit aus, dass ein neuer Text zur Klasse „KI“ gehört. Solche Detektoren sind bei Texten, die ihren Trainingsdaten ähneln, genau und schwächer bei neuen Modellen, ungewöhnlichen Textsorten oder anderen Sprachen.

Unser KI-Detektor gehört zu dieser Gruppe. Er nutzt ein offenes RoBERTa-Modell, das auf dem RAID-Benchmark trainiert wurde, einem großen Forschungsdatensatz menschlicher und maschineller Texte aus vielen Generatoren und Themenbereichen, und zieht ein zweites, auf dem HC3-Datensatz trainiertes Modell hinzu, wenn der erste Wert im Grenzbereich liegt. Er läuft in Ihrem Browser, der Text wird also nicht hochgeladen.

Detektoren auf Basis der Perplexität (Zero-Shot)

Diese Detektoren brauchen keine Trainingsbeispiele. Stattdessen fragen sie ein Sprachmodell, wie vorhersehbar jedes Wort im Text ist. Die Perplexität misst diese Überraschung: Eine niedrige Perplexität bedeutet, dass das Modell den Text leicht vorhersagen konnte. Weil Chatbots wahrscheinliche Wörter wählen, hat ihr Output meist eine niedrigere Perplexität als menschliche Texte. Manche Tools messen zusätzlich die Burstiness, also wie stark die Vorhersehbarkeit von Satz zu Satz schwankt, denn Menschen mischen gern schlichte und überraschende Sätze.

Forschungsverfahren verfeinern diese Idee. DetectGPT vergleicht die Wahrscheinlichkeit eines Textes mit der leicht umformulierter Fassungen, und Binoculars vergleicht, wie überraschend ein Text für ein Modell ist, mit der Überraschung, die ein anderes Modell erwarten würde. Die Schwäche der ganzen Gruppe ist dieselbe: Auch schlichte, vorhersehbare Texte von Menschen haben eine niedrige Perplexität.

Erkennung von Wasserzeichen

Ein Modellanbieter kann ein statistisches Wasserzeichen einbetten, indem er die Wortwahl des Modells unauffällig in eine Richtung lenkt, und diese Verzerrung später nachweisen. Google hat dafür SynthID Text veröffentlicht. Wasserzeichen funktionieren nur bei Texten von teilnehmenden Anbietern, lassen sich nur mit deren Detektor prüfen und werden schwächer, wenn der Text umformuliert oder übersetzt wird.

Warum Detektoren Fehlalarme auslösen

Ein falsch-positives Ergebnis liegt vor, wenn ein menschlicher Text als KI eingestuft wird. Dieser Fehler wiegt am schwersten, weil er zu einem Vorwurf gegen jemanden führen kann, der nichts falsch gemacht hat. Die häufigsten Ursachen sind:

• Nicht-Muttersprachler. Wer in einer Zweitsprache schreibt, nutzt oft einen kleineren Wortschatz und sicherere Satzstrukturen, was den Text vorhersehbarer macht. Eine Studie von Liang und Kollegen an der Stanford University aus dem Jahr 2023, erschienen in der Fachzeitschrift Patterns, ergab, dass mehrere verbreitete Detektoren die Mehrheit der Aufsätze, die Nicht-Muttersprachler für die TOEFL-Prüfung geschrieben hatten, als KI-generiert einstuften, während sie Aufsätze von Muttersprachlern weit zutreffender bewerteten.
• Schematische Texte. Laborberichte, Vertragsklauseln, Produktbeschreibungen, Anschreiben und Aufsätze nach festem Fünf-Absatz-Schema folgen Vorlagen. Ein Text, der sich eng an eine Vorlage hält, wirkt vorhersehbar, egal wer ihn geschrieben hat.
• Kurze Texte. Wenige Sätze geben dem Detektor kaum Anhaltspunkte, deshalb schwanken die Werte stark. Ergebnisse für einen einzelnen Absatz sind nahezu bedeutungslos.
• Grammatik- und Korrekturtools. Rechtschreib- und Stilassistenten, von denen manche inzwischen selbst Sprachmodelle nutzen, glätten menschliche Eigenheiten und können einen Wert nach oben treiben.

Auch falsch-negative Ergebnisse kommen vor. Umformulierungstools, manuelles Überarbeiten, das Mischen von KI- und Menschensätzen oder die Anweisung an das Modell, in einem ungewöhnlichen Stil zu schreiben, senken den Wert. OpenAI hat seinen eigenen KI-Text-Klassifikator 2023 zurückgezogen und dies mit der geringen Treffergenauigkeit begründet. Das zeigt, wie schwer das Problem selbst für einen Modellentwickler ist.

Was ein Detektor-Wert wirklich bedeutet

Ein Ergebnis wie „87 % KI“ ist meist die Zuversicht des Modells, dass der Text zur Klasse „KI“ gehört. Es bedeutet nicht, dass 87 % des Textes von einer KI geschrieben wurden, und es ist auch nicht die Wahrscheinlichkeit, dass die Person geschummelt hat. Manche Tools markieren zusätzlich einzelne Sätze, doch diese Satzwerte beruhen auf noch weniger Text und sind unzuverlässiger als der Gesamtwert.

Die Basisrate spielt eine große Rolle. Angenommen, ein Detektor markiert fälschlich 1 von 100 echten menschlichen Texten. Eine Lehrkraft, die in einem Halbjahr 300 ehrlich geschriebene Aufsätze prüft, muss dann mit etwa drei Fehlalarmen rechnen, und hinter jedem steht eine echte Schülerin oder ein echter Schüler. Je seltener KI in einer Gruppe tatsächlich genutzt wird, desto größer ist der Anteil der Fehlalarme unter den markierten Texten.

Zur Einordnung: In unserem eigenen kleinen Test hat unser Detektor 8 von 8 KI-generierten Texten erkannt, und 23 von 24 echten menschlichen Texten lagen unter 50 %. Das ist eine kleine Stichprobe, und es bedeutet, dass eine ehrliche Person in dieser Gruppe markiert worden wäre. Jeder Detektor hat eine Fehlerquote; die verantwortungsvolle Frage ist, was Sie mit einem hohen Wert anfangen.

Ein faires Vorgehen für Lehrkräfte, Personaler und Redaktionen

1. Regeln vorab festlegen. Sagen Sie klar, welche KI-Nutzung erlaubt ist: Ideensammlung, Grammatikprüfung, Übersetzung, vollständiges Vorschreiben. Viele Konflikte entstehen aus unklaren Erwartungen, nicht aus Unehrlichkeit.
2. Einen Wert nur als Anlass nehmen, genauer hinzusehen. Stützen Sie eine Sanktion nie allein auf ein Detektor-Ergebnis, und legen Sie der Person einen Wert nicht als Beweis vor.
3. Den Inhalt prüfen. Kontrollieren Sie Quellenangaben, Zitate und konkrete Fakten. Erfundene Quellen sind ein viel stärkerer Hinweis als ein Stilwert.
4. Nach dem Entstehungsprozess fragen. Entwürfe, Notizen, Gliederungen und der Versionsverlauf einer Datei (Google Docs und Microsoft 365 speichern beide einen) zeigen, wie ein Dokument entstanden ist. Ein Text, der in einem Stück eingefügt wurde und keinen Verlauf hat, rechtfertigt eine Nachfrage; ein Dokument, das über Tage getippt und überarbeitet wurde, ist ein starker Beleg für menschliche Arbeit.
5. Mit früheren Arbeiten vergleichen. Prüfen Sie, ob Stil, Wortschatz und Detailtiefe zu dem passen, was die Person bisher geschrieben hat, auch unter Aufsicht.
6. Ein Gespräch führen. Bitten Sie die Person, ihre Argumentation zu erklären, die Wahl einer Quelle zu begründen oder einen Absatz zu erläutern. Wer den Text geschrieben hat, kann in der Regel mühelos darüber sprechen.
7. Die eigenen Gründe festhalten. Notieren Sie, auf welche Belege Sie sich stützen, und geben Sie der Person vor jeder Entscheidung Gelegenheit zur Stellungnahme.

Personaler sollten bedenken, dass viele Bewerber ihren Lebenslauf mit KI aufpolieren und viele Arbeitgeber das akzeptieren. Unser KI-Lebenslauf-Detektor zeigt außerdem die Dichte von Schlagwörtern und wie konkret der Inhalt ist, was oft nützlicher ist als der KI-Wert selbst: Ein allgemein gehaltener Lebenslauf ist schwach, egal wer ihn geschrieben hat. Ob die angegebene Erfahrung stimmt, zeigt sich im Vorstellungsgespräch.

KI-Erkennung oder Plagiatsprüfung?

KI-Erkennung und Plagiatsprüfung beantworten unterschiedliche Fragen. Eine Plagiatsprüfung sucht nach Übereinstimmungen mit vorhandenen Quellen; ein KI-Detektor sucht nach statistischen Mustern erzeugter Texte. KI-generierter Text ist meist neu formuliert und stimmt deshalb selten wörtlich mit einer Quelle überein, während abgeschriebener menschlicher Text einen KI-Detektor oft unauffällig passiert. Wenn Sie vermuten, dass aus einer bestimmten Quelle abgeschrieben oder eng umformuliert wurde, vergleichen Sie beide direkt mit unserem Plagiatsprüfer. Er findet exakte Übereinstimmungen von fünf Wörtern und umformulierte Sätze zwischen Ihrem Text und den Quellen, die Sie angeben.

Wenn Ihr eigener Text als KI markiert wird

Für einen selbst geschriebenen Text markiert zu werden, ist belastend, aber es ist eine bekannte Schwäche dieser Tools. Bewahren Sie Ihre Entwürfe auf und arbeiten Sie in einem Editor mit Versionsverlauf, damit die Belege vorhanden sind, falls Sie sie brauchen. Fragen Sie, welches Tool verwendet wurde und wie das Ergebnis ausgelegt wird, und bieten Sie an, Ihre Arbeit im Gespräch zu erläutern.

Häufig gestellte Fragen

Können KI-Detektoren beweisen, dass jemand ChatGPT genutzt hat?

Nein. Detektoren schätzen, wie stark ein Text maschinell erzeugten Beispielen ähnelt. Sie haben messbare Fehlerquoten in beide Richtungen, deshalb sollte ein Wert eine Prüfung anstoßen und nicht beenden.

Wie genau sind KI-Detektoren?

Die Genauigkeit hängt von Textlänge, Textsorte, Sprache, dem erzeugenden Modell und davon ab, ob der Text überarbeitet wurde. Am besten schneiden Detektoren bei langen, unbearbeiteten Ausgaben bekannter Modelle ab, am schlechtesten bei kurzen, schematischen oder stark überarbeiteten Texten und bei Texten von Nicht-Muttersprachlern.

Warum wurde mein selbst geschriebener Aufsatz als KI markiert?

Häufige Gründe sind ein kurzer Text, ein schematischer Aufbau, einfache und vorhersehbare Formulierungen (typisch beim Schreiben in einer Zweitsprache) oder der intensive Einsatz von Grammatikkorrektur-Tools. Ihre Entwürfe und der Versionsverlauf sind der beste Weg, um zu zeigen, wie Sie den Text geschrieben haben.

Bedeuten Wörter wie „delve“, dass ein Text von einer KI stammt?

Für sich allein nicht. Manche Wörter kommen in Chatbot-Antworten statistisch häufiger vor, aber jedes davon wird auch von Menschen benutzt. Eine Häufung solcher Wörter zusammen mit allgemeinem Inhalt und ohne konkrete Details ist ein stärkeres Signal als jedes einzelne Wort.

Lässt sich KI-Text unerkennbar machen?

Oft ja. Umformulieren, manuelles Überarbeiten und das Mischen von menschlichen und KI-Sätzen senken die Detektor-Werte. Das ist ein Grund, warum ein niedriger Wert nicht beweist, dass ein Text von einem Menschen stammt.