KI-Halluzinationen erklärt: ChatGPT-Antworten prüfen

Eine KI-Halluzination ist eine selbstsichere, flüssig formulierte Antwort eines Chatbots wie ChatGPT, Gemini oder Claude, die falsch oder nicht belegt ist, zum Beispiel eine erfundene Quellenangabe, ein toter Link oder ein falsches Datum. Sie entsteht, weil Sprachmodelle Text erzeugen, indem sie wahrscheinliche Wörter vorhersagen, statt Fakten nachzuschlagen. Um eine KI-Antwort zu prüfen, vergleichen Sie jede Quelle, jeden Link, jede Zahl und jedes Zitat mit einem unabhängigen Original, bevor Sie sich darauf verlassen.

Das Wichtigste in Kürze

Sprachmodelle sagen plausiblen Text voraus; sie prüfen nicht von sich aus, ob das Geschriebene wahr ist.
Am schädlichsten sind erfundene Quellenangaben: echt wirkende Autoren, Fachzeitschriften, DOIs und URLs, die es nicht gibt.
Konkrete Angaben wie Zahlen, Datumsangaben, Namen und Zitate sind am ehesten falsch und zugleich am leichtesten zu prüfen.
Wenn Sie das Modell bitten, Unsicherheit zuzugeben, und ihm Quelldokumente geben, treten weniger Halluzinationen auf, ganz verschwinden sie aber nicht.
Tools mit Websuche helfen bei aktuellen Fakten, aber Sie müssen trotzdem die zitierte Seite öffnen und bestätigen, dass sie wirklich sagt, was die Antwort behauptet.

Chatbots sind nützlich zum Entwerfen, Zusammenfassen und Erklären, und das meiste, was sie zu gängigen Themen sagen, stimmt. Das Problem: Ihre falschen Antworten sehen genauso aus wie die richtigen. Dieser Ratgeber erklärt, woher Halluzinationen kommen, welche Formen sie meist annehmen und wie Sie eine Antwort in der Praxis prüfen.

Warum große Sprachmodelle halluzinieren

Sie sagen das nächste Token voraus

Ein großes Sprachmodell (LLM) wird mit riesigen Textmengen darauf trainiert, anhand alles Vorangegangenen das nächste kleine Textstück vorherzusagen, ein sogenanntes Token. Auf eine Frage erzeugt es die Fortsetzung, die am besten zu den gelernten Mustern passt. Kam die Antwort in den Trainingsdaten oft vor, ist die wahrscheinlichste Fortsetzung meist richtig. Kam sie nicht vor, erzeugt das Modell trotzdem die plausibelste Fortsetzung, denn im Grundmechanismus gibt es kein „Stopp, das weiß ich nicht“.

Deshalb wirken Erfindungen so überzeugend. Eine ausgedachte Quellenangabe hat die richtige Form: realistische Autorennamen, eine Zeitschrift, die in diesem Fachgebiet veröffentlicht, ein passendes Jahr und eine DOI im korrekten Format. Das Modell hat viel besser gelernt, wie Quellenangaben aussehen, als sich zu merken, welche davon existieren.

Das Training belohnt Antworten

Nach dem Vortraining werden Modelle darauf getrimmt, hilfreich zu sein, und sowohl menschliche Bewerter als auch automatische Benchmarks haben eine vollständige Antwort tendenziell stärker belohnt als „Da bin ich nicht sicher“. Forscher von OpenAI argumentierten 2025 in der Arbeit Why Language Models Hallucinate, dass eine Bewertung, die für Enthaltung keine Punkte vergibt, Modelle zum Raten ermutigt. Neuere Modelle drücken Unsicherheit besser aus, doch die Neigung ist nicht verschwunden.

Stichtag des Trainings

Das Wissen eines Modells endet mit dem Stichtag seines Trainings. Wird es zu späteren Ereignissen, neuen Gesetzen, aktuellen Preisen oder der neuesten Softwareversion befragt, kann ein Modell ohne Zugriff auf eine Suche einen älteren Stand als aktuell darstellen oder die Lücke mit einer Vermutung füllen.

Standardmäßig kein Abruf von Quellen

Solange ein Chatbot nicht mit einer Websuche oder mit Dokumenten verbunden ist, die Sie bereitstellen, antwortet er allein aus dem Gedächtnis. Er kann die Studie, die er zitiert, nicht öffnen und nicht prüfen, ob eine URL funktioniert. Selbst mit Suche kann er eine Seite falsch lesen, zwei Quellen verwechseln oder eine korrekte Quellenangabe an eine Behauptung hängen, die die Quelle gar nicht aufstellt.

Typische Arten von Halluzinationen

Art	So sieht es aus	So prüfen Sie es
Erfundene Quellenangaben	Eine Studie, ein Buch oder ein Gerichtsfall mit plausiblen Autoren, Titel und Zeitschrift, die es nicht gibt, oder eine echte Studie, der Ergebnisse zugeschrieben werden, die sie nicht enthält	Den genauen Titel in einem Bibliothekskatalog oder bei Google Scholar suchen; die Zusammenfassung oder den betreffenden Abschnitt lesen
Erfundene DOIs und Kennungen	Eine DOI, ISBN oder arXiv-ID, die sich nicht auflösen lässt oder auf ein ganz anderes Werk führt	`https://doi.org/` gefolgt von der DOI öffnen; ISBNs in einem Bibliothekskatalog nachschlagen; die arXiv-ID öffnen
Erfundene URLs	Ein Link auf einer echten Domain mit glaubwürdigem Pfad, der „404 Not Found“ zurückgibt	Den Link öffnen; schlägt das fehl, den Inhalt über die Suche der Website finden
Falsche Zahlen und Datumsangaben	Statistiken, Preise, Einwohnerzahlen, Erscheinungsdaten oder Versionsnummern, die leicht oder völlig falsch sind	Die Zahl in einer amtlichen oder Primärquelle suchen und ihr Datum prüfen
Falsch zugeschriebene Zitate	Ein echt klingendes Zitat, das einer berühmten Person zugeschrieben wird, die es nie gesagt hat	Den genauen Wortlaut in Anführungszeichen suchen und bis zu einer Originalrede, einem Buch oder Interview zurückverfolgen
Selbstsicher falsche Schlussfolgerungen	Rechenfehler, ungültige Logik oder Code, der nicht existierende Funktionen aufruft, Schritt für Schritt vorgetragen	Die Rechnung wiederholen, den Code ausführen, Funktionsnamen in der offiziellen Dokumentation prüfen

Erfundene Quellenangaben hatten bereits reale Folgen. Im US-Fall Mata v. Avianca von 2023 wurden Anwälte sanktioniert, nachdem sie einen Schriftsatz eingereicht hatten, der Gerichtsentscheidungen enthielt, die ChatGPT erfunden hatte. Ähnliche Vorfälle sind seither von anderen Gerichten und aus veröffentlichten wissenschaftlichen Arbeiten bekannt geworden.

Schritt für Schritt: eine KI-Antwort per Faktencheck prüfen

Sie müssen nicht jeden Satz jeder Antwort prüfen. Richten Sie den Aufwand nach dem, was auf dem Spiel steht: Ein Rezeptvorschlag braucht weniger Kontrolle als eine medizinische, rechtliche oder finanzielle Behauptung oder alles, was Sie unter Ihrem Namen veröffentlichen.

Prüfbare Behauptungen herausziehen. Listen Sie jede Quellenangabe, jeden Link, jede Zahl, jedes Datum, jeden Namen und jedes wörtliche Zitat auf. Hier verstecken sich die meisten Halluzinationen, und hier geht die Prüfung am schnellsten.
Jede Kennung auflösen. Öffnen Sie jede URL, lösen Sie jede DOI auf doi.org auf, schlagen Sie jede ISBN und arXiv-ID nach. Eine Kennung, die nicht funktioniert oder zu einem anderen Werk führt, ist ein Warnzeichen für die gesamte Quellenangabe.
Bestätigen, dass die Quelle sagt, was behauptet wird. Eine echte Studie stützt den Satz, an dem sie hängt, womöglich trotzdem nicht. Lesen Sie die Zusammenfassung, den betreffenden Abschnitt oder die zitierte Passage.
Zahlen mit Primärquellen abgleichen. Gehen Sie zum Statistikamt, zur Aufsichtsbehörde, zur Unternehmensmeldung oder zur Originalstudie, nicht zu einem Blog, der die Zahl wiederholt. Notieren Sie das Datum der Zahl.
Zitate bis zum Ursprung zurückverfolgen. Suchen Sie die genauen Worte in Anführungszeichen. Wenn es nur Zitatsammlungen ohne Originalnachweis gibt, behandeln Sie das Zitat als ungeprüft.
Die Herleitung selbst nachvollziehen. Wiederholen Sie Berechnungen, testen Sie Code in einer echten Umgebung und prüfen Sie, ob jeder Schritt aus dem vorherigen folgt.
Seitwärts lesen. Suchen Sie bei wichtigen Behauptungen nach zwei unabhängigen, verlässlichen Quellen, die übereinstimmen, statt sich auf eine zu verlassen.
Entfernen oder kennzeichnen, was Sie nicht belegen können. Lässt sich eine Behauptung nicht bestätigen, streichen Sie sie oder markieren Sie sie deutlich als unbestätigt.

Unser KI-Halluzinationsprüfer automatisiert die ersten Schritte. Fügen Sie eine KI-Antwort ein: Er prüft DOIs bei Crossref, testet, ob Links funktionieren, kontrolliert arXiv-IDs und ISBNs, untersucht Literaturzeilen und listet die Statistiken und Tatsachenbehauptungen auf, die noch ein Mensch prüfen muss. Er sagt Ihnen, welche Kennungen echt sind; die Quelle zu lesen und zu bestätigen, dass sie die Behauptung stützt, bleibt Ihre Aufgabe.

Prompts, die Halluzinationen verringern

Wie Sie fragen, beeinflusst, wie oft ein Modell etwas erfindet. Diese Techniken helfen, doch keine davon macht eine Antwort allein verlässlich.

Erlauben Sie ein „Weiß ich nicht“. Modelle geben Unsicherheit eher zu, wenn man ihnen sagt, dass das in Ordnung ist.
Liefern Sie das Quellmaterial. Fügen Sie das Dokument, den Bericht oder die Daten ein und bitten Sie das Modell, nur daraus zu antworten. Das ist die wirksamste einzelne Änderung.
Verlangen Sie Zitate. Wenn zu jeder Behauptung ein kurzes wörtliches Zitat aus dem bereitgestellten Text verlangt wird, fallen unbelegte Aussagen leichter auf.
Trennen Sie Fakten von Schlussfolgerungen. Bitten Sie das Modell zu kennzeichnen, was in den Quellen steht und was seine eigene Überlegung ist.
Vermeiden Sie Suggestivfragen. „Welche Studie hat X bewiesen?“ lädt das Modell ein, eine Studie zu liefern. „Gibt es Belege für X?“ lässt Raum für ein „Nein“.
Bitten Sie um weniger, aber bessere Quellen. Wer lange Literaturlisten verlangt, bekommt mehr erfundene Einträge.

Ein Beispiel-Prompt, der mehrere dieser Punkte verbindet:

Antworte nur anhand des unten eingefügten Berichts.
Gib zu jeder Aussage ein kurzes wörtliches Zitat aus dem Bericht an, das sie stützt.
Wenn der Bericht die Antwort nicht enthält, schreibe „Im Bericht nicht angegeben“.
Füge keine Quellen oder Zahlen hinzu, die nicht im Bericht stehen.

[Bericht hier einfügen]

Ein Modell zu bitten, seine eigene vorherige Antwort zu prüfen, kann manche Fehler aufdecken, aber ebenso leicht eine Erfindung bestätigen. Selbstkontrolle ersetzt nicht das Öffnen der Quelle.

Wann Tools mit Websuche und Abruf helfen

Viele Assistenten können inzwischen im Web suchen oder hochgeladene Dateien lesen, bevor sie antworten. Dieser Ansatz, oft Retrieval-Augmented Generation (RAG) genannt, gibt dem Modell passenden Text zum Arbeiten, statt sich auf das Gedächtnis zu verlassen. Am meisten hilft das bei:

aktuellen Ereignissen, Preisen und Versionen, die nach dem Trainingsstichtag erschienen sind;
Fragen zu einem bestimmten Dokument, Vertrag, einer Richtlinie oder einem Datensatz, den Sie bereitstellen;
Nischenthemen, die in den Trainingsdaten selten vorkamen.

Die Anbindung an Quellen verringert erfundene Quellenangaben, weil die Verweise auf Seiten zeigen, die tatsächlich abgerufen wurden. Genauigkeit garantiert sie nicht. Die Suche kann eine schlechte oder veraltete Seite liefern, das Modell kann sie falsch zusammenfassen, oder es verweist auf eine echte Seite neben einer Behauptung, die diese Seite nicht aufstellt. Behandeln Sie die Quellenangaben einer so gestützten Antwort als Leseliste zum Überprüfen, nicht als Beweis.

Wann besondere Vorsicht geboten ist

Gesundheit, Recht und Geld. Fehler haben reale Kosten, und die Regeln unterscheiden sich von Land zu Land und ändern sich mit der Zeit. Nutzen Sie KI, um die Fragen zu verstehen, und bestätigen Sie dann mit offiziellen Hinweisen oder einer qualifizierten Fachperson.
Alles, was Sie veröffentlichen oder einreichen. Ihr Name steht darauf, nicht der des Modells. Redaktionen, Lehrkräfte und Gerichte sehen erfundene Quellenangaben als Verantwortung der Autorin oder des Autors.
Nischen- oder Lokalthemen. Je weniger online über ein Thema geschrieben wurde, desto weniger hat das Modell, worauf es zurückgreifen kann.
Sehr spezielle Anfragen. Genaue Seitenzahlen, Gerichtsaktenzeichen, Gesetzesparagrafen und exakte Statistiken werden besonders häufig erfunden.

Wenn Sie einen Text prüfen, den jemand anderes verfasst hat und bei dem Sie vermuten, dass er generiert wurde, behandelt unser Ratgeber So erkennen Sie, ob ein Text von KI geschrieben wurde die Erkennung und ihre Grenzen, und der KI-Detektor kann ein weiteres Signal liefern. Nicht überprüfbare Quellenangaben sind oft ein stärkerer Hinweis als jeder Detektor-Wert.

Häufig gestellte Fragen

Warum erfindet ChatGPT Quellen?

Weil es Text erzeugt, der wie eine wahrscheinliche Antwort aussieht. Es hat das Format von Quellenangaben sehr gut gelernt. Fehlt ihm eine echte Quelle, kann es daher eine mit plausiblen Autoren, Titeln und Kennungen produzieren, die keiner tatsächlichen Veröffentlichung entspricht.

Wie kann ich prüfen, ob eine Quellenangabe von einer KI echt ist?

Suchen Sie den genauen Titel bei Google Scholar oder in einem Bibliothekskatalog, lösen Sie die DOI auf doi.org auf und bestätigen Sie, dass Autoren, Zeitschrift und Jahr übereinstimmen. Lesen Sie dann genug von der Quelle, um zu bestätigen, dass sie die Behauptung stützt. Ein Tool wie unser Halluzinationsprüfer kann DOIs, ISBNs, arXiv-IDs und Links gesammelt testen.

Halluzinieren neuere KI-Modelle noch?

Ja. Neuere Modelle halluzinieren bei gängigen Fragen in der Regel weniger und sagen besser, wenn sie unsicher sind, aber jedes aktuelle Modell kann weiterhin falsche Aussagen erzeugen, besonders bei Nischenthemen, aktuellen Ereignissen und Anfragen nach exakten Details.

Verhindert die Websuche KI-Halluzinationen?

Sie verringert sie, besonders erfundene Quellen und veraltete Fakten, verhindert sie aber nicht. Das Modell kann die gefundenen Seiten trotzdem falsch lesen oder falsch wiedergeben, also öffnen Sie die zitierten Seiten und prüfen Sie nach.

Ist eine Halluzination dasselbe wie eine Lüge?

Nein. Eine Lüge setzt die Absicht zu täuschen voraus. Ein Modell hat keine Absicht; es erzeugt flüssigen Text ohne verlässliche interne Kontrolle, ob dieser Text stimmt. Die Wirkung auf die Leserin oder den Leser kann dieselbe sein, deshalb ist die Überprüfung wichtig.

Alle Tools