ChatGPT erfindet Quellen. So prüfst du jede Angabe

KI im Studium 10 Min. Lesezeit · Zuletzt geprüft 22.10.2026
Regeln ändern sich. Wir prüfen diese Seite vor jedem Semesterstart.

Warum erfindet ChatGPT Quellen?

Weil ein Sprachmodell beim Antworten nicht in einem Katalog nachschlägt. KI-Anwendungen arbeiten mit Wahrscheinlichkeiten, so beschreibt es die Philosophische Fakultät der Universität zu Köln in ihrer KI-Leitlinie [3]. Eine Literaturangabe folgt einem festen Muster aus Namen, Jahr, Titel, Zeitschrift, Band und Seiten. Dieses Muster kann ein Modell glaubwürdig füllen, auch wenn es das Werk dahinter nie gab.

Walters und Wilder vermuten, dass ChatGPT Literaturangaben teils wie gewöhnlichen Text behandelt und nicht sicher erkennt, welche Teile bibliografische Daten sind [1]. Ein Forschungsteam um Adam Tauman Kalai vergleicht Sprachmodelle mit Studierenden in einer schweren Prüfung. Sind sie unsicher, raten sie manchmal, statt die Unsicherheit zuzugeben, weil Training und Bewertung das Raten belohnen [4]. Diese Arbeit ist bisher nur als Vorabveröffentlichung ohne Begutachtung erschienen.

Für deine Hausarbeit heißt das, je spezieller dein Thema ist, desto genauer prüfst du. GPT-4o erfand in einer Studie von 2025 zur Depression 6 Prozent der Angaben, zur Binge-Eating-Störung 28 Prozent und zur körperdysmorphen Störung 29 Prozent [2]. Die beiden letzten Störungen sind weniger bekannt und weniger erforscht.

Wie oft sind Angaben aus ChatGPT erfunden?

Bei den Modellen hinter ChatGPT lag der Anteil erfundener Angaben in den vier Studien, die wir gelesen haben, zwischen 18 und 55 Prozent. Die Forschenden ließen die Modelle kurze Fachtexte schreiben oder Literatur für Übersichtsarbeiten zusammenstellen. Danach prüften sie jede Angabe in Datenbanken und Katalogen.

Auch echte Titel waren oft falsch angegeben. Bei Walters und Wilder enthielten 43 Prozent der echten Angaben von GPT-3.5 und 24 Prozent von GPT-4 inhaltliche Fehler [1]. Bei GPT-4o waren es 45,4 Prozent, vor allem falsche oder ungültige DOIs [2]. Jede Zahl gilt nur für die getestete Version und die getesteten Themen. Für das Modell, das du heute nutzt, liegt uns keine solche Studie vor.

Wie prüfst du eine Angabe aus ChatGPT?

Mit sechs Schritten, für die du kein Zusatzprogramm brauchst. Die ersten fünf zeigen, ob es die Quelle gibt und ob ihre Daten stimmen. Der sechste zeigt, ob sie zu deinem Satz passt. Ähnlich gingen die Forschenden in den Studien vor, mit Google Scholar, Katalogen und den Inhaltsverzeichnissen der Zeitschriften [1] [2].

1. DOI auflösen. Gib die DOI auf doi.org ein oder setz doi.org/ in der Adresszeile davor. Landest du bei einem Aufsatz, vergleich Titel, Namen und Jahr mit der Angabe aus dem Chat. Eine DOI, die funktioniert, beweist allein nichts. Bei GPT-4o führten 21 von 33 DOIs, die zu erfundenen Angaben gehörten, zu echten Aufsätzen ohne Bezug zur Angabe [2]. Meldet doi.org „DOI Not Found“, kann die DOI erfunden oder nur falsch abgeschrieben sein [7].
2. ISBN im Katalog suchen. Bei Büchern gibst du die ISBN im Katalog der Deutschen Nationalbibliothek unter portal.dnb.de oder im Katalog deiner Unibibliothek ein. Die Nationalbibliothek sammelt alle Medienwerke, die seit 1913 in und über Deutschland oder in deutscher Sprache veröffentlicht werden [8]. Gehört die ISBN zu einem anderen Buch als im Chat, ist die Angabe falsch.
3. Titel suchen. Setz den genauen Titel in Anführungszeichen und such ihn in Google Scholar und im Katalog deiner Bibliothek. Findest du ihn nirgends, behandelst du die Angabe als erfunden, bis du sie anders belegen kannst.
4. Autor und Zeitschrift prüfen. Such nach weiteren Veröffentlichungen der genannten Personen zu deinem Thema. Ob es die Zeitschrift gibt, zeigt dir die Zeitschriftendatenbank ZDB. Sie weist den Weg zu Zeitschriften und Zeitungen in deutschen und österreichischen Bibliotheken [9]. Bei Kapiteln aus Sammelbänden schaust du besonders genau hin, denn GPT-4 erfand bei Walters und Wilder 70 Prozent der zitierten Buchkapitel [1].
5. Jahrgang, Heft und Seiten abgleichen. Öffne das Inhaltsverzeichnis des genannten Hefts und such den Aufsatz auf den angegebenen Seiten. Bei den echten Aufsätzen von GPT-3.5 stimmten in mehr als einem Drittel Band, Heft oder Seiten nicht, und bei 22 Prozent der echten Werke war das Jahr falsch [1]. Ins Literaturverzeichnis übernimmst du die Daten aus dem Heft oder dem Katalog, nie die aus dem Chat.
6. Prüfen, ob die Quelle deine Aussage stützt. Lies die Stelle, auf die du dich berufst, selbst. In einer Studie mit sieben Sprachmodellen und 800 medizinischen Fragen waren zwischen 50 und 90 Prozent der Antworten nicht vollständig durch die genannten Quellen gedeckt, teils standen sie sogar im Widerspruch dazu [10].

Wie du die geprüften Daten in die richtige Form bringst, zeigt der Ratgeber Wie erstelle ich ein Literaturverzeichnis?.

Wie sieht eine erfundene Angabe aus?

Genau wie eine echte, das zeigt dieses Beispiel. Es ist frei erfunden, auch die Namen, die Zeitschrift und die DOI. Mia schreibt im ersten Semester eine Hausarbeit über Aufschieben im Studium und fragt ChatGPT nach Literatur. Eine der Antworten lautet so.

• Mustermann, E. & Beispiel, J. (2021). Aufschieben im ersten Semester. Eine Längsschnittstudie an drei Universitäten. Zeitschrift für Studieneingangsforschung, 14(3), 211-229. https://doi.org/10.1234/zsf.2021.0147

Die Angabe wirkt vollständig, mit zwei Namen, Jahr, Titel und Untertitel, Zeitschrift, Band, Heft, Seiten und DOI. So prüft Mia sie.

Nach dem dritten Schritt ist klar, dass Mia die Angabe streicht. Danach fragt sie ChatGPT nur noch nach Suchbegriffen wie Prokrastination und Studienbeginn und sucht damit selbst im Katalog ihrer Bibliothek. Schwieriger wäre es gewesen, wenn die DOI zu einem echten Aufsatz über ein anderes Thema geführt hätte. Dann hätte erst der Vergleich der Titel in Schritt 1 die Erfindung gezeigt.

Woran erkennst du eine erfundene Quelle?

Sicher erkennst du sie erst bei der Prüfung, denn eine erfundene Angabe ist genauso aufgebaut wie eine echte. Die Tabelle zeigt Warnzeichen, bei denen du besonders gründlich nachsiehst.

Was sagen die Hochschulen zu Quellen aus ChatGPT?

Die Hochschul-Leitfäden, die wir für diesen Text gelesen haben, legen die Prüfung in deine Hand. Die Universität Erfurt schreibt das in ihrer Handreichung zum Umgang mit generativer KI im Studium vom 29.01.2025, zuletzt aktualisiert am 03.03.2026, ausdrücklich. „Sprachmodelle liefern oft ungenaue oder sogar erfundene Quellen. Überprüfen Sie, ob die genannten Quellen überhaupt existieren und für Ihre Argumentation sinnvoll sind.“ [11]

Das Lehrgebiet Bildungstheorie und Medienpädagogik der FernUniversität in Hagen verlangt in seinem Standpunkt zu KI im Studium (PDF ohne Datum, abgerufen am 22.10.2026) dasselbe. „Den KI-generierten Output müssen Sie daher immer anhand von wissenschaftlichen Quellen kritisch auf Richtigkeit, Relevanz und mögliche Verzerrungen überprüfen.“ [12] Die Sozialpsychologie der Universität Potsdam erinnert in ihrem Leitfaden zur Nutzung von KI, Stand Dezember 2025, daran, dass du für die Richtigkeit deiner Arbeit verantwortlich bist und Ergebnisse aus KI „immer prüfen“ solltest [13].

Rutscht eine erfundene Quelle durch, hat das Folgen. In Hagen kann schon eine nicht existierende oder nicht überprüfbare Quelle dazu führen, dass die Arbeit als „nicht bestanden“ bewertet wird [12]. Die Philosophische Fakultät in Köln nennt erfundene Referenzen, die einen erheblichen Anteil ausmachen, als Fall für einen Anscheinsbeweis der Täuschung. Ob die Erfindung von einer KI stammt oder von dir, ist dafür laut Leitlinie unerheblich [3].

Häufige Fragen

Quellen

1. Walters, William H. und Wilder, Esther Isabelle. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13, Artikel 14045, 07.09.2023, DOI 10.1038/s41598-023-41032-5, abgerufen am 22.10.2026. https://doi.org/10.1038/s41598-023-41032-5
2. Linardon, J., Jarman, H. K., McClure, Z., Anderson, C., Liu, C. und Messer, M. Influence of Topic Familiarity and Prompt Specificity on Citation Fabrication in Mental Health Research Using Large Language Models. Experimental Study. JMIR Mental Health 12, e80371, 12.11.2025, DOI 10.2196/80371, abgerufen am 22.10.2026. https://doi.org/10.2196/80371
3. Universität zu Köln, Philosophische Fakultät. Leitlinie zur Nutzung von KI-Anwendungen in Studium und Lehre an der Philosophischen Fakultät. PDF, beschlossen durch die Engere Fakultät am 13.05.2026, abgerufen am 22.10.2026. https://phil-fak.uni-koeln.de/sites/phil-fak/lehre_studium/fachuebergreifend/Leitlinien_KI-Nutzung_PHIL.pdf
4. Kalai, Adam Tauman, Nachum, Ofir, Vempala, Santosh S. und Zhang, Edwin. Why Language Models Hallucinate. Vorabveröffentlichung auf arXiv, nicht begutachtet, 04.09.2025, abgerufen am 22.10.2026. https://arxiv.org/abs/2509.04664
5. Bhattacharyya, M., Miller, V. M., Bhattacharyya, D. und Miller, L. E. High Rates of Fabricated and Inaccurate References in ChatGPT-Generated Medical Content. Cureus 15 (5), e39238, 19.05.2023, DOI 10.7759/cureus.39238, abgerufen am 22.10.2026. https://doi.org/10.7759/cureus.39238
6. Chelli, M. und andere. Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews. Comparative Analysis. Journal of Medical Internet Research 26, e53164, 22.05.2024, DOI 10.2196/53164, abgerufen am 22.10.2026. https://doi.org/10.2196/53164
7. DOI Foundation. Fehlerseite „DOI Not Found“ auf doi.org, aufgerufen mit der erfundenen DOI aus dem Beispiel. Webseite, abgerufen am 22.10.2026. https://doi.org/10.1234/zsf.2021.0147
8. Deutsche Nationalbibliothek. Die Deutsche Nationalbibliothek im Porträt. Webseite, letzte Änderung 12.10.2026, abgerufen am 22.10.2026. https://www.dnb.de/DE/Ueber-uns/Portraet/portraet_node.html
9. Zeitschriftendatenbank (ZDB). Startseite. Webseite, abgerufen am 22.10.2026. https://www.zeitschriftendatenbank.de/startseite
10. Wu, K. und andere. An automated framework for assessing how well LLMs cite relevant medical references. Nature Communications 16, Artikel 3615, 16.04.2025, DOI 10.1038/s41467-025-58551-6, abgerufen am 22.10.2026. https://doi.org/10.1038/s41467-025-58551-6
11. Universität Erfurt, Studienservices, Digitales Lernen und Lehren. Handreichung zum Umgang mit generativer KI im Studium an der Universität Erfurt. Webseite, Stand 29.01.2025, letzte Aktualisierung 03.03.2026, abgerufen am 22.10.2026. https://www.uni-erfurt.de/studium/studienservices/digitales-lernen-lehren/generative-ki-im-studium
12. FernUniversität in Hagen, Lehrgebiet Bildungstheorie und Medienpädagogik. (Generative) KI im Studium. Der Standpunkt des Lehrgebiets Bildungstheorie und Medienpädagogik. PDF ohne Datum, abgerufen am 22.10.2026. https://www.fernuni-hagen.de/bildungswissenschaft/bildung-medien/docs/ki_im_studium.pdf
13. Universität Potsdam, Department Psychologie, Sozialpsychologie. Leitfaden zur Nutzung von Künstlicher Intelligenz bei der Erstellung wissenschaftlicher Abschlussarbeiten und Hausarbeiten. PDF, Stand Dezember 2025, abgerufen am 22.10.2026. https://www.uni-potsdam.de/fileadmin/projects/sozialpsychologie/Dokumente/neu_Leitfaden_zur_Nutzung_von_K%C3%BCnstlicher_Intelligenz.pdf
14. Jaźwińska, Klaudia und Chandrasekar, Aisvarya (Tow Center for Digital Journalism, Columbia Journalism Review). AI Search Has a Citation Problem. Webseite, 06.03.2025, abgerufen am 22.10.2026. https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
15. Karlsruher Institut für Technologie, KIT-Fakultät für Informatik. Leitfaden für den Einsatz generativer KI in der Lehre an der KIT-Fakultät für Informatik (KI-Leitfaden Informatik). PDF ohne Datum, abgerufen am 22.10.2026. https://informatik.kit.edu/downloads/studium/Leitfaden_Generative_KI_Informatik.pdf

Dieser Text gibt einen allgemeinen Überblick und ist keine Rechtsberatung. Verbindlich sind ausschließlich die Regelungen deiner Hochschule.