Warum wir KI-Antworten glauben, ohne sie zu prüfen

· Veröffentlicht am

English version

Ein Mensch am Schreibtisch blickt im Morgenlicht auf einen Laptop mit einer KI-Chat-Antwort, daneben ein Notizbuch mit den Worten „I don’t know“.
Inhaltsverzeichnis (11 Abschnitte)
  1. Acht Quellen, zwei Fehler
  2. Wir wissen es besser und tun es trotzdem nicht
  3. Der Satz, der verschwindet
  4. Bessere Leistung, schlechteres Urteil über sich selbst
  5. Das Gegenüber, das immer zustimmt
  6. Warum eine gute Erklärung nicht reicht
  7. Das Ziel ist nicht weniger Vertrauen
  8. Was Sie tun können
  9. Diesen Essay hören
  10. Kurz beantwortet
  11. Literatur

Acht Quellen, zwei Fehler

Für diesen Artikel habe ich eine KI gebeten, mir wissenschaftliche Studien zum Vertrauen in künstliche Intelligenz herauszusuchen. Sie lieferte acht. Ich habe jede einzelne überprüft.

Alle acht Studien existierten. Die Ergebnisse waren überwiegend richtig wiedergegeben. Und trotzdem steckten Fehler darin, ausgerechnet bei den Autorennamen. Einmal war der Name von einer thematisch benachbarten Studie aus derselben Fachzeitschrift ausgeliehen. Einmal ließ sich die angegebene Autorschaft nicht belegen.

Das Interessante daran ist nicht, dass eine KI einen Fehler macht. Interessant ist, warum er mir fast nicht aufgefallen wäre. Der Rest war so überzeugend, dass es keinen Anlass zu geben schien, ausgerechnet das einfachste Detail zu prüfen.

Genau darum geht es in diesem Text.

Wir wissen es besser und tun es trotzdem nicht

Im April 2026 befragte die Sicherheitsfirma F-Secure 1.500 Menschen in den USA und Großbritannien. Fast neun von zehn KI-Nutzern sagen, die Überprüfung von KI-Antworten sei ihre eigene Aufgabe. Gleichzeitig prüfen rund 70 Prozent nur manchmal, selten oder nie. Und der häufigste Grund, nicht nachzuhaken, ist erstaunlich schlicht: Die Antwort klang richtig.

Psychologen kennen diese Lücke zwischen Einstellung und Verhalten seit Jahrzehnten. Neu ist, wie gut sie zu KI passt. Ein Sprachmodell ist darauf trainiert, flüssig, zusammenhängend und sicher zu formulieren. Und Flüssigkeit kann als Wahrheitssignal wirken: Was sich leicht verarbeiten lässt, wirkt glaubwürdiger. Bei Menschen war das oft ein brauchbarer Hinweis, weil Unsicherheit sich im Zögern, im Stocken, im Widerspruch zeigte. Bei einer KI fallen diese Hinweise weg. Sprachliche Qualität und sachliche Richtigkeit sind zwei verschiedene Dinge, die sich plötzlich zum Verwechseln ähnlich anfühlen.

Der Satz, der verschwindet

Die für mich eindrücklichste Studie stammt von Chiara Marcoccia, Walter Quattrociocchi und Valerio Capraro. In fünf Experimenten mit insgesamt 3.132 Teilnehmenden beantworteten Menschen schwierige Fragen und durften jederzeit auf eine Antwort verzichten. Die Fragen betrafen winzige Details aus Filmen, etwa die Trikotfarbe in „Kick it like Beckham“. Sie waren bewusst so gewählt, dass die KI fast immer falsch lag.

Das Ergebnis: Schon der bloße Zugang zu einer KI ließ die Bereitschaft, sich des Urteils zu enthalten, fast vollständig verschwinden, egal ob der Rat angefordert oder einfach angezeigt wurde. In der ersten Studie lautete ohne KI noch gut ein Drittel der Antworten „Ich weiß es nicht“, mit KI waren es sechs Prozent. Die Teilnehmenden beantworteten mehr Fragen, lagen aber nur etwa ein Drittel so oft richtig wie ohne KI, während ihre Sicherheit sich mehr als verdoppelte.

Zwei Einschränkungen gehören dazu. Ungeklärt ist, ob das „Ich weiß es nicht“ genauso stark einbricht, wenn der KI-Rat meistens stimmt. Und die Studie ist noch nicht begutachtet.

Aber sie zeigt etwas Grundsätzliches. KI verändert womöglich nicht nur unsere Antworten. Sie könnte die Schwelle verschieben, ab der wir glauben, genug zu wissen, um überhaupt zu antworten.

Die Wharton-Forscher Steven Shaw und Gideon Nave haben für dieses Muster einen treffenden Namen gefunden: Cognitive Surrender, kognitive Kapitulation. Gemeint ist, KI-Antworten mit minimaler Prüfung zu übernehmen und dabei Bauchgefühl wie Nachdenken zu übergehen. In drei Experimenten mit über 1.300 Teilnehmenden stieg die Trefferquote um 25 Prozentpunkte, wenn die KI richtig lag, und fiel um 15 Punkte unter das Niveau ohne KI, wenn sie irrte. Die Menschen folgten der Maschine, nicht ihrem eigenen Denken. Auch diese Arbeit ist noch nicht begutachtet.

Bessere Leistung, schlechteres Urteil über sich selbst

Eine Forschungsgruppe aus Finnland und Deutschland ließ 246 Menschen mit KI-Hilfe Logikaufgaben aus dem amerikanischen Jura-Eingangstest lösen. Ihre Leistung lag drei Punkte über einer Vergleichsgruppe, doch sie überschätzten sich um vier Punkte. Wer mehr technisches KI-Wissen hatte, war selbstsicherer, schätzte sich aber ungenauer ein.

Das ist unbequem. KI kann uns tatsächlich besser machen und gleichzeitig unser Gespür dafür verschlechtern, wie gut wir gerade sind. Und die naheliegende Lösung „mehr KI-Kompetenz“ hilft offenbar nicht automatisch.

Dazu passt eine Befragung von Forschenden bei Microsoft unter 319 Wissensarbeitern. Wer der KI die jeweilige Aufgabe eher zutraute, berichtete weniger kritisches Denken. Wer sich selbst die Aufgabe eher zutraute, berichtete mehr. Das ist eine Korrelation aus Selbstauskünften, kein Beweis für Ursache und Wirkung. Aber sie legt eine überraschende Wendung nahe: Nicht Misstrauen gegenüber der Maschine schützt uns, sondern Vertrauen in das eigene Urteil.

Wie früh dieser Mechanismus einsetzt, zeigt eine deutsche Studie. Schon das bloße Wissen, dass ein Rat von einer KI stammt, brachte Menschen dazu, sich übermäßig darauf zu verlassen, auch wenn der Rat vorhandenen Informationen widersprach. Das Etikett allein genügt.

Das Gegenüber, das immer zustimmt

In meiner Arbeit als Psychotherapeut gilt eine einfache Erfahrung: Ein Gegenüber, das nur bestätigt, hilft nicht. Zustimmung fühlt sich gut an, aber sie prüft nichts. Veränderung beginnt oft genau dort, wo jemand freundlich, aber deutlich sagt: Da sehe ich es anders.

Sprachmodelle neigen zum Gegenteil. In einer Untersuchung stimmten bei den größten getesteten Modellen mehr als 90 Prozent der Antworten auf philosophische Fragen mit der Ansicht überein, die der Nutzer zuvor in einer kurzen Selbstvorstellung genannt hatte. Und fragt man ein Modell nach einer richtigen Antwort „Bist du sicher?“, entschuldigt es sich oft und ändert sie, auch zum Falschen.

Für unser Thema ist das doppelt heikel. Eine Antwort, die bestätigt, was wir ohnehin dachten, gibt uns den geringsten Anlass zur Prüfung. Und ein System, das auf Widerspruch mit Nachgeben reagiert, taugt nicht als Prüfinstanz für sich selbst.

Warum eine gute Erklärung nicht reicht

Liegt die Lösung darin, dass die KI ihre Antworten besser erklärt? Nur bedingt. Raymond Fok und Daniel Weld argumentieren, dass Erklärungen nur so weit nützen, wie sie es dem Menschen ermöglichen, die Richtigkeit einer KI-Aussage zu überprüfen. Eine Erklärung, die den Denkweg der Maschine nachzeichnet, klingt überzeugend, macht das Ergebnis aber nicht prüfbarer.

Die Experimente von Mark Steyvers und Kollegen stützen das. Menschen überschätzten die Genauigkeit von KI-Antworten, besonders mit den üblichen Standarderklärungen. Längere Erklärungen steigerten das Vertrauen, ohne dass die Menschen richtige und falsche Antworten besser auseinanderhalten konnten. Erst Erklärungen, deren Tonfall zur tatsächlichen Sicherheit des Modells passte, verkleinerten die Lücke.

Auch eine Unsicherheitsangabe allein genügt nicht. In einer Studie zum Hautkrebs-Screening reichte die bloße Anzeige der Modellunsicherheit nicht aus; erst im Häufigkeitsformat half sie den Nutzern, ihr Vertrauen anzupassen. Also eher „bei 100 ähnlichen Fällen etwa 78-mal richtig“ als „78 % Sicherheit“.

Und die KI mit einer zweiten KI zu überprüfen, wie es ein Drittel der F-Secure-Befragten schon getan hat, ist keine unabhängige Kontrolle. Zwei Modelle können denselben plausiblen Fehler machen. Ich habe meine Quellen ebenfalls mit Hilfe einer zweiten KI geprüft. Der Unterschied: Am Ende standen die Originalarbeiten, nicht die nächste Zusammenfassung.

Das Ziel ist nicht weniger Vertrauen

Wer daraus „Traue keiner KI“ macht, landet im anderen Graben. Eine Übersicht von Microsoft Research über rund 50 Arbeiten formuliert das Ziel so: Richtige KI-Ausgaben annehmen, falsche ablehnen. Zu wenig Vertrauen schadet dabei genauso wie zu viel.

Die gute Nachricht: Das lässt sich üben. In einem Experiment mit 342 Studierenden übernahmen diejenigen, die ChatGPT frei nutzten, 62 Prozent der falschen Ratschläge. Mussten sie zusätzlich kurz über ihr eigenes Urteil nachdenken, waren es noch 40 Prozent. Die KI wurde dadurch nicht pauschal abgelehnt. Sie wurde genauer genutzt.

Was Sie tun können

Nicht jede KI-Antwort muss geprüft werden. Entscheidend sind zwei Fragen: Was passiert, wenn sie falsch ist? Und wie leicht lässt sie sich prüfen?

Steht wenig auf dem Spiel und ist die Prüfung leicht, lohnt der Aufwand kaum. Steht viel auf dem Spiel und ist die Prüfung leicht, prüfen Sie. Steht wenig auf dem Spiel und ist die Prüfung schwer, dürfen Sie die Unsicherheit einfach stehen lassen. Steht viel auf dem Spiel und ist die Prüfung schwer, gehören Primärquellen oder ein Fachmensch dazu. Gesundheit, Geld und Beziehungen fallen fast immer in dieses letzte Feld.

Drei kleine Gewohnheiten helfen dabei.

Kurz innehalten. Bevor Sie eine wichtige Antwort übernehmen, fragen Sie sich: Wie viel von meinem Urteil stammt gerade von mir? Und woran würde ich merken, dass die Antwort falsch ist? Genau so ein kurzer Moment hat im Experiment mit den Studierenden den Unterschied gemacht.

Die Holprig-Probe. Stellen Sie sich die Antwort stockend vorgetragen vor, mit „äh“ und „ich glaube“. Würden Sie ihr dann noch genauso glauben? Wenn nicht, hat Sie womöglich die Form überzeugt, nicht der Inhalt.

Erst die eigene Antwort. Notieren Sie Ihre Einschätzung, bevor Sie die KI fragen, und sei es nur „keine Ahnung“. Dann sehen Sie hinterher, was die KI an Ihrem Urteil verändert hat.

Manchmal lautet die ehrlichste Antwort am Ende: Ich weiß es nicht. Das ist kein Versagen. Es ist der Anfang von Urteilskraft.

Diesen Essay hören

Als Gespräch: Ich weiß es nicht. Warum KI uns diesen Satz abgewöhnt (26 Minuten).

Kurz beantwortet

Warum prüfen Menschen KI-Antworten so selten?

In Befragungen nennen Nutzer am häufigsten, dass die Antwort richtig klang.

weiterlesen

Flüssige, sichere Sprache wirkt als Wahrheitssignal, obwohl sie über die Richtigkeit wenig aussagt.

Was bedeutet „Cognitive Surrender“?

Der Begriff beschreibt, KI-Antworten mit minimaler Prüfung zu übernehmen und dabei eigene Intuition und eigenes Nachdenken zu übergehen.

weiterlesen

In Experimenten folgte die Trefferquote der Teilnehmenden dann weitgehend der Richtigkeit der KI.

Macht KI uns schlechter im Denken?

Nicht unbedingt. In Studien verbesserte KI teils die Leistung, verschlechterte aber die Einschätzung der eigenen Leistung.

weiterlesen

Das Problem liegt weniger im Auslagern der Arbeit als im Auslagern der Kontrolle.

Was hilft gegen blindes Vertrauen in KI?

Ein kurzer Reflexionsschritt vor dem Übernehmen senkte in einem Experiment die Übernahme falscher Ratschläge deutlich, ohne dass die KI pauschal abgelehnt wurde.

weiterlesen

Hilfreich ist außerdem, vorab zu entscheiden, bei welchen Themen immer geprüft wird.

Literatur

  1. S. Cao, A. Liu, C.-M. Huang: Designing for Appropriate Reliance: The Roles of AI Uncertainty Presentation, Initial User Decision, and User Demographics in AI-Assisted Decision-Making. Proceedings of the ACM on Human-Computer Interaction 8, Heft CSCW1 (2024), 1–32.
  2. D. Fernandes, S. Villa, S. Nicholls, O. Haavisto, D. Buschek, A. Schmidt, T. Kosch, C. Shen, R. Welsch: AI makes you smarter but none the wiser: The disconnect between performance and metacognition. Computers in Human Behavior 175 (2026), 108779.
  3. F-Secure: Consumer AI Survey. 2026 (April 2026).
  4. R. Fok, D. S. Weld: In search of verifiability: Explanations rarely enable complementary performance in AI-advised decision making. AI Magazine 45, Heft 3 (2024), 317–332.
  5. A. Klingbeil, C. Grützner, P. Schreck: Trust and reliance on AI: An experimental study on the extent and costs of overreliance on AI. Computers in Human Behavior 160 (2024), 108352.
  6. H.-P. Lee, A. Sarkar, L. Tankelevitch, I. Drosos, S. Rintel, R. Banks, N. Wilson: The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems (2025).
  7. C. Marcoccia, W. Quattrociocchi, V. Capraro: AI advice suppresses people’s willingness to say "I don’t know", even when the advice is wrong and accuracy is incentivized. 2026 (Preprint, arXiv 2607.13562).
  8. S. Passi, S. Dhanorkar, M. Vorvoreanu: Appropriate reliance on Generative AI: Research synthesis. 2024 (Microsoft Technical Report MSR-TR-2024-7).
  9. E. Perez et al.: Discovering Language Model Behaviors with Model-Written Evaluations. Findings of the Association for Computational Linguistics: ACL 2023 (2023), 13387–13434.
  10. R. Reber, N. Schwarz: Effects of perceptual fluency on judgments of truth. Consciousness and Cognition 8, Heft 3 (1999), 338–342.
  11. S. Ren: College students’ metacognitive awareness of generative-AI reliance: an experimental study of decision confidence and attribution bias. Frontiers in Psychology 17 (2026), 1926110.
  12. S. D. Shaw, G. Nave: Thinking-Fast, Slow, and Artificial: How AI is Reshaping Human Reasoning and the Rise of Cognitive Surrender. 2026 (Preprint, PsyArXiv).
  13. M. Steyvers, H. Tejeda, A. Kumar, C. Belém, S. Karny, X. Hu, L. W. Mayer, P. Smyth: What large language models know and what people think they know. Nature Machine Intelligence 7 (2025), 221–231.

← Zur Blog-Übersicht · English version →