Wenn die KI selbstsicher falschliegt - warum es ein System braucht, kein Bauchgefühl

Ich habe schon über konkrete Fälle geschrieben, in denen mir die KI etwas Selbstsicheres und Falsches geliefert hat: eine erfundene Quellenangabe, einen Bericht, der tagelang log. In diesem Text geht es um das, was darunter liegt. Selbstsicherheit und Korrektheit sind zwei völlig getrennte Regler in diesen Werkzeugen, und die Maschine dreht den ersten auf Maximum, egal wo der zweite steht. Mit Vorsicht im Moment löst man das nicht. Die eigentliche Frage: Was baut man in die Arbeitsweise ein, damit die falsche Antwort abgefangen wird, bevor sie etwas kostet?

Das Wichtigste in Kürze

• Selbstsicherheit und Korrektheit sind unabhängige Regler. Die KI dreht den ersten auf Maximum, egal wo der zweite steht.
• Persönliche Vorsicht behebt das nicht: Eine falsche Antwort, die identisch aussieht wie eine richtige, schlägt dein Bauchgefühl an jedem vollen Tag.
• Die Lösung ist ein Prüfschritt im Arbeitsablauf, im Voraus festgelegt und mit einem Verantwortlichen.

Die zwei Regler, von denen niemand sagt, dass sie getrennt sind

Wir sind darauf gepolt, Selbstsicherheit als Kompetenz zu lesen. Bei Menschen ist das eine halbwegs brauchbare Abkürzung, weil ihre Selbstsicherheit wenigstens ein Stück weit ihrem Wissen folgt.

Bei KI sind diese Drähte gekappt. Das Werkzeug ist standardmäßig selbstsicher, bei allem. Die Flüssigkeit ist eine Konstante; die Genauigkeit ist die Variable. Es klingt genauso überzeugt, wenn es die Antwort trifft, wie wenn es eine aus der Luft erfindet. Ein Werkzeug, das offensichtlich versagt, erzieht dich zum Misstrauen. Ein Werkzeug, das überzeugend versagt, wird geglaubt, bis es dich etwas kostet.

Eine falsche und eine richtige Antwort sehen am Ausgang identisch aus. Gleiche Selbstsicherheit, gleicher Schliff. Genau dieses identische Aussehen ist das ganze Problem.

Warum Vorsicht nicht funktioniert

Die verlockende Antwort ist persönlich: langsamer machen, gründlich lesen, dem eigenen Instinkt vertrauen. Ich habe geglaubt, das reicht; es ist der Rat, den ich zurücknehmen musste.

Sähe die falsche Antwort falsch aus, bräuchte es die Disziplin gar nicht. Dein Instinkt für „hier stimmt etwas nicht" ist auf Signale geeicht, die die KI nicht aussendet: kein Zögern, kein Vorbehalt. Und du triffst Entscheidungen nicht nur an guten Tagen. Du triffst sie müde, gehetzt, darauf gepolt, die erhoffte Antwort zu sehen; die gefährlichsten falschen Antworten sind die, die mit deinen Erwartungen übereinstimmen.

„Sei vorsichtig" legt also die gesamte Verteidigung auf die Aufmerksamkeit eines Menschen, genau in den Momenten, in denen sie am wenigsten verfügbar ist. Das ist kein Plan. Das ist eine Hoffnung.

Der Wechsel: von der Gewohnheit zum System

Selbstsicher-falschen Output abzufangen ist keine persönliche Fähigkeit. Es ist ein Schritt, den man in den Arbeitsablauf einbaut, so wie eine Fabrik eine Prüfstation aufstellt, statt die Arbeiter um Wachsamkeit zu bitten.

Das heißt: einmal, im Voraus entscheiden, nicht jedes Mal, im Moment. Man sortiert die Arbeit, nicht die einzelnen Antworten:

• Geringe Einsätze, selbstkorrigierend. Rohentwürfe, interne Notizen. Ein Fehler ist billig und fällt später auf. Keine Prüfung, per Regel.
• Fließt in eine echte Entscheidung oder geht nach außen. Eine Zahl im Bericht, eine Aussage, die ein Kunde sieht. Wird gegen eine unabhängige Quelle geprüft, als fester Prozessschritt. Der selbstsichere Ton bekommt exakt null Ausnahmen.

Die Regel aufzuschreiben nimmt die Ermessensentscheidung aus dem Moment des Risikos. Die Prüfung greift bei der Kategorie, nicht beim Bauchgefühl.

Die Ökonomie dahinter:

• Eine stehende Regel „diese Kategorie wird geprüft": fast null, einmal bezahlt.
• Die Prüfung einer echten Aussage: ein, zwei Minuten.
• Eine selbstsicher-falsche Antwort, die eine echte Entscheidung erreicht: Stunden, ein Kunde, oder Schlimmeres.

Diese Asymmetrie ist das ganze Argument: ein billiger, langweiliger, wiederholbarer Schritt, der nicht davon abhängt, dass jemand in Bestform ist.

Was das heißt, wenn du ein Team führst

Dieser Fehlermodus taucht nie als Fehler auf. Das Risiko war nie, dass deine Leute KI benutzen. Es ist, dass sie selbstsicherem Output ohne Kontrollpunkt vertrauen, bei Dingen, die zählen. Der Output sieht professionell aus, also wird er geglaubt, also wird er nie geprüft.

Ein Memo über Sorgfalt behebt das nicht; Sorgfalt ist genau das, was unter Termindruck erodiert. Man baut die Prüfung ein:

• Benenn, wo die Kontrollpunkte liegen. Welche Outputs eine Linie überschreiten: zum Kunden, in eine Finanzzahl, vor einen Abnehmer. Prüfung dort ist Richtlinie, nicht Stimmung.
• Gib ihr einen Verantwortlichen. „Jemand sollte das prüfen" heißt: niemand tut es.
• Mach die Frage normal, nicht unhöflich. „Woher wissen wir, dass das stimmt?" muss Routine sein, so wie die Frage nach einer Quelle. Verbrannt werden die Teams, in denen das Anzweifeln von selbstsicherem Output wie Misstrauen wirkt.

Behandle KI-Output als Entwurf oder Behauptung, nie als geprüften Fakt.

Der eine Gedanke zum Mitnehmen

Trenn die zwei Dinge, die dein Gehirn ständig verschmilzt: wie selbstsicher eine Antwort klingt und wie wahrscheinlich sie stimmt. Bei KI sind die beiden unabhängig. Selbstsicherheit ist kein Beleg. War sie nie.

Das echte Risiko ist nicht die offensichtliche Panne. Es ist die glatte, überzeugte Antwort, die falsch ist und an dem Tag ankommt, an dem du zu beschäftigt bist, sie zu hinterfragen. Also: Wenn die KI deinem Team an einem schlechten Tag etwas Selbstsicheres und Falsches liefert, was in eurem Prozess, nicht in jemandes Urteilsvermögen, ist darauf eingestellt, es abzufangen?