Die Notizen, die nie ganz stimmten

Vor einigen Monaten hätte mich eine Notiz in meinem Archiv beinahe zu einer echten Entscheidung verleitet. Sie war präzise formuliert. Konkret. Wunderschön formatiert, mit einer selbstsicheren kleinen Tabelle und einer Zahl genau in ihrer Mitte. Und die Zahl stimmte nicht.

Nicht weil jemand gelogen hätte. Sie stimmte nicht, weil sie die Zusammenfassung einer Zusammenfassung einer Zusammenfassung war, und irgendwo, vier Generationen weiter oben in dieser Kette, hatte sich eine Zahl verschoben – so wie eine Geschichte abdriftet, wenn sie immer wieder nacherzählt wird. Als sie bei mir ankam, hatte sie jede Erinnerung daran verloren, woher sie stammte. Sie lag im selben Ordner, in derselben Schriftart, mit derselben ruhigen Autorität wie der Kontoauszug zwei Notizen weiter. Nichts an ihr verriet: Ich bin eine Vermutung über eine Vermutung. Genau das war das Problem.

Ich führe, was man heute ein zweites Gehirn nennt: ein paar tausend Markdown-Dateien – Besprechungsnotizen, Transkripte, eingescannte Dokumente, halbfertige Ideen und einen stetig wachsenden Stapel an Dingen, die eine KI für mich zusammengefasst hat. Ein Assistent sitzt obendrauf und greift darauf zurück, wenn ich eine Frage stelle. Und dieser Assistent tat über lange Zeit etwas still und heimlich Gefährliches: Er behandelte jede Datei als gleich wahr.

Aber sie sind nicht gleich wahr. Manche meiner Notizen sind Primärquellen: ein Vertrag, ein Gesetz, ein Ausweis, ein Rohdatensatz, eine Zahl, die ich an ihrer Quelle überprüft habe. Manche sind Synthesen erster Ordnung, die eine KI durch das Lesen dreier anderer Notizen verfasst hat. Und manche sind Synthesen von Synthesen, drei oder vier Schritte von allem Realen entfernt. Eine KI-Synthese kann flüssig und dabei völlig falsch sein, und wenn der Retriever diese flüssig-falsche Notiz in eine Antwort zieht, wäscht sich der Fehler selbst zu einer „Tatsache" rein. Zuversicht ist kein Beweis. Meine Dateien hatten keine Möglichkeit, beides zu unterscheiden – also hatte ich das auch nicht.

Die Lösung war kein klügeres Modell. Es war Provenienz – jede Notiz dazu zu bringen, direkt in sich selbst zu deklarieren, woher sie stammt und wie sehr sie das Recht verdient hat, geglaubt zu werden.

Ein Stammbaum für jede Notiz

Jede inhaltlich relevante Notiz trägt jetzt sechs Zeilen Metadaten an ihrem Anfang:

• tier — wie viele Schritte es von der rohen Realität entfernt ist. Tier 0 ist primär: ein Originaldokument, ein Vertrag, ein Gesetz, ein Ausweis, eine rohe E-Mail direkt vom Absender. Tier 1 ist eine mechanische Eins-zu-eins-Umwandlung einer einzigen Primärquelle – ein bereinigtes Transkript, ein per OCR erfasstes Dokument. Tier 2 ist eine erste Synthese. Tier 3 fasst mehrere Quellen zusammen. Tier 4 und darüber ist Synthese von Synthesen. Die Regel ist brutal einfach: Der Tier einer Notiz ist um eins höher als der höchste Tier, aus dem sie entstanden ist.
• reliability — eine Zahl zwischen 0 und 1, volle Präzision, keine Rundung auf glatte Zehntel. Primärquellen werden von Hand festgelegt. Ein Vertrag, ein Gesetz, ein offizielles Dokument, ein Ausweis, ein Rohdatensatz ist 1.0, weil ein Dokument bleibt, was es ist, ob ich mich nun richtig daran erinnere oder nicht. Mein eigener Erfahrungsbericht liegt eine Stufe darunter, weil Erinnerung kein Beweis ist und ich mich ausgerechnet bei den Dingen irren kann, von denen ich am überzeugtesten bin. Ein rohes Transkript ist 0.99, nahezu perfekt – aber ein Mikrofon kann sich verhören. Ein Webscraping ist 0.8.
• sources — Verknüpfungen zu den genauen Notizen, aus denen diese abgeleitet wurde. Diese Verknüpfungen sind die Kanten eines Vertrauensgraphen. Keine Quellen bedeutet: Primärquelle.
• volatility — static, slow oder fast. Ist das eine Tatsache, die für immer gilt, oder ein Preis, der am Freitag schon veraltet ist?
• verified — das letzte Datum, an dem ein Mensch die Aussage tatsächlich bestätigt hat. Diese eine Zeile trägt, wie sich herausstellt, den Großteil des Signals.
• generated_by — wer oder was den Text produziert hat: ich, ein Transkriptionsmodell, ein bestimmtes LLM oder eine Mischung. Orthogonal zu allem anderen, denn wie ein Satz verfasst wurde, ist eine andere Frage als wie wahr er ist.

Die Arithmetik des Zweifels

Zuverlässigkeit wird nicht addiert oder subtrahiert, wenn Wissen das System durchläuft. Sie wird multipliziert, und die Größe des Multiplikators hängt davon ab, welche Art von Schritt vollzogen wurde.

Eine mechanische Kopie verliert nichts und behält das gesamte Vertrauen ihrer Quelle. Eine treue Zusammenfassung verliert fast nichts und behält etwa 98 Prozent. Eine echte erste Synthese, bei der ein Modell einige Notizen liest und einen Schluss zieht, behält etwa 96. Eine Verflechtung mehrerer Quellen behält 95, und ein spekulativer Sprung, der über das hinausgeht, was die Quellen tatsächlich sagen, behält etwa 90. Die steilen Einbrüche sind den Schritten vorbehalten, die echtes Risiko hinzufügen, nicht den ehrlichen. Eine frühere Version bestrafte jeden Schritt um denselben festen Betrag, und das Vertrauen brach viel zu schnell zusammen. Erst die Kopplung der Strafe an die Art der Schlussfolgerung löste das Problem.

Was weiterhin gilt, ist das Schwächstes-Glied-Prinzip, nie der Durchschnitt. Eine Synthese ist nur so vertrauenswürdig wie das wackligste Element, auf das sie sich gestützt hat, denn ein Durchschnitt würde es einer soliden Quelle erlauben, eine faule zu überdecken. Und weil jeder Schritt multipliziert statt subtrahiert, gleitet das Vertrauen gegen null, ohne es je zu erreichen – sodass selbst eine tiefe Kette jedem Glied einen eindeutigen, vergleichbaren Wert lässt, anstatt auf eine bedeutungslose, flache Null zu sinken.

Verfall ist jedoch nur die Hälfte der Geschichte, und die bessere Hälfte ist, dass Vertrauen auch steigen darf. Eine Behauptung, der drei unabhängige Quellen zustimmen, ist keine Vermutung – sie ist nahezu gesichert, und das System behandelt sie jetzt entsprechend: Bestätigung durch weitere Quellen schiebt die Glaubwürdigkeit einer Notiz in Richtung Gewissheit, statt sie nach unten zu ziehen. Eine gut belegte Schlussfolgerung kann über viele Schritte hinweg Bestand haben, anstatt allein wegen der zurückgelegten Distanz zu verblassen. Deshalb führt das Modell zwei separate Zahlen, nicht eine. Quellzuverlässigkeit ist die Erfolgsbilanz dessen, woher etwas stammt. Behauptungsglaubwürdigkeit ist, wie gut die spezifische Tatsache bestätigt wird. Das sind verschiedene Fragen, und sie verdienen verschiedene Antworten. Und unter allem liegt eine Untergrenze: Die am wenigsten vertrauenswürdige Notiz wird höchstens halbiert, nie auf null gesetzt. Das System stuft herab. Es löscht nicht.

Volatile Fakten erhalten einen zweiten Abschlag: eine Frischheitsuhr. Die effektive Zuverlässigkeit ist die gespeicherte Zuverlässigkeit multipliziert mit 0,5 hoch (Alter ÷ Halbwertszeit). Ein Preis hat eine 90-Tage-Halbwertszeit – vertraue ihm jetzt, misstraue ihm bis zum Herbst. Ein Gehaltsband oder eine Vorschrift bekommt ein Jahr. Ein Geburtstag verfällt nie. Und unter allem liegt dieses eine menschliche Feld, verified: das Datum, an dem ich das letzte Mal einer Tatsache ins Auge geschaut und genickt habe. Keine noch so clevere Mathematik schlägt eine kürzliche menschliche Bestätigung, und das System ist ehrlich genug, das zuzugeben.

Die Vertrauenswerte, die monatelang nichts bewirkten

Hier ist der Teil, auf den ich am wenigsten stolz bin. Über lange Zeit bewirkten all diese Metadaten rein gar nichts.

Jede Notiz hatte ihren Tier und ihre Zuverlässigkeit und ihr ehrliches kleines verified-Datum genau dort oben, und der Suchindex, den mein Assistent tatsächlich abfragt, warf das alles weg. Er las die Wörter und ignorierte den Stammbaum vollständig. Ich hatte ein ausgeklügeltes Vertrauenssystem aufgebaut und es dann stillschweigend als Dekoration abgelegt. Der Retriever fuhr fort, Notizen ausschließlich danach einzustufen, wie gut der Text übereinstimmte – genau das Verhalten, das einer selbstsicheren Zusammenfassung aus vierter Hand erlaubt, überhaupt zu gewinnen. Die Labels waren ein Gewissen, das die Maschine nicht hören konnte.

Das zu beheben war die Arbeit der letzten paar Tage, und es ist der Teil, der das Ganze schließlich real werden ließ. Das Archiv wird durch einen Prozess namens vault_indexer.py in einen durchsuchbaren Index umgewandelt – teils nach Schlüsselwörtern, teils nach Bedeutung. Die Änderung bestand darin, nicht mehr allein nach Relevanz zu rangieren, sondern nach Relevanz mal Vertrauen mal Frische mal Tier, wobei die Vertrauensmultiplikatoren angewendet werden, nachdem die semantische Suche ihren Teil erledigt hat. Jede Klasse von Notizen trägt jetzt ein Gewicht: Ein roher Sitzungslog liegt bei 0.55, eine extrahierte Lektion bei 0.80, ein Projekt- oder Personendatensatz bei 1.00, eine destillierte Fähigkeit oder ein Prinzip bei 1.20. Das gesamte Verhalten lebt hinter einem einzigen Schalter, VAULT_TIER_WEIGHTS_ENABLED, damit ich ihn ausschalten und messen kann, ob er seinen Platz verdient hat, anstatt meinem eigenen Geschmack darüber zu vertrauen.

Der Effekt ist klein anzusehen und groß, wenn man mit ihm lebt. Eine vertrauenswürdige Notiz übertrifft jetzt eine beredtere, selbst wenn die beredtere die bessere Wortübereinstimmung ist. Der Retriever hat – in einem echten und umschaltbaren Sinne – gelernt, seine eigenen früheren Schätzungen herunterzugewichten. Das Eloquenteste im Stapel hörte auf, automatisch zu gewinnen. Das Vertrauenswürdigste begann es.

Der Graph, der sich selbst pflegt

Es gibt noch ein weiteres Element, das das Ganze vor dem Verrotten bewahrt, und es ist der Teil, den ich gerade verdrahte. Die Wahrheit einer Notiz ist nur so aktuell wie ihre Quellen. Deshalb geht ein nächtlicher Durchlauf die sources-Kanten jeder abgeleiteten Notiz entlang und stellt eine einfache Frage: Hat sich irgendeine Quelle seit dem Tag geändert, an dem diese Notiz zuletzt verifiziert wurde?

Er beantwortet das mit Inhalts-Hashes, nicht mit Änderungszeiten – weil meine Dateien ständig über Geräte hinweg synchronisiert werden, und Synchronisierung Zeitstempel von Berufs wegen neu schreibt. Ein Hash lügt nicht. Wenn sich der Hash einer Quelle nach dem verified-Datum einer abgeleiteten Notiz ändert, wird diese abgeleitete Notiz automatisch als veraltet markiert, und die umgekehrten Abhängigkeitskanten werden vom Skript neu berechnet, nicht von mir. Der Abhängigkeitsgraph führt seine eigenen Bücher. Ich werde nur informiert, wenn etwas, dem ich einmal vertraut habe, jetzt auf verschobenem Boden steht.

Was ich bewusst nicht gebaut habe

Die interessantesten Entscheidungen hier waren die Verweigerungen.

Ich speichere keinen separaten Vertrauenswert pro Dimension. Es gibt keine Konfidenzintervalle. Keine Dempster-Shafer-Fusion, kein EigenTrust, kein erlerntes Gewicht für jede einzelne Kante des Graphen. Ich habe das Design einem Stresstest mit einem Gremium von Hintergrundagenten unterzogen, deren einzige Aufgabe es war, für mehr Maschinerie zu argumentieren – mehr Signale, mehr Fusion, mehr Cleverness – und das Urteil kam jedes Mal gleich zurück: Der Stammbaum und das Datum tragen das Signal, und alles darüber hinaus ist Bürokratie im Gewand der Strenge. Ein einheitlicher Beibehaltungsfaktor. Schwächstes-Glied. Eine Frischheitsuhr. Ein menschlicher verified-Stempel. Das ist die gesamte Maschine, und sie verdient jeden Teil, den sie behält.

Was es tatsächlich ist

Von der Mechanik befreit ist das, was ich gebaut habe, eine Wissensbasis, die weiß, was sie nicht weiß. Jede Notiz kann einem nicht nur sagen, was sie behauptet, sondern wie sie dazu kam, es zu behaupten, durch wie viele Hände sie auf dem Weg gegangen ist, wie weit sie von allem Realen abgedriftet ist, und ob sie still und heimlich veraltet ist, seit das letzte Mal jemand nachgeschaut hat.

Der Assistent, der obendrauf sitzt, ist dadurch ruhiger geworden. Er hat aufgehört, seine eigene Eloquenz mit Beweis zu verwechseln. Wenn er mir jetzt antwortet, spricht die Ground Truth zuerst, und die selbstsicheren Vermutungen kennen ihren Platz.

Es stellt sich heraus, dass das Nützlichste, was ich meinem zweiten Gehirn je gegeben habe, nicht mehr Gedächtnis war.

Es war Zweifel.