Das Urteil im Kopf in ein Dokument schreiben: Context Engineering und der Gehorsam eines Modells

Nachdem ich in den letzten Jahren KI in meine Arbeit eingeführt habe, habe ich die Urteile, die ursprünglich nur in meinem Kopf existierten, nach und nach aufgeschlüsselt, externalisiert (externalize) und zu einem kontrollierbaren „Context Engineering Document“ geordnet.

Eine Infografik zum Modellvergleich, die Claude als Hauptmodell, GPT als Reserve und Gemini als ausgeschieden führt, weil es einst erfundene Quellen aufgelistet hatte, mit dem Hinweis, dass dies eine persönliche Momentaufnahme aus eigenen Tests und kein objektives Endurteil sei

Ich beurteile ein Modell an drei Dingen

Wenn ich derzeit beurteile, ob sich ein Modell für Arbeit mit „hoher Disziplin und hoher Rückverfolgbarkeit“ eignet, schaue ich vor allem auf drei Dinge:

ob es sich an die festgelegten Regeln halten kann;
ob es, wenn Informationen fehlen, von sich aus „die Lücken füllt“;
ob sich der ausgegebene Inhalt zurückverfolgen und prüfen lässt.

Ein Testeindruck von diesem Augenblick

Im Folgenden meine jüngsten Testeindrücke – vorweg gesagt: Das ist rein meine derzeitige, persönliche Nutzungserfahrung, und die Modelle werden auch ständig aktualisiert, sodass dies nicht zwangsläufig für jeden und jede Version gilt:

Claude: der höchste Gehorsam gegenüber dem Kontext; es führt eher eng entlang der festgelegten Regeln aus, deshalb setze ich es als Hauptmodell ein und lasse es die Urteilsschicht tragen.
GPT: an zweiter Stelle. Die Rückverfolgbarkeit ist relativ gut kontrollierbar, aber wenn Informationen fehlen, füllt es die Lücken gelegentlich mit Trainingsdaten, deshalb nutze ich es vor allem als Reserve und für bestimmte Aufgaben.
Gemini: Mit dieser Art langer, hochdisziplinierter Arbeit tut es sich schwerer; es hat einmal auf einen Schlag einen ganzen Schwung erfundener Quellen aufgezählt, deshalb ist es aus dieser Hauptlinie vorerst ausgeschieden.

Was den Abstand aufreißt, ist „der Gehorsam gegenüber dem externalisierten Urteil“

Für mich liegt der Schlüssel, der den Abstand zwischen den Modellen wirklich aufreißt, eigentlich nicht nur in der Fähigkeit des Modells selbst, sondern darin, ob es dem fachlichen Urteil, das ich bereits externalisiert habe, „gehorchen“ kann.

Werkzeuge werden sich weiterhin aktualisieren, doch zuerst das Urteil im Kopf klar aufzuschreiben – das ist ebenso wichtig wie die Frage, welches Werkzeug du wählst.