Warum halluzinieren LLMs? Ein Schüler, der keinen leeren Bogen abgeben darf

Warum halluzinieren LLMs?

Ich finde, man kann sich ein LLM als einen solchen Schüler vorstellen: Er hat sehr, sehr viele Bücher gelesen, doch sein Gedächtnis ist komprimiert worden, und er weiß selbst nicht, welche Stellen eigentlich schon verschwommen sind; und was es noch heikler macht: Er ist auch noch dazu angehalten – bei der Prüfung „keinen leeren Bogen abzugeben“.

Eine Infografik, die einen Schüler, der in einem Meer von Büchern treibt und angehalten ist, „nichts leer zu lassen und jede Frage zu beantworten“, als Metapher dafür nutzt, warum LLMs halluzinieren, und sechs Ursachen wie komprimiertes Gedächtnis und durcheinandergeratene Quellen auflistet

Seine Stärke ist nicht, „zu wissen, ob es etwas weiß“

Die eigentliche Stärke dieses Schülers ist nicht, zu beurteilen, ob er „wirklich Bescheid weiß“, sondern Wörter flüssig aneinanderzureihen, sodass die Antwort wie eine plausible Antwort aussieht.

Wenn also das Material selbst sehr vage ist, die Quellen durcheinandergeraten sind oder schon der allererste Schritt der Schlussfolgerung falsch ist, kann das Folgende – um die Einheitlichkeit des Tons zu wahren – immer vollständiger und dabei immer selbstbewusster falsch werden.

Es kommt darauf an, seinen Spielraum zum „wilden Zusammenstückeln“ zu verringern

Deshalb kommt es beim Einsatz von KI nicht darauf an, bloß einen Satz hinzuwerfen: „Finde mir die Antwort.“ Vielmehr gilt es, Wege zu finden, seinen Spielraum zum „wilden Zusammenstückeln“ zu verringern.

Ein besseres Vorgehen ist:

die Frage zu strukturieren und Hintergrund, Einschränkungen und Ausgabeformat klar aufzuführen;
bei zu viel Material dieses in Portionen einzugeben, damit es Schritt für Schritt verarbeitet werden kann;
und, noch wichtiger, korrekte Quellen bereitzustellen und zu verlangen, dass es „gemäß den Quellen antwortet“ und unsichere Stellen kenntlich macht.

Betrachte es als einen Assistenten, der eine klare Aufgabenstellung braucht

Um es anders zu fassen: Betrachte KI als einen Assistenten, dem man „eine klare Frage, Referenzmaterial und einen abgesteckten Antwortrahmen vorgeben muss“.

Je loser die Frage, desto leichter stückelt es etwas zusammen; je klarer du den Rahmen absteckst, desto eher hilft es dir wirklich weiter.

Das heißt: Wenn der Fragende die Frage eher wie eine „Lückenfüllaufgabe“ statt wie eine grenzenlose „Aufsatzfrage“ gestalten kann, dann werden die Antworten, die die KI liefert, in der Regel stärker konvergieren und einem präziseren Ergebnis näherkommen.