Waarom hallucineren LLM's? Een leerling die geen blanco blad mag inleveren

Waarom hallucineren LLM’s?

Naar mijn idee kunt u zich een LLM voorstellen als zo’n leerling: hij heeft heel, heel veel boeken gelezen, maar zijn geheugen is samengeperst, en hij weet zelf niet welke delen eigenlijk al vaag zijn geworden; en wat het nog lastiger maakt: er wordt ook nog van hem verlangd dat hij — tijdens het examen — “nooit een blanco blad inlevert”.

Een infographic die aan de hand van een leerling, verzonken in een zee van boeken en verplicht om “niets blanco te laten en elke vraag te beantwoorden”, illustreert waarom LLM’s hallucineren, en zes oorzaken opsomt zoals samengeperst geheugen en dooreengeraakte bronnen

Zijn sterke punt is niet “weten of hij het weet”

Het echte sterke punt van deze leerling is niet te beoordelen of hij “het werkelijk weet”, maar woorden vloeiend aaneen te rijgen, zodat het antwoord eruitziet als een redelijk antwoord.

Wanneer het materiaal zelf dus erg vaag is, de bronnen dooreengeraakt zijn, of al de eerste stap van de redenering fout is, dan kan wat daarop volgt — om de eenheid van toon te bewaren — steeds vollediger worden, en steeds zelfverzekerder fout.

Het gaat erom de ruimte te verkleinen waarin het “lukraak gaten opvult”

Daarom is bij het gebruik van AI het punt niet om louter één zin toe te werpen: “Zoek het antwoord voor me.” Het gaat erom manieren te vinden om de ruimte waarin het “lukraak gaten opvult” te verkleinen.

Een betere aanpak is:

de vraag te structureren en de achtergrond, de beperkingen en het uitvoerformaat duidelijk op te sommen;
bij te veel materiaal dit in porties in te voeren, zodat het stap voor stap verwerkt kan worden;
en, nog belangrijker, correcte bronnen aan te reiken en te verlangen dat het “op basis van de bronnen antwoordt”, en de punten waarover het niet zeker is aan te geven.

Beschouw het als een assistent die een duidelijke opdracht nodig heeft

Een andere vergelijking: beschouw AI als een assistent “aan wie u een duidelijke opdracht, referentiemateriaal en een bereik om te antwoorden moet meegeven”.

Hoe losser de vraag, hoe gemakkelijker het lukraak gaten opvult; hoe duidelijker u het bereik afbakent, hoe waarschijnlijker het is dat het u werkelijk van dienst kan zijn.

Met andere woorden: als degene die de vraag stelt de vraag meer kan ontwerpen als een “invuloefening” dan als een grenzeloze “open essayvraag”, dan zullen de antwoorden die de AI geeft doorgaans meer convergeren en dichter bij een tamelijk nauwkeurig resultaat komen.