Proč mají LLM halucinace? Žák, který nesmí odevzdat prázdný list

Proč mají LLM halucinace?

Podle mě si LLM lze představit jako takového žáka: přečetl už opravdu hodně a hodně knih, ale jeho paměť byla komprimována, a on sám ani neví, která místa už se ve skutečnosti rozmazala; ještě horší je, že se po něm navíc žádá – při zkoušce „nesmí odevzdat prázdný list“.

Jeho silnou stránkou není „vědět, jestli to ví“

Skutečnou silnou stránkou tohoto žáka není posoudit, zda „opravdu něco ví“, ale plynule navazovat slova tak, aby odpověď vypadala jako rozumná odpověď.

Proto když jsou samotná data velmi nejasná, zdroje promíchané, nebo je chybný už první krok úvahy, může se to, co následuje – kvůli udržení jednotného tónu – stávat čím dál úplnějším, a čím dál sebejistěji chybným.

Jde hlavně o to zúžit jí prostor pro „bezhlavé zaplňování mezer“

Proto při používání AI nejde jen o to hodit jí jednu větu: „Najdi mi odpověď.“ Jde o to najít způsob, jak jí zúžit prostor pro „bezhlavé zaplňování mezer“.

Lepší postup je:

• strukturovat otázku, jasně uvést kontext, omezení a formát výstupu;
• když je dat příliš mnoho, zadávat je po dávkách, aby je zpracovávala krok za krokem;
• a co je důležitější, poskytnout správné zdroje a požadovat, aby „odpovídala podle zdrojů“, a místa, kde si není jistá, aby označila.

Berte ji jako asistentku, která potřebuje jasné zadání

Jiné přirovnání: berte AI jako asistentku, „které je třeba dát jasné zadání, podklady a také rozsah, v jakém má odpovídat“.

Čím volněji je otázka položená, tím snáz bezhlavě zaplňuje mezery; čím jasněji je rozsah vymezený, tím pravděpodobněji opravdu pomůže.

Jinými slovy, pokud ten, kdo se ptá, dokáže otázku navrhnout spíš jako „doplňovačku“ než jako bezbřehou „otevřenou otázku“, pak odpovědi, které AI dá, se obvykle budou víc sbíhat a přibližovat se přesnějšímu výsledku.