Perché gli LLM allucinano? Uno studente che non può consegnare un foglio in bianco

Perché gli LLM allucinano?

A mio avviso, si può immaginare un LLM come uno studente di questo tipo: ha letto moltissimi libri, ma la sua memoria è stata compressa, e lui stesso non sa quali parti in realtà si siano ormai fatte sfocate; quel che è peggio, gli si chiede anche — durante l’esame — di «non consegnare mai un foglio in bianco».

Un’infografica che, tramite uno studente immerso in un mare di libri e obbligato a «non lasciare nulla in bianco e rispondere a tutto», illustra perché gli LLM allucinano, elencando sei cause come la memoria compressa e le fonti mescolate

Il suo punto di forza non è «sapere se sa»

Il vero punto di forza di questo studente non è giudicare se «sa davvero qualcosa», bensì concatenare le parole in modo fluido, così che la risposta abbia l’aspetto di una risposta plausibile.

Perciò, quando il materiale stesso è molto vago, le fonti sono mescolate, oppure già il primo passo del ragionamento è sbagliato, ciò che segue può — pur di mantenere la coerenza del tono — farsi via via più completo, e sempre più sicuro di sé nel proprio errore.

Il punto è ridurre il suo margine per «rattoppare a casaccio»

Perciò, quando si usa l’IA, il punto non è limitarsi a buttare lì una frase: «Trovami la risposta». Si tratta invece di trovare il modo di ridurre il suo margine per «rattoppare a casaccio».

Un approccio migliore è:

strutturare la domanda, elencando con chiarezza il contesto, i vincoli e il formato di output;
quando il materiale è troppo, inserirlo a lotti, così che possa elaborarlo passo dopo passo;
e, cosa più importante, fornire fonti corrette e chiederle di «rispondere in base alle fonti», segnalando i punti su cui non è sicura.

Trattare l’IA come un’assistente che ha bisogno di consegne chiare

Cambiamo metafora: consideri l’IA come un’assistente «a cui bisogna dare una consegna chiara, materiali di riferimento e un ambito entro cui rispondere».

Quanto più la domanda è vaga, tanto più facilmente rattoppa a casaccio; quanto più chiaramente si delimita l’ambito, tanto più è probabile che sia davvero d’aiuto.

Vale a dire: se chi pone la domanda riesce a progettarla più come un «esercizio a completamento» che come una sconfinata «domanda a tema aperto», allora le risposte fornite dall’IA, di norma, saranno più convergenti e si avvicineranno di più a un risultato piuttosto preciso.