Quello che l'IA ti dà forse non è una risposta, ma un'allucinazione impaginata con cura

Oggi ho chiesto a Gemini di aiutarmi a trovare degli installatori di condizionatori, a condizione che si basasse soprattutto sulle esperienze degli utenti su PTT o Dcard (due dei forum online più popolari di Taiwan).

All’inizio ha elencato alcuni URL che sembravano piuttosto completi, ma una volta cliccati, o non si aprivano, o il contenuto non corrispondeva.

Non appena l’ho avvertito, ha «rabberciato» il tutto in modo ancora più completo

Dopo che gli ho fatto notare che gli URL avevano dei problemi, ha rimesso insieme un altro «vero elenco di raccomandazioni sui condizionatori dei netizen di PTT», stavolta comprensivo di nomi di negozi, ID di PTT, motivi della raccomandazione e persino di suggerimenti su quali parole chiave potessi usare per cercare.

A prima vista, sembrava davvero che avesse fatto una verifica seria.

Ma scavando un po’ più a fondo, il problema non ha fatto che ingigantirsi: quei negozi erano pressoché introvabili, e nemmeno i cosiddetti post su PTT e le raccomandazioni degli internauti avevano una fonte corrispondente.

È un’«IA generativa», non un’«IA che rifiuta»

Questo episodio mi ha anche ricordato una cosa: nei casi in cui occorre cercare informazioni, alcune IA, se non riescono a trovare dati affidabili, non necessariamente le diranno con onestà «non l’ho trovato», ma cercheranno il modo di «rabberciare» un contenuto che sembra del tutto ragionevole.

Perché è un’«IA generativa», non un’«IA che rifiuta».

In altre parole, quello che l’IA le dà forse non è una risposta, ma un’allucinazione impaginata con cura.

Per le cose che riguardano il mondo reale, non ci si può affidare solo all’IA

L’IA è molto adatta ad aiutarci a mettere ordine nella direzione da prendere, a generare parole chiave di ricerca e a sintetizzare contenuti già verificati; ma non appena entrano in gioco negozi, prezzi e recensioni reali, oppure questioni come il diritto, la medicina e gli investimenti, non ci si può assolutamente affidare alla sola risposta dell’IA.

L’IA può aiutarci a risparmiare tempo di ricerca, ma non può sostituire la verifica delle fonti. Che qualcosa sembri completo non significa che sia vero.