Por que os LLM alucinam? Um aluno que não pode entregar a prova em branco

Por que os LLM alucinam?

Na minha opinião, dá para imaginar um LLM como este tipo de aluno: ele leu muitos e muitos livros, mas a sua memória foi comprimida e, além disso, ele mesmo não sabe quais partes, na verdade, já ficaram embaçadas; o pior é que ainda lhe exigem — na hora da prova — “nunca entregar a folha em branco”.

Um infográfico que, por meio de um aluno imerso em um mar de livros e obrigado a “não deixar nada em branco e responder a tudo”, ilustra por que os LLM alucinam, elencando seis causas, como a memória comprimida e as fontes misturadas

O seu ponto forte não é “saber se sabe”

O verdadeiro ponto forte desse aluno não é julgar se ele “realmente sabe” ou não, mas concatenar as palavras de modo fluente, fazendo com que a resposta tenha a aparência de uma resposta razoável.

Por isso, quando o próprio material é muito vago, quando as fontes estão misturadas ou quando já o primeiro passo do raciocínio está errado, o que vem depois pode — para manter a coerência do tom — ir ficando cada vez mais completo, e cada vez mais confiante no seu erro.

O ponto é reduzir o espaço que ele tem para “tapar buracos a esmo”

Portanto, ao usar a IA, o ponto não é apenas jogar uma frase: “Ache a resposta para mim.” É preciso encontrar maneiras de reduzir o espaço que ela tem para “tapar buracos a esmo”.

Uma abordagem melhor é:

estruturar a pergunta, expondo com clareza o contexto, as restrições e o formato de saída;
quando houver material demais, inseri-lo em lotes, para que ela o processe passo a passo;
e, mais importante ainda, fornecer fontes corretas e exigir que ela “responda com base nas fontes”, sinalizando os pontos sobre os quais não tem certeza.

Encare-a como um assistente que precisa de um enunciado claro

Mudando de metáfora: encare a IA como um assistente “a quem é preciso dar um enunciado claro, materiais de referência e um âmbito para responder”.

Quanto mais solta for a pergunta, mais fácil será para ela tapar buracos a esmo; quanto mais claramente você delimitar o âmbito, mais provável será que ela de fato ajude.

Ou seja: se quem faz a pergunta conseguir projetá-la mais como um “exercício de preencher lacunas” do que como uma “questão dissertativa” sem limites, então as respostas que a IA fornece, em geral, serão mais convergentes e mais próximas de um resultado bastante preciso.