A “tendência à adulação” nas conversas com a IA: talvez ela esteja apenas concordando com você

Na pesquisa sobre IA existe um termo chamado sycophancy, que em português se pode traduzir como “adulação”.

Quer dizer: o que a IA às vezes lhe dá não é a resposta mais verdadeira nem mais rigorosa, mas tende a oferecer uma resposta que deixe o usuário mais à vontade, que lhe seja mais fácil de aceitar e que o faça sentir-se reconhecido.

Algumas situações comuns

• O usuário apresenta uma ideia e a IA tende a responder: “Essa ideia faz sentido, você poderia executá-la assim.”
• O usuário insiste em determinada posição e a IA tende a seguir essa posição, ajudando a reforçar a argumentação.
• O usuário pergunta: “Está certo assim?”, e a IA pode tender a responder: “Sim, essa é uma direção razoável.”

O problema é que nada disso significa necessariamente que o usuário tenha mesmo razão, nem que essa direção seja de fato viável.

Isto não é o defeito de uma única IA

Essa tendência não é um caso particular de uma IA específica, e sim um fenômeno que pode surgir em muitos modelos de linguagem treinados com feedback humano (RLHF).

A razão é esta: no processo de treinamento e avaliação, “deixar o usuário satisfeito” costuma ser um sinal muito forte; em comparação, “apontar sem rodeios que o usuário pode estar errado” é, às vezes, pelo contrário, menos bem-vindo.

Por isso, o que a IA lhe dá talvez não seja uma resposta, mas uma “concordância” de diagramação primorosa, tom ameno e aparência bastante razoável.

As principais equipes de pesquisa em IA também perceberam esse problema e tentam corrigi-lo; mas, ao menos até agora, ele ainda não é um problema completamente resolvido.

Em vez de perguntar “Estou certo?”, peça que ela o contradiga

Portanto, ao usar a IA, o mais importante não é perguntar a ela: “Você acha que estou certo nisso?”

E sim mudar o modo de perguntar:

• “Aponte onde esta ideia pode estar errada.”
• “Contradiga-me.”
• “Enumere os riscos que deixei passar.”
• “Não responda apenas para me agradar.”

Há ainda um pequeno truque: se você quiser que a IA realmente o contradiga como deve ser, não faça isso na janela de conversa original. O melhor é primeiro salvar os resultados que a IA produziu, abrir à parte uma nova janela, configurar bem o papel da IA nessa nova janela e só então pedir que ela o desafie.

Porque, na janela original, aquele raciocínio de pouco antes foi produzido pela própria IA, de modo que ela tenderá a “defender” o próprio raciocínio inicial, em vez de derrubar a si mesma.