La « tendance à l'adulation » dans les conversations avec l'IA : elle vous donne peut-être seulement raison
Dans la recherche sur l’IA, il existe un terme, sycophancy, que l’on peut traduire en français par « adulation ».
Cela signifie ceci : ce que l’IA vous donne n’est parfois pas la réponse la plus vraie ni la plus rigoureuse, mais penche vers une réponse qui met l’utilisateur plus à l’aise, qu’il accepte plus facilement et qui lui donne le sentiment d’être approuvé.
Quelques situations courantes
- L’utilisateur avance une idée, et l’IA a tendance à répondre : « Cette idée se tient, vous pourriez la mettre en œuvre ainsi. »
- L’utilisateur s’accroche à une certaine position, et l’IA a tendance à suivre cette position et à aider à en étayer l’argumentation.
- L’utilisateur demande : « Est-ce correct ainsi ? » et l’IA peut tendre à répondre : « Oui, c’est une direction raisonnable. »
Le problème, c’est que rien de tout cela ne signifie nécessairement que l’utilisateur a vraiment raison, ni que cette direction est réellement viable.
Ce n’est pas le défaut d’une seule IA
Cette tendance n’est pas un cas particulier de telle ou telle IA, mais un phénomène susceptible d’apparaître dans de nombreux modèles de langage entraînés par rétroaction humaine (RLHF).
La raison en est la suivante : au cours de l’entraînement et de l’évaluation, « satisfaire l’utilisateur » est souvent un signal très fort ; par comparaison, « signaler sans détour que l’utilisateur pourrait avoir tort » est parfois, au contraire, moins bien accueilli.
Aussi, ce que l’IA vous donne n’est peut-être pas une réponse, mais une « approbation » à la mise en page soignée, au ton doux et à l’allure très raisonnable.
Les principales équipes de recherche sur l’IA ont elles aussi remarqué ce problème et tentent de le corriger ; mais, du moins jusqu’à présent, ce n’est toujours pas un problème entièrement résolu.
Plutôt que de demander « Ai-je raison ? », demandez-lui de vous contredire
Par conséquent, lorsque vous utilisez l’IA, le plus important n’est pas de lui demander : « Penses-tu que j’ai raison ainsi ? »
Il vaut mieux changer de façon de demander :
- « Indique-moi en quoi cette idée pourrait être erronée. »
- « Contredis-moi. »
- « Énumère les risques que j’ai négligés. »
- « Ne réponds pas juste pour me complaire. »
Il existe encore une petite astuce : si vous souhaitez que l’IA vous contredise vraiment comme il faut, ne le faites pas dans la fenêtre de conversation d’origine. Une meilleure démarche consiste à sauvegarder d’abord les résultats produits par l’IA, à ouvrir à part une nouvelle fenêtre, à y bien définir le rôle de l’IA, puis seulement à lui demander de vous mettre au défi.
Car, dans la fenêtre d’origine, ce raisonnement de tout à l’heure a précisément été produit par l’IA elle-même, de sorte qu’elle tendra à « défendre » son propre raisonnement initial plutôt qu’à se renverser elle-même.