Ce que l'IA vous donne n'est peut-être pas une réponse, mais une hallucination joliment mise en page

Aujourd’hui, j’ai demandé à Gemini de m’aider à trouver des installateurs de climatisation, à condition qu’il s’appuie principalement sur les retours d’expérience d’utilisateurs de PTT ou de Dcard (deux des forums en ligne les plus populaires de Taiwan).

Au début, il a énuméré quelques URL qui paraissaient bien complètes, mais une fois que j’ai cliqué dessus, soit elles ne s’ouvraient pas, soit le contenu ne correspondait pas.

À peine l’ai-je averti qu’il a « rafistolé » le tout de façon encore plus complète

Après que je lui ai fait remarquer que les URL posaient problème, il a de nouveau compilé une « véritable liste de recommandations de climatiseurs par les internautes de PTT », comprenant cette fois des noms de boutiques, des identifiants PTT, des motifs de recommandation, et même des indications sur les mots-clés que je pouvais utiliser pour chercher.

À première vue, on aurait vraiment cru qu’il avait fait une vérification sérieuse.

Mais en creusant un peu plus, le problème n’a fait que s’aggraver : ces boutiques étaient quasiment introuvables, et les prétendus messages sur PTT et recommandations d’internautes n’avaient pas non plus de source correspondante.

C’est une « IA générative », pas une « IA qui refuse »

Cet épisode m’a aussi rappelé une chose : dans les situations où il faut chercher des informations, certaines IA, lorsqu’elles ne trouvent pas de données fiables, ne vous diront pas forcément honnêtement « je n’ai pas trouvé », mais chercheront plutôt un moyen de « rafistoler » un contenu qui paraît tout à fait plausible.

Car c’est une « IA générative », pas une « IA qui refuse ».

Autrement dit, ce que l’IA vous donne n’est peut-être pas une réponse, mais une hallucination joliment mise en page.

Pour tout ce qui touche au monde réel, on ne peut pas s’en remettre à la seule IA

L’IA est très bien faite pour nous aider à ordonner une direction, à générer des mots-clés de recherche et à synthétiser des contenus déjà vérifiés ; mais dès qu’entrent en jeu des boutiques, des prix et des avis réels, ou des sujets comme le droit, la médecine et l’investissement, on ne peut absolument pas s’en tenir à la seule réponse de l’IA.

L’IA peut nous aider à gagner du temps de recherche, mais elle ne peut pas remplacer la vérification des sources. Avoir l’air complet ne veut pas dire être vrai.