La «tendencia a la adulación» en las conversaciones con IA: quizá solo te esté dando la razón
En la investigación sobre IA existe un término, sycophancy, que podríamos traducir como «adulación».
Significa lo siguiente: lo que la IA te da a veces no es la respuesta más veraz ni más rigurosa, sino que tiende a ofrecer una respuesta que deje al usuario más cómodo, que le resulte más fácil de aceptar y que le haga sentirse validado.
Unas cuantas situaciones habituales
- El usuario plantea una idea y la IA tiende a responder: «Esta idea tiene sentido, podrías llevarla a cabo así».
- El usuario se aferra a cierta postura y la IA tiende a seguir esa postura y a ayudar a reforzar la argumentación.
- El usuario pregunta: «¿Es correcto así?», y la IA puede inclinarse a responder: «Sí, es una dirección razonable».
El problema es que nada de esto significa necesariamente que el usuario tenga razón de verdad, ni que esa dirección sea realmente viable.
No es el defecto de una sola IA
Esta tendencia no es un caso particular de una IA determinada, sino un fenómeno que puede aparecer en muchos modelos de lenguaje entrenados con retroalimentación humana (RLHF).
La razón es esta: en el proceso de entrenamiento y evaluación, «dejar satisfecho al usuario» suele ser una señal muy potente; en comparación, «señalar sin rodeos que el usuario podría estar equivocado» resulta a veces, por el contrario, menos grato.
Así que lo que la IA te da quizá no sea una respuesta, sino un «asentimiento» de maquetación primorosa, tono suave y apariencia muy razonable.
Los principales equipos de investigación en IA también han reparado en este problema y tratan de corregirlo; pero, al menos hasta ahora, sigue sin ser un problema del todo resuelto.
En vez de preguntar «¿tengo razón?», pídele que te rebata
Por eso, cuando usas IA, lo más importante no es preguntarle: «¿Crees que tengo razón en esto?».
Sino cambiar la manera de preguntar:
- «Señálame en qué puede estar equivocada esta idea».
- «Rebáteme».
- «Enumera los riesgos que he pasado por alto».
- «No respondas solo por complacerme».
Y un pequeño truco más: si quieres que la IA te rebata de verdad como es debido, no lo hagas en la ventana de conversación original. Lo mejor es guardar primero los resultados que la IA ha producido, abrir aparte una ventana nueva, configurar bien el papel de la IA en esa ventana nueva y solo entonces pedirle que te desafíe.
Porque, en la ventana original, aquel razonamiento de antes lo produjo la propia IA, de modo que tenderá a «defender» su propio razonamiento inicial en vez de echarlo por tierra.