La inteligencia dentada de los LLM: por qué la IA es un genio en un momento y un necio al siguiente
Un mismo LLM puede, por un lado, reestructurar de forma ordenada cien mil líneas de código y, por otro, dar un consejo tan disparatado como «ve caminando al lavadero a lavar el coche». Ese enorme desnivel de capacidad es lo que se conoce como «capacidad dentada» (jaggedness).
La clave no está en lo difícil o lo fácil, sino en «si lo ha practicado»
Lo interesante es que la clave no reside en «si a los humanos les parece difícil o fácil una tarea», sino en si esa tarea cae o no dentro de la distribución de los datos de entrenamiento del modelo.
Andrej Karpathy —miembro fundador de OpenAI y ex director de IA en Tesla— señala dos causas principales:
- Verificabilidad (verifiability): el código tiene una señal clara de acierto o error —¿compila?, ¿pasa las pruebas?—, lo que lo hace muy propicio para que el aprendizaje por refuerzo (RL) lo entrene y lo refuerce una y otra vez.
- Factores económicos: las capacidades con valor comercial son las que los laboratorios de vanguardia empaquetan de forma prioritaria dentro de la distribución de los datos de entrenamiento; en cuanto al sentido común de la vida cotidiana, suele quedar pasado por alto.
Sobre los raíles va fluido; en cuanto se desvía, empieza a dar machetazos
El resultado es este: mientras el modelo circula por los raíles que le ha tendido el aprendizaje por refuerzo, vuela rápido y fluido; pero, en cuanto se sale de la vía, es como alguien que va dando machetazos a diestro y siniestro por una selva: en apariencia parece que ejecuta la tarea con diligencia, pero lo que hace en realidad es absurdo hasta más no poder.
Por eso, para usar de verdad bien un LLM y evitar pisar minas, hay que construirse un modelo de comprensión «lo bastante preciso» de sus capacidades: saber en qué tareas se mantiene sobre los raíles y en cuáles, en realidad, ya se ha adentrado en la selva.