L'intelligence en dents de scie des LLM : pourquoi l'IA est un génie à un instant et un sot à l'instant suivant
Un même LLM peut, d’un côté, restructurer avec méthode cent mille lignes de code et, de l’autre, donner un conseil aussi absurde que « allez à pied au lavage auto laver votre voiture ». Cet énorme écart de capacité est ce que l’on appelle la « capacité en dents de scie » (jaggedness).
L’essentiel n’est pas la difficulté, mais « le fait d’avoir été entraîné ou non »
Ce qui est intéressant, c’est que l’essentiel ne réside pas dans « le fait que les humains trouvent la chose difficile ou facile », mais dans le fait que la tâche tombe ou non dans la distribution des données d’entraînement du modèle.
Andrej Karpathy — membre fondateur d’OpenAI et ancien directeur de l’IA chez Tesla — pointe deux causes principales :
- Vérifiabilité (verifiability) : le code possède un signal clair de juste ou faux — compile-t-il, les tests passent-ils ? —, ce qui le rend très facile à reprendre par l’apprentissage par renforcement (RL) pour l’entraîner et le renforcer encore et encore.
- Facteurs économiques : les capacités ayant une valeur commerciale sont empaquetées en priorité par les laboratoires de pointe dans la distribution des données d’entraînement ; quant au bon sens de la vie quotidienne, il est souvent négligé.
Fluide tant qu’il reste sur le rail, il se met à tailler à tort et à travers dès qu’il en dévie
Le résultat, le voici : lorsque le modèle avance sur le rail que l’apprentissage par renforcement a posé, il file vite et en douceur ; mais dès qu’il dévie du rail, c’est comme quelqu’un qui taille à tort et à travers dans une jungle, une machette à la main — en surface, il a l’air d’exécuter la tâche avec sérieux, mais ce qu’il fait en réalité est absurde au possible.
Ainsi, pour vraiment bien se servir d’un LLM et éviter de marcher sur une mine, il faut se construire un modèle de compréhension « suffisamment précis » de ses capacités : savoir pour quelles tâches il reste sur le rail, et pour quelles tâches il s’est en réalité déjà enfoncé dans la jungle.