Mettre par écrit le jugement que l'on a en tête : l'ingénierie du contexte et l'obéissance d'un modèle

Ces dernières années, après avoir introduit l’IA dans mon travail, j’ai progressivement décomposé et externalisé (externalize) les jugements qui, à l’origine, n’existaient que dans ma tête, pour les organiser en un « document d’ingénierie du contexte » (Context Engineering Document) maîtrisable.

Infographie de comparaison de modèles qui présente Claude comme le modèle principal, GPT comme solution de secours et Gemini comme écarté pour avoir un jour listé des sources fictives, avec une note précisant qu’il s’agit d’un test personnel du moment et non d’un verdict objectif

J’évalue un modèle sur trois choses

Actuellement, lorsque j’évalue si un modèle convient à un travail « à haute discipline, à haute traçabilité », je regarde surtout trois choses :

peut-il respecter les règles établies ;
lorsque l’information est insuffisante, va-t-il « combler les trous » de lui-même ;
le contenu produit peut-il être tracé et audité.

Un retour de terrain de cet instant

Voici mes impressions de terrain récentes — précisons d’emblée qu’il s’agit purement de mon expérience d’utilisation personnelle, à cet instant, et que les modèles sont eux aussi constamment mis à jour, de sorte que cela ne vaut pas nécessairement pour tout le monde ni pour chaque version :

Claude : l’obéissance au contexte la plus élevée ; il exécute de façon plus étroitement collée aux règles établies, aussi je le prends comme modèle principal et lui fais porter la couche de jugement.
GPT : vient ensuite. La traçabilité y est relativement maîtrisable, mais lorsque l’information est insuffisante il comble parfois les trous avec des données d’entraînement, aussi je m’en sers surtout comme solution de secours et pour des tâches précises.
Gemini : il peine davantage sur ce type de travail long et à haute discipline ; il a un jour débité d’un seul coup tout un lot de sources fictives, c’est pourquoi il est, pour l’heure, sorti de cette ligne principale.

Ce qui creuse l’écart, c’est « l’obéissance au jugement déjà externalisé »

Pour moi, la clé qui creuse véritablement l’écart entre les modèles n’est en réalité pas seulement la capacité du modèle lui-même, mais bien sa faculté d’« obéir » à ce jugement professionnel que j’ai déjà externalisé.

Les outils continueront de se mettre à jour, mais commencer par écrire clairement le jugement que l’on a en tête — cette chose-là est, en réalité, tout aussi importante que le choix de l’outil que vous utilisez.