Poner por escrito el juicio que llevas en la cabeza: la ingeniería de contexto y la obediencia de un modelo

Tras haber incorporado la IA a mi trabajo estos últimos años, poco a poco he ido descomponiendo los juicios que antes solo existían en mi cabeza y externalizándolos (externalize), organizándolos en un «documento de ingeniería de contexto» (Context Engineering Document) que puedo controlar.

Infografía de evaluación de modelos que sitúa a Claude como modelo principal, a GPT como reserva y a Gemini como descartado por haber enumerado en su día fuentes inventadas, con la anotación de que se trata de una prueba personal del momento y no de una conclusión objetiva

Evalúo un modelo por tres cosas

Ahora mismo, cuando evalúo si un modelo es adecuado para un trabajo de «alta disciplina y alta trazabilidad», me fijo sobre todo en tres cosas:

si es capaz de atenerse a las reglas establecidas;
si, cuando falta información, «rellena los huecos» por su cuenta;
si el contenido que produce se puede rastrear y auditar.

Unas impresiones de campo de este momento

Estas son mis impresiones de campo recientes; aclaro de antemano que se trata pura y simplemente de mi experiencia personal de uso en este momento, y que los modelos también se actualizan constantemente, así que no tienen por qué valer para todo el mundo ni para cada versión:

Claude: la obediencia al contexto más alta; ejecuta de forma más ceñida a las reglas establecidas, así que lo tomo como modelo principal y lo uso para sostener la capa de juicio.
GPT: el siguiente. La trazabilidad es relativamente controlable, pero cuando falta información a veces rellena los huecos con datos de entrenamiento, así que lo uso sobre todo como reserva y para tareas concretas.
Gemini: le cuesta más este tipo de trabajo largo y de alta disciplina; una vez enumeró de un tirón todo un lote de fuentes inventadas, por lo que, de momento, ha salido de esta línea principal.

Lo que abre la brecha es «la obediencia al juicio ya externalizado»

Para mí, la clave que de verdad abre la brecha entre los modelos no es solo la capacidad del modelo en sí, sino si es capaz de «obedecer» ese juicio profesional que yo ya he externalizado.

Las herramientas seguirán actualizándose, pero poner primero por escrito, con claridad, el juicio que llevas en la cabeza: eso es, en realidad, tan importante como qué herramienta eliges.