Pôr por escrito o julgamento que se tem na cabeça: a engenharia de contexto e a obediência de um modelo

Nestes últimos anos, depois de introduzir a IA no meu trabalho, fui aos poucos decompondo e externalizando (externalize) os julgamentos que, originalmente, só existiam na minha cabeça, organizando-os em um controlável “documento de engenharia de contexto” (Context Engineering Document).

Infográfico de comparação de modelos que coloca o Claude como modelo principal, o GPT como reserva e o Gemini como eliminado por ter, certa vez, listado fontes fictícias, com a observação de que se trata de um teste pessoal do momento e não de um veredito objetivo

Avalio um modelo por três coisas

No momento, quando avalio se um modelo é adequado para um trabalho de “alta disciplina e alta rastreabilidade”, olho principalmente para três coisas:

se consegue obedecer às regras estabelecidas;
se, quando falta informação, “preenche as lacunas” por conta própria;
se o conteúdo produzido pode ser rastreado e auditado.

Um relato de campo deste momento

Abaixo, as minhas impressões de campo recentes — e deixo claro de antemão: isto é pura e simplesmente a minha experiência de uso atual e pessoal; os modelos também estão sempre sendo atualizados, de modo que isto não se aplica necessariamente a todo mundo nem a todas as versões:

Claude: a mais alta obediência ao contexto; tende a executar colado às regras estabelecidas, por isso o trato como modelo principal e o uso para sustentar a camada de julgamento.
GPT: vem em seguida. A rastreabilidade é relativamente controlável, mas, quando falta informação, ele às vezes preenche as lacunas com dados de treinamento, por isso o uso sobretudo como reserva e para tarefas específicas.
Gemini: tem mais dificuldade com esse tipo de trabalho longo e de alta disciplina; certa vez listou de uma só vez um lote inteiro de fontes fictícias, razão pela qual, por ora, saiu desta linha principal.

O que abre a distância é “a obediência ao julgamento já externalizado”

Para mim, a chave que de fato abre a distância entre os modelos, na verdade, não é apenas a capacidade do modelo em si, mas se ele consegue “obedecer” àquele julgamento profissional que eu já externalizei.

As ferramentas vão continuar sendo atualizadas, mas primeiro pôr por escrito com clareza o julgamento que se tem na cabeça — isso é, na verdade, tão importante quanto qual ferramenta você escolhe usar.