Het oordeel in uw hoofd in een document vastleggen: context engineering en de gehoorzaamheid van een model

Nadat ik AI de afgelopen jaren in mijn werk heb ingevoerd, ben ik de oordelen die oorspronkelijk alleen in mijn hoofd bestonden geleidelijk gaan ontleden en externaliseren (externalize), en heb ik ze geordend tot een beheersbaar “context engineering-document” (Context Engineering Document).

Een infographic met een modelvergelijking die Claude als hoofdmodel, GPT als reserve en Gemini als afgevallen aanmerkt omdat het ooit verzonnen bronnen had opgesomd, met de aantekening dat dit een persoonlijke meting van het moment is en geen objectief eindoordeel

Ik beoordeel een model aan de hand van drie dingen

Wanneer ik momenteel beoordeel of een model geschikt is voor werk met “hoge discipline en hoge traceerbaarheid”, let ik vooral op drie dingen:

of het zich aan de vastgestelde regels kan houden;
of het, wanneer er onvoldoende informatie is, uit zichzelf “de gaten opvult”;
of de output kan worden getraceerd en geaudit.

Een testverslag van dit moment

Hieronder mijn recente testbevindingen — laat ik vooraf zeggen dat dit puur mijn huidige, persoonlijke gebruikservaring is; de modellen worden ook voortdurend bijgewerkt, dus dit geldt niet noodzakelijk voor iedereen of voor elke versie:

Claude: de hoogste gehoorzaamheid aan de context; het voert doorgaans strak volgens de vastgestelde regels uit, dus ik gebruik het als hoofdmodel om de oordeelslaag te dragen.
GPT: de tweede. De traceerbaarheid is relatief goed beheersbaar, maar wanneer er onvoldoende informatie is, vult het de gaten af en toe op met trainingsdata, dus ik gebruik het vooral als reserve en voor specifieke taken.
Gemini: het heeft meer moeite met dit soort lange, hoogdisciplinaire werk; het heeft ooit in één keer een hele lading verzonnen bronnen opgesomd, en is daarom voorlopig uit deze hoofdlijn gestapt.

Wat het verschil maakt, is “gehoorzaamheid aan het reeds geëxternaliseerde oordeel”

Voor mij is de sleutel die het verschil tussen de modellen werkelijk maakt, eigenlijk niet alleen het vermogen van het model zelf, maar of het kan “gehoorzamen” aan dat professionele oordeel dat ik al heb geëxternaliseerd.

Gereedschappen zullen zich blijven bijwerken, maar eerst het oordeel in uw hoofd helder opschrijven — dat is eigenlijk even belangrijk als welk gereedschap u kiest.