Zapisać osąd z własnej głowy w dokumencie: inżynieria kontekstu i posłuszeństwo modelu
Odkąd w ostatnich latach wprowadziłem AI do swojej pracy, stopniowo rozbierałem na części i eksternalizowałem (externalize) te osądy, które wcześniej istniały wyłącznie w mojej głowie, porządkując je w kontrolowalny „dokument inżynierii kontekstu” (Context Engineering Document).
Model oceniam po trzech rzeczach
Obecnie, kiedy oceniam, czy dany model nadaje się do pracy „wysoce zdyscyplinowanej i wymagającej pełnej identyfikowalności”, patrzę głównie na trzy rzeczy:
- czy potrafi przestrzegać ustalonych reguł;
- czy przy braku informacji sam „uzupełnia luki”;
- czy wygenerowaną treść da się prześledzić i skontrolować.
Wnioski z testów na dziś
Poniżej moje wnioski z niedawnych testów — zaznaczam od razu, że to wyłącznie moje bieżące, osobiste doświadczenia; modele są też stale aktualizowane, więc niekoniecznie sprawdzi się to u każdego i w każdej wersji:
- Claude: najwyższe posłuszeństwo wobec kontekstu; lepiej trzyma się ustalonych reguł, więc traktuję go jako narzędzie główne i to na nim opieram warstwę osądu.
- GPT: drugi w kolejności. Identyfikowalność jest względnie kontrolowalna, ale przy braku informacji zdarza mu się uzupełniać luki danymi treningowymi, dlatego używam go głównie jako zaplecza i do wybranych zadań.
- Gemini: przy tego rodzaju długiej, wysoce zdyscyplinowanej pracy radzi sobie trudniej; kiedyś jednym ciągiem wypisał całą partię zmyślonych źródeł, dlatego na razie wypadł z tej głównej linii.
Różnicę robi „posłuszeństwo wobec wyeksternalizowanego osądu”
Dla mnie tym, co naprawdę różnicuje modele, nie jest wyłącznie zdolność samego modelu, lecz to, czy potrafi on „słuchać” tego fachowego osądu, który już wyprowadziłem na zewnątrz.
Narzędzia będą się dalej aktualizować, ale najpierw jasno spisz osąd, który masz w głowie — to jest dokładnie tak samo ważne jak to, które narzędzie wybierzesz.