Записать суждение из головы в документ: инженерия контекста и послушание модели

За последние несколько лет, внедряя ИИ в свою работу, я постепенно разбирал суждения, которые изначально существовали только у меня в голове, экстернализировал (externalize) их и приводил в порядок, оформляя в виде управляемого «документа инженерии контекста» (Context Engineering Document).

Инфографика сравнения моделей, где Claude указан как основная модель, GPT — как резервная, а Gemini — как исключённая за то, что однажды перечислила вымышленные источники, с пометкой, что это личный тест автора на данный момент, а не объективный вывод

Я оцениваю модель по трём вещам

Сейчас, когда я оцениваю, подходит ли модель для работы, требующей «высокой дисциплины и высокой прослеживаемости», я в первую очередь смотрю на три вещи:

способна ли она соблюдать установленные правила;
не станет ли она сама «заполнять пробелы», когда информации недостаточно;
можно ли отследить и проверить (провести аудит) выдаваемый ею контент.

Впечатления от практических тестов на данный момент

Ниже — мои недавние впечатления от практического использования. Сразу оговорюсь: это исключительно мой личный опыт использования на данный момент, а модели постоянно обновляются, поэтому это необязательно применимо ко всем и к каждой версии:

Claude: наивысшее послушание контексту; он лучше исполняет задачи, строго придерживаясь установленных правил, поэтому я использую его как основную модель, чтобы возложить на него слой суждений.
GPT: на втором месте. Прослеживаемость относительно контролируема, но при нехватке информации он иногда заполняет пробелы данными из обучения, поэтому я использую его в основном как резерв и для конкретных задач.
Gemini: ему тяжелее даётся такая длинная, требующая высокой дисциплины работа; однажды он разом перечислил целую партию вымышленных источников, поэтому пока выбыл из этой основной линии.

Разрыв создаёт «послушание уже экстернализированному суждению»

Для меня ключ, который действительно создаёт разрыв между моделями, — это не только собственные способности модели, а то, способна ли она «подчиниться» тому профессиональному суждению, которое я уже экстернализировал.

Инструменты будут продолжать обновляться, но чётко записать суждение из своей головы — это, по сути, так же важно, как и то, какой инструмент вы выбираете.