Записати судження з голови в документ: інженерія контексту та слухняність моделі
Останніми роками, після того як я впровадив ШІ у свою роботу, я поступово розбирав на частини судження, що раніше існували лише в моїй голові, виносив їх назовні (externalize) і впорядковував у контрольований «документ інженерії контексту» (Context Engineering Document).
Я оцінюю модель за трьома речами
Наразі, оцінюючи, чи підходить модель для роботи, що вимагає «високої дисципліни, високої простежуваності», я передусім дивлюся на три речі:
- чи здатна вона дотримуватися встановлених правил;
- чи не «заповнює прогалини» сама, коли інформації бракує;
- чи можна простежити й перевірити (провести аудит) виданий нею контент.
Практичні враження на цей момент
Нижче — мої нещодавні практичні враження. Одразу зауважу: це суто мій особистий досвід використання на цей момент, а моделі також постійно оновлюються, тож це не обов’язково стосується кожної людини чи кожної версії:
- Claude: найвища слухняність до контексту; він краще виконує завдання, точно дотримуючись встановлених правил, тому я використовую його як основну модель і покладаю на нього шар суджень.
- GPT: на другому місці. Простежуваність відносно контрольована, але коли інформації бракує, він час від часу заповнює прогалини даними з навчання, тому я використовую його переважно як резерв і для окремих завдань.
- Gemini: гірше справляється з такою довгою, високодисциплінованою роботою; одного разу він одним махом перелічив цілу партію вигаданих джерел, тому наразі вибув з цієї основної лінії.
Розрив створює «слухняність до вже винесеного назовні судження»
Для мене ключ, що насправді створює розрив між моделями, — це не лише здатність самої моделі, а те, чи може вона «слухатися» того фахового судження, яке я вже виніс назовні.
Інструменти й надалі оновлюватимуться, але спершу чітко записати судження, що у вас у голові, — це, по суті, так само важливо, як і те, який інструмент ви обираєте.