نوشتن داوری‌های ذهنی در قالب سند: مهندسی زمینه و میزان پیروی مدل

در این چند سال، پس از آنکه هوش مصنوعی (AI) را وارد کارم کردم، کم‌کم داوری‌هایی را که پیش‌تر فقط در ذهنم وجود داشتند تجزیه و externalize (بیرونی‌سازی) کردم و آن‌ها را در قالب یک «سند مهندسی زمینه» (Context Engineering Document) کنترل‌پذیر سامان دادم.

من یک مدل را با سه چیز می‌سنجم

در حال حاضر، وقتی می‌سنجم که یک مدل برای کارهای «پرانضباط و با قابلیت ردیابی بالا» مناسب است یا نه، بیشتر به سه چیز نگاه می‌کنم:

1. اینکه می‌تواند قواعد از پیش تعیین‌شده را رعایت کند یا نه؛
2. اینکه وقتی اطلاعات کافی نیست، خودش جای خالی را «پر می‌کند» یا نه؛
3. اینکه محتوای خروجی‌اش را می‌توان ردیابی و ممیزی کرد یا نه.

گزارشی از آزمون عملی در همین مقطع

در ادامه یافته‌های آزمون عملی اخیر من می‌آید — پیشاپیش بگویم که این صرفاً تجربهٔ شخصی من در همین مقطع است؛ مدل‌ها هم پیوسته به‌روز می‌شوند و لزوماً برای هر کس و هر نسخه صادق نیست:

• Claude: بیشترین میزان پیروی از زمینه را دارد و بهتر می‌تواند دقیقاً بر پایهٔ قواعد از پیش تعیین‌شده کار کند؛ به همین دلیل آن را مدل اصلی خود قرار داده‌ام و لایهٔ داوری را روی دوش آن گذاشته‌ام.
• GPT: در رتبهٔ بعد. ردیابی منابع در آن نسبتاً قابل کنترل است، اما وقتی اطلاعات کافی نیست گاهی با دادهٔ آموزشی جای خالی را پر می‌کند؛ من بیشتر از آن به‌عنوان پشتیبان و برای کارهای مشخصی استفاده می‌کنم.
• Gemini: از پس این نوع کارهای بلند و پرانضباط سخت‌تر برمی‌آید؛ یک بار پشت سر هم دسته‌ای کامل از منابع ساختگی را فهرست کرد و به همین دلیل فعلاً از این خط اصلی کنار گذاشته شده‌است.

آنچه فاصله را باز می‌کند، «پیروی از داوری بیرونی‌شده» است

به نظر من، کلید واقعی فاصله انداختن میان مدل‌ها در اصل فقط توانایی خود مدل نیست، بلکه این است که آیا می‌تواند از آن داوری تخصصی که من بیرونی‌اش کرده‌ام «پیروی» کند یا نه.

ابزارها پیوسته به‌روز می‌شوند، اما اینکه نخست داوری‌های درون ذهنتان را روشن بنویسید — این کار در واقع به همان اندازه مهم است که انتخاب اینکه از کدام ابزار استفاده کنید.