Kafanızdaki muhakemeyi belgeye dökmek: bağlam mühendisliği ve modelin itaat düzeyi
Son birkaç yılda yapay zekâyı işime dahil ettikten sonra, başlangıçta yalnızca kafamın içinde var olan muhakemeleri adım adım parçalarına ayırdım, externalize ettim (dışsallaştırdım) ve denetlenebilir bir “bağlam mühendisliği belgesi” (Context Engineering Document) halinde düzenledim.
Bir modeli üç şeye bakarak değerlendiriyorum
Şu anda bir modelin “yüksek disiplinli, yüksek izlenebilirlikli” işlere uygun olup olmadığını değerlendirirken başlıca üç şeye bakıyorum:
- belirlenmiş kurallara uyabiliyor mu;
- bilgi yetersiz kaldığında boşlukları kendiliğinden “dolduruyor” mu;
- ürettiği içerik izlenebiliyor ve denetlenebiliyor mu.
Şu ana ait bir saha izlenimi
Aşağıda son dönemdeki saha izlenimlerim var — peşinen belirteyim, bunlar tümüyle şu ana ait, kişisel kullanım deneyimimdir; modeller de sürekli güncelleniyor, dolayısıyla herkes ve her sürüm için geçerli olmayabilir:
- Claude: bağlama itaat düzeyi en yüksek olanı; belirlenmiş kurallara yapışarak iş görme konusunda görece daha başarılı, bu yüzden onu ana model sayıyorum ve muhakeme katmanını ona taşıtıyorum.
- GPT: hemen arkasından geliyor. Kaynak izlenebilirliği görece kontrol edilebilir, ama bilgi yetersiz kaldığında ara sıra boşlukları eğitim verileriyle dolduruyor; bu yüzden onu ağırlıklı olarak yedek ve belirli görevler için kullanıyorum.
- Gemini: bu tür uzun soluklu, yüksek disiplinli işlerde epey zorlanıyor; bir keresinde tek seferde koca bir yığın uydurma kaynak sıralamıştı, bu nedenle şimdilik bu ana hattın dışında kaldı.
Aradaki farkı açan şey, “dışsallaştırılmış muhakemeye itaat”
Bana kalırsa modeller arasındaki farkı asıl açan anahtar, aslında yalnızca modelin kendi yeteneği değil; benim çoktan dışsallaştırdığım o mesleki muhakemeye “itaat” edip edemediği.
Araçlar güncellenmeye devam edecek; ama önce kafanızdaki muhakemeyi açık seçik yazıya dökmek — bu iş, hangi aracı seçtiğinizle aslında aynı derecede önemli.