Menuliskan penilaian yang ada di kepala menjadi dokumen: rekayasa konteks dan kepatuhan model

Beberapa tahun belakangan, setelah membawa AI masuk ke dalam pekerjaan, sedikit demi sedikit saya menguraikan penilaian-penilaian yang semula hanya ada di kepala saya, meng-externalize (mengeksternalkan) semuanya, lalu merapikannya menjadi satu “dokumen rekayasa konteks” (Context Engineering Document) yang terkendali.

Infografik perbandingan model yang menempatkan Claude sebagai andalan utama, GPT sebagai cadangan, dan Gemini tersingkir karena pernah menyodorkan sumber-sumber fiktif, disertai catatan bahwa ini adalah pengujian pribadi saya pada saat itu, bukan kesimpulan yang objektif

Saya menilai sebuah model dari tiga hal

Saat ini, ketika menilai cocok tidaknya sebuah model dipakai untuk pekerjaan yang “berdisiplin tinggi dan mudah ditelusuri sampai ke sumbernya”, saya terutama melihat tiga hal:

bisa tidaknya ia mematuhi aturan yang sudah ditetapkan;
ketika informasinya kurang, apakah ia “mengisi sendiri kekosongan itu”;
bisa tidaknya isi keluarannya ditelusuri dan diaudit.

Catatan pengujian nyata saat ini

Berikut adalah catatan pengujian nyata saya belakangan ini — perlu saya nyatakan lebih dulu, ini murni pengalaman pemakaian pribadi saya pada saat ini; modelnya pun terus diperbarui, sehingga belum tentu berlaku bagi setiap orang dan setiap versi:

Claude: kepatuhannya terhadap konteks paling tinggi dan ia relatif lebih mampu bekerja menempel pada aturan yang sudah ditetapkan, jadi saya menjadikannya andalan utama untuk memikul lapisan penilaian.
GPT: menyusul di urutan berikutnya. Penelusuran sumbernya relatif terkendali, tetapi ketika informasinya kurang ia sesekali mengisi kekosongan dengan data pelatihan, jadi saya terutama memakainya sebagai cadangan dan untuk tugas-tugas tertentu.
Gemini: cukup kewalahan menghadapi pekerjaan panjang dan berdisiplin tinggi semacam ini; ia pernah sekaligus menderetkan sederet sumber fiktif, sehingga untuk sementara keluar dari jalur utama ini.

Yang melebarkan jarak adalah “kepatuhan pada penilaian yang sudah dieksternalkan”

Bagi saya, kunci yang benar-benar melebarkan jarak antarmodel sebenarnya bukan hanya kemampuan model itu sendiri, melainkan bisa tidaknya ia “mematuhi” penilaian profesional yang sudah saya eksternalkan itu.

Alat akan terus diperbarui, tetapi menuliskan lebih dulu penilaian di kepala Anda dengan jelas — hal ini sebenarnya sama pentingnya dengan alat mana yang Anda pilih.