เขียนวิจารณญาณในหัวให้เป็นเอกสาร: วิศวกรรมบริบทและความเชื่อฟังของโมเดล
ช่วงไม่กี่ปีที่ผ่านมา หลังจากที่ผมนำ AI เข้ามาใช้ในงาน ก็ค่อย ๆ แยกวิจารณญาณที่แต่เดิมมีอยู่แค่ในหัวออกมาทีละส่วน ทำให้เป็นภายนอก (externalize) แล้วจัดระเบียบเป็น “เอกสารวิศวกรรมบริบท” (Context Engineering Document) ที่ควบคุมได้ฉบับหนึ่ง
ผมประเมินโมเดลด้วยสามเรื่อง
ตอนนี้ เวลาประเมินว่าโมเดลหนึ่งตัวเหมาะจะใช้กับงานที่ต้อง “มีวินัยสูง ตรวจสอบย้อนกลับได้สูง” หรือไม่ ผมมองหลัก ๆ อยู่สามเรื่อง:
- ทำตามกฎที่กำหนดไว้ได้หรือไม่
- เมื่อข้อมูลไม่พอ จะ “เติมเต็มเอง” หรือไม่
- เนื้อหาที่ได้ออกมา สืบย้อนกลับและตรวจสอบได้หรือไม่
ข้อสังเกตจากการทดสอบจริง ณ ตอนนี้
ต่อไปนี้คือข้อสังเกตจากการทดสอบจริงในช่วงนี้ – ขอกล่าวไว้ก่อนว่านี่เป็นเพียงประสบการณ์การใช้งานส่วนตัวของผม ณ ขณะนี้เท่านั้น โมเดลก็อัปเดตอยู่ตลอด จึงอาจใช้ไม่ได้กับทุกคนหรือทุกเวอร์ชัน:
- Claude: เชื่อฟังบริบทมากที่สุด ทำตามกฎที่กำหนดไว้ได้เคร่งครัดกว่า จึงใช้เป็นตัวหลัก ให้รับผิดชอบชั้นของวิจารณญาณ
- GPT: รองลงมา การสืบย้อนกลับค่อนข้างควบคุมได้ แต่เมื่อข้อมูลไม่พอ บางครั้งก็ใช้ข้อมูลฝึกมาเติมเต็มเอง จึงใช้เป็นตัวสำรองและสำหรับงานเฉพาะทางเป็นหลัก
- Gemini: ค่อนข้างเหนื่อยกับงานยาวและมีวินัยสูงแบบนี้ เคยระบุแหล่งอ้างอิงที่กุขึ้นมาทั้งชุดในคราวเดียว จึงถอดออกจากสายหลักนี้ไปก่อน
สิ่งที่ทำให้ช่องว่างถ่างออก คือ “ความเชื่อฟังต่อวิจารณญาณที่ทำให้เป็นภายนอกแล้ว”
สำหรับผม กุญแจที่ถ่างช่องว่างระหว่างโมเดลจริง ๆ ไม่ได้อยู่แค่ความสามารถของตัวโมเดลเอง แต่อยู่ที่ว่าโมเดลนั้น “เชื่อฟัง” วิจารณญาณเชิงวิชาชีพที่ผมทำให้เป็นภายนอกไปแล้วได้หรือไม่
เครื่องมือจะอัปเดตต่อไปเรื่อย ๆ แต่การเขียนวิจารณญาณในหัวให้ชัดเจนก่อน – เรื่องนี้สำคัญพอ ๆ กับการเลือกใช้เครื่องมือตัวไหนจริง ๆ