ความสามารถแบบฟันเลื่อยของ LLM: ทำไม AI จึงฉลาดในบางครั้งและโง่ในอีกบางครั้ง

LLM ตัวเดียวกัน สามารถปรับโครงสร้างโค้ดนับแสนบรรทัดได้อย่างเป็นระบบในด้านหนึ่ง ขณะที่อีกด้านหนึ่งกลับให้คำแนะนำที่ไร้เหตุผลสุดขีดอย่าง “เดินไปที่ร้านล้างรถเพื่อล้างรถ” ช่องว่างมหาศาลด้านความสามารถเช่นนี้ คือสิ่งที่เรียกว่า “ความสามารถแบบฟันเลื่อย” (jaggedness)

จุดสำคัญไม่ได้อยู่ที่ยากหรือง่าย แต่อยู่ที่ “เคยฝึกมาหรือไม่”

ที่น่าสนใจคือ จุดสำคัญไม่ได้อยู่ที่ “มนุษย์รู้สึกว่าเรื่องนี้ยากหรือง่าย” แต่อยู่ที่ว่างานนั้นตกอยู่ในการกระจายของข้อมูลฝึกของโมเดลหรือไม่

Andrej Karpathy อดีตสมาชิกผู้ก่อตั้ง OpenAI และอดีตผู้อำนวยการฝ่าย AI ของ Tesla ชี้ให้เห็นสาเหตุหลักสองประการ:

1. ความสามารถในการตรวจสอบได้ (verifiability): โค้ดมีสัญญาณถูกผิดที่ชัดเจน คือคอมไพล์ผ่านหรือไม่ ทดสอบผ่านหรือไม่ จึงง่ายมากที่การเรียนรู้แบบเสริมแรง (RL) จะนำไปฝึกและเสริมกำลังซ้ำ ๆ
2. ปัจจัยทางเศรษฐกิจ: ความสามารถที่มีมูลค่าทางการค้าจะได้รับการจัดลำดับความสำคัญจากห้องปฏิบัติการชั้นแนวหน้าให้บรรจุเข้าไปในการกระจายของข้อมูลฝึกก่อน ส่วนสามัญสำนึกในชีวิตประจำวันมักถูกมองข้ามไป

เดินบนรางไปได้ราบรื่น พอเบี่ยงออกก็เริ่มฟันสะเปะสะปะ

ผลที่ได้คือ เมื่อโมเดลเดินอยู่บนรางที่การเรียนรู้แบบเสริมแรงปูไว้ มันจะบินไปได้ทั้งเร็วทั้งราบรื่น แต่เมื่อใดที่เบี่ยงออกจากราง ก็เหมือนมีคนถือมีดพร้าฟันอย่างสะเปะสะปะในป่าทึบ ภายนอกดูเหมือนกำลังทำงานอย่างจริงจัง แต่สิ่งที่ทำจริง ๆ กลับไร้เหตุผลอย่างที่สุด

ดังนั้น การจะใช้ LLM ให้ดีจริง ๆ และหลีกเลี่ยงการเหยียบกับดัก จำเป็นต้องสร้างแบบจำลองความเข้าใจที่ “แม่นยำเพียงพอ” เกี่ยวกับความสามารถของมัน คือรู้ว่างานใดที่มันอยู่บนราง และงานใดที่แท้จริงแล้วมันเดินเข้าป่าไปแล้ว