Kemampuan bergerigi pada LLM: mengapa AI sesaat jenius lalu sesaat kemudian bodoh
Satu LLM yang sama bisa di satu sisi merestrukturisasi 100.000 baris kode dengan runtut, dan di sisi lain memberi saran yang absurdnya keterlaluan seperti “berjalan kaki ke tempat cuci mobil untuk mencuci mobil”. Jurang kemampuan yang begitu besar inilah yang disebut “kemampuan bergerigi” (jaggedness).
Kuncinya bukan sulit atau mudahnya, melainkan “pernah dilatih atau tidak”
Menariknya, kuncinya bukan terletak pada “apakah manusia merasa hal itu sulit atau mudah”, melainkan pada apakah tugas tersebut berada di dalam distribusi data pelatihan model.
Andrej Karpathy, mantan anggota pendiri OpenAI sekaligus mantan direktur AI di Tesla, menunjukkan dua sebab utama:
- Keterverifikasian (verifiability): kode memiliki sinyal benar-salah yang jelas — bisa dikompilasi atau tidak, lulus pengujian atau tidak — sehingga sangat mudah dipakai oleh pembelajaran penguatan (RL) untuk dilatih dan diperkuat berulang kali.
- Faktor ekonomi: kemampuan yang bernilai komersial akan lebih diprioritaskan oleh laboratorium terdepan untuk dikemas ke dalam distribusi data pelatihan; sedangkan akal sehat dalam kehidupan sehari-hari justru kerap terabaikan.
Mulus selama di atas rel, begitu menyimpang mulai menebas sembarangan
Hasilnya: ketika model berjalan di atas rel yang telah dibentangkan oleh pembelajaran penguatan, ia melaju cepat dan mulus; tetapi begitu menyimpang dari rel itu, ia seperti orang yang menebas sembarangan dengan golok di tengah rimba — sepintas tampak sedang mengerjakannya dengan sungguh-sungguh, padahal yang dilakukannya luar biasa absurd.
Karena itu, untuk benar-benar memanfaatkan LLM dengan baik dan menghindari ranjau, Anda perlu membangun model pemahaman yang “cukup akurat” tentang kemampuannya: mengetahui tugas-tugas mana yang membuatnya tetap di atas rel, dan tugas-tugas mana yang sebenarnya sudah membawanya masuk ke rimba.