LLM 的鋸齒狀能力：為什麼 AI 一下神一下蠢

同一個 LLM，可以一邊有條理地重構十萬行程式碼，一邊又給出「走去洗車場洗車」這種荒謬到不行的建議。這種能力上的巨大落差，就是所謂的「鋸齒狀能力」（jaggedness）。

關鍵不在難易，而在「有沒有練過」

有意思的是，關鍵並不在於「人類覺得這件事難還是簡單」，而在於這個任務有沒有落在模型的訓練資料分佈之內。

前 OpenAI 創始成員、特斯拉前 AI 總監 Andrej Karpathy 指出了兩個主因：

1. 可驗證性（verifiability）：程式碼有明確的對錯訊號——能不能編譯、測試過不過——很容易被強化學習（RL）拿去反覆訓練、強化。
2. 經濟因素：有商業價值的能力，會被前沿實驗室優先打包進訓練資料分佈裡；至於日常生活的常識，往往就被忽略了。

走在軌道上很順，一偏離就開始亂砍

結果就是：當模型走在強化學習鋪好的軌道上時，它飛得又快又順；可是一旦偏離了軌道，就像有人拿著開山刀在叢林裡亂砍——表面上看起來像在認真執行，實際上做的事卻荒謬無比。

所以，要真正用好 LLM、避免踩雷，就得對它的能力建立一個「夠準確」的理解模型：知道哪些任務它在軌道上、哪些任務它其實已經走進了叢林。