LLM 的锯齿状能力：为什么 AI 一下神一下蠢

同一个 LLM，可以一边有条理地重构十万进程式码，一边又给出“走去洗车场洗车”这种荒谬到不行的建议。这种能力上的巨大落差，就是所谓的“锯齿状能力”（jaggedness）。

关键不在难易，而在“有没有练过”

有意思的是，关键并不在于“人类觉得这件事难还是简单”，而在于这个任务有没有落在模型的训练数据分布之内。

前 OpenAI 创始成员、特斯拉前 AI 总监 Andrej Karpathy 指出了两个主因：

1. 可验证性（verifiability）：代码有明确的对错信号——能不能编译、测试过不过——很容易被强化学习（RL）拿去反复训练、强化。
2. 经济因素：有商业价值的能力，会被前沿实验室优先打包进训练数据分布里；至于日常生活的常识，往往就被忽略了。

走在轨道上很顺，一偏离就开始乱砍

结果就是：当模型走在强化学习铺好的轨道上时，它飞得又快又顺；可是一旦偏离了轨道，就像有人拿着开山刀在丛林里乱砍——表面上看起来像在认真运行，实际上做的事却荒谬无比。

所以，要真正用好 LLM、避免踩雷，就得对它的能力创建一个“够准确”的理解模型：知道哪些任务它在轨道上、哪些任务它其实已经走进了丛林。