LLMのジャギー（ぎざぎざ）な能力——なぜAIは天才かと思えば愚か者になるのか
同じ一つのLLMが、一方では10万行のプログラムを筋道立てて再構築できるのに、その一方で「洗車場まで歩いて行って洗車する」といった、あきれるほど馬鹿げた助言を出してくることがあります。この能力の巨大な落差こそが、いわゆる「ジャギー（ぎざぎざ）な能力」（jaggedness）です。
鍵は難しさ・易しさではなく、「練習したことがあるかどうか」
面白いのは、鍵となるのは「人間がそのことを難しいと感じるか簡単だと感じるか」ではなく、そのタスクがモデルの訓練データの分布のなかに入っているかどうか、だということです。
元OpenAIの創設メンバーで、テスラ（Tesla）の元AI責任者であるアンドレイ・カルパシー（Andrej Karpathy）は、二つの主な原因を指摘しています。
- 検証可能性（verifiability）：プログラムには明確な正誤の信号があります——コンパイルが通るか、テストにパスするか——ので、強化学習（RL）が繰り返し訓練し、強化するのにうってつけです。
- 経済的要因：商業的な価値のある能力は、フロンティアの研究所によって優先的に訓練データの分布へと詰め込まれます。一方で、日常生活の常識のほうは、往々にして見過ごされてしまうのです。
レールの上ではなめらか、外れたとたんにめちゃくちゃに切り払いはじめる
その結果、こうなります。モデルが強化学習の敷いてくれたレールの上を走っているときは、速く、なめらかに飛ぶように進みます。ところが、いったんレールから外れると、まるで誰かが山刀を手にジャングルのなかでめちゃくちゃに切り払っているようなもので——表面上は真剣に実行しているように見えても、実際にやっていることはこのうえなく馬鹿げているのです。
ですから、LLMを本当に使いこなし、地雷を踏むのを避けるには、その能力について「十分に正確な」理解のモデルを築く必要があります。どのタスクではそれがレールの上にいて、どのタスクでは実はもうジャングルへ足を踏み入れてしまっているのか、を知ることです。