LLM의 들쭉날쭉한 능력: 왜 AI는 천재였다가 이내 바보가 되는가

똑같은 하나의 LLM이, 한편으로는 10만 줄의 코드를 조리 있게 재구성하면서도, 다른 한편으로는 “세차장까지 걸어가서 세차를 하라”는 식의, 어이없을 만큼 터무니없는 조언을 내놓기도 합니다. 이 능력상의 거대한 낙차가 바로 이른바 “들쭉날쭉한 능력”(jaggedness)입니다.

핵심은 어려움과 쉬움이 아니라, “연습해 본 적이 있는가”

흥미로운 것은, 핵심이 “인간이 그 일을 어렵게 느끼느냐 쉽게 느끼느냐”가 아니라, 그 과업이 모델의 훈련 데이터 분포 안에 들어 있느냐 하는 데 있다는 점입니다.

전 OpenAI 창립 멤버이자 테슬라(Tesla)의 전 AI 총괄이었던 안드레이 카파시(Andrej Karpathy)는 두 가지 주된 원인을 짚었습니다.

1. 검증 가능성(verifiability): 코드에는 명확한 옳고 그름의 신호가 있습니다. 컴파일이 되는가, 테스트를 통과하는가 하는 것이죠. 그래서 강화학습(RL)이 반복해서 훈련하고 강화하기에 아주 안성맞춤입니다.
2. 경제적 요인: 상업적 가치가 있는 능력은 프런티어 연구소에 의해 우선적으로 훈련 데이터 분포 안에 담깁니다. 한편 일상생활의 상식은 흔히 간과되고 맙니다.

궤도 위에서는 매끄럽지만, 벗어나는 순간 마구 휘두르기 시작한다

그 결과는 이렇습니다. 모델이 강화학습이 깔아 놓은 궤도 위를 달릴 때는, 빠르고 매끄럽게 날듯이 나아갑니다. 그런데 일단 궤도에서 벗어나면, 마치 누군가가 정글도를 들고 정글 속에서 마구 휘두르는 것과 같아서 — 겉으로는 진지하게 실행하는 것처럼 보여도, 실제로 하고 있는 일은 더없이 터무니없는 것입니다.

그러니 LLM을 정말로 잘 쓰고 지뢰를 밟는 것을 피하려면, 그 능력에 대해 “충분히 정확한” 이해의 모델을 세워야 합니다. 어떤 과업에서는 그것이 궤도 위에 있고, 어떤 과업에서는 실은 이미 정글로 발을 들여놓았는지를 아는 것 말입니다.