Postrzępione zdolności LLM: dlaczego AI raz jest geniuszem, a raz głupcem
Ten sam LLM potrafi z jednej strony metodycznie przebudować sto tysięcy linii kodu, a z drugiej podsunąć radę tak absurdalną, że aż trudno w to uwierzyć: „idź pieszo do myjni, żeby umyć samochód”. Ta ogromna rozpiętość zdolności to właśnie tak zwane „postrzępione zdolności” (jaggedness).
Kluczem nie jest trudność, tylko to, „czy było to ćwiczone”
Ciekawe jest to, że kluczem nie jest „czy człowiek uważa daną rzecz za trudną, czy za łatwą”, lecz to, czy zadanie mieści się w rozkładzie danych treningowych modelu.
Andrej Karpathy — członek założycielski OpenAI i były dyrektor ds. AI w firmie Tesla — wskazał dwie główne przyczyny:
- Weryfikowalność (verifiability): kod ma jednoznaczny sygnał poprawności — czy się kompiluje, czy testy przechodzą — więc łatwo go wykorzystać w uczeniu ze wzmocnieniem (RL) do wielokrotnego trenowania i wzmacniania.
- Czynniki ekonomiczne: zdolności o wartości komercyjnej czołowe laboratoria pakują do rozkładu danych treningowych w pierwszej kolejności; zdrowy rozsądek codziennego życia bywa natomiast pomijany.
Na torze idzie gładko, po zejściu z niego zaczyna się bezładne rąbanie
Efekt jest taki: kiedy model porusza się po torze wytyczonym przez uczenie ze wzmocnieniem, mknie szybko i gładko; ale gdy tylko z tego toru zjedzie, wygląda to jak ktoś chaotycznie rąbiący maczetą w dżungli — na pozór sumiennie wykonuje zadanie, a w rzeczywistości robi rzeczy absurdalne do granic.
Dlatego, żeby naprawdę dobrze korzystać z LLM i nie nadepnąć na minę, musisz zbudować sobie „wystarczająco dokładny” model rozumienia jego zdolności: wiedzieć, przy których zadaniach jest on na torze, a przy których w istocie wszedł już w dżunglę.