LLM-ek fűrészfogas intelligenciája: miért zseni az MI az egyik pillanatban, és bolond a másikban
Ugyanaz az LLM egyrészt képes rendszerezetten átszervezni százezer sornyi kódot, másrészt olyan végtelenül abszurd tanácsot is adhat, mint hogy „menjünk el gyalog az autómosóba, hogy lemossuk a kocsit”. Ez a hatalmas szakadék a képességekben az, amit „fűrészfogas képességnek” (jaggedness) neveznek.
Nem az számít, hogy nehéz-e, hanem hogy „gyakorolta-e már a modell”
Az az érdekes benne, hogy nem az a kulcskérdés, hogy „az emberek szerint nehéz-e vagy könnyű ez a dolog”, hanem hogy a feladat beleesik-e a modell tanítóadat-eloszlásába.
Andrej Karpathy – az OpenAI korábbi alapító tagja és a Tesla korábbi MI-igazgatója – két fő okot emel ki:
- Ellenőrizhetőség (verifiability): a kódnak egyértelmű helyes-hibás jelzése van – lefordul-e, átmegy-e a teszteken –, ezért a megerősítéses tanulás (RL) könnyen tudja újra és újra betanítani és megerősíteni rajta a modellt.
- Gazdasági tényezők: a kereskedelmi értékkel bíró képességeket az élvonalbeli laboratóriumok elsőként csomagolják be a tanítóadat-eloszlásba, míg a hétköznapi élet józan esze gyakran figyelmen kívül marad.
Amíg a pályán marad, sima minden, mihelyt letér róla, elkezd vaktában vagdalkozni
Az eredmény ez: amíg a modell a megerősítéses tanulás lefektette pályán halad, gyorsan és simán repül; mihelyt azonban letér a pályáról, olyan, mintha valaki bozótvágó késsel vaktában vagdalkozna a dzsungelben – felszínesen úgy tűnik, mintha komolyan végezné a feladatot, valójában viszont az, amit csinál, végtelenül abszurd.
Ahhoz tehát, hogy valóban jól tudjuk használni az LLM-et, és elkerüljük a buktatókat, „elég pontos” megértési modellt kell felépítenünk a képességeiről: tudnunk kell, mely feladatoknál marad a pályán, és melyeknél sétált be valójában már a dzsungelbe.