Zubatá inteligence LLM: proč je AI jednou génius a podruhé hlupák
Jeden a týž LLM dokáže na jedné straně metodicky přestavět sto tisíc řádků kódu a na druhé straně dát radu tak absurdní, že se to nedá vydržet – třeba „jděte pěšky do myčky umýt si auto“. Tenhle obrovský rozdíl ve schopnostech se nazývá „zubatá inteligence“ (jaggedness).
Klíčové není, jak je to těžké, ale „jestli to bylo natrénované“
Zajímavé je, že klíčové není, „jestli lidem připadá daná věc těžká nebo snadná“, ale jestli daný úkol spadá do rozložení trénovacích dat modelu.
Andrej Karpathy – bývalý zakládající člen OpenAI a bývalý ředitel AI v Tesle – poukazuje na dvě hlavní příčiny:
- Ověřitelnost (verifiability): kód má jasný signál správně/špatně – zda se zkompiluje, zda projde testy – díky čemuž ho posilované učení (RL) snadno bere a znovu a znovu na něm trénuje a posiluje.
- Ekonomické faktory: schopnosti s komerční hodnotou přední laboratoře přednostně balí do rozložení trénovacích dat; běžný selský rozum všedního života se přitom často opomíjí.
Na kolejích to jede hladce, jakmile z nich sjede, začne naslepo sekat
Výsledek je tenhle: dokud model jede po kolejích, které mu položilo posilované učení, letí rychle a hladce; ale jakmile z kolejí sjede, je to, jako by někdo v džungli naslepo sekal mačetou – navenek to vypadá, že úkol plní svědomitě, ale ve skutečnosti dělá něco naprosto absurdního.
Chcete-li tedy LLM opravdu dobře využívat a vyhnout se minám, musíte si o jeho schopnostech vybudovat „dostatečně přesný“ model porozumění: vědět, u kterých úkolů zůstává na kolejích a u kterých ve skutečnosti už zabloudil do džungle.