De gekartelde capaciteiten van LLM's: waarom AI het ene moment een genie en het volgende een dwaas is

Een en dezelfde LLM kan enerzijds ordelijk honderdduizend regels code herstructureren en anderzijds een advies geven dat zo absurd is als “loop naar de wasstraat om uw auto te wassen”. Dit enorme verschil in capaciteiten is wat men de “gekartelde capaciteiten” (jaggedness) noemt.

De sleutel ligt niet in moeilijk of makkelijk, maar in “of het geoefend is”

Het interessante is dat de sleutel niet ligt in “of mensen de zaak moeilijk of makkelijk vinden”, maar in de vraag of de taak al dan niet binnen de verdeling van de trainingsdata van het model valt.

Andrej Karpathy — oprichtend lid van OpenAI en voormalig AI-directeur bij Tesla — wijst op twee hoofdoorzaken:

1. Verifieerbaarheid (verifiability): code heeft een duidelijk goed-of-foutsignaal — compileert het, slagen de tests? — waardoor het zich uitstekend leent om door reinforcement learning (RL) keer op keer getraind en versterkt te worden.
2. Economische factoren: capaciteiten met commerciële waarde worden door de vooraanstaande laboratoria bij voorrang in de verdeling van de trainingsdata verpakt; het gezond verstand van het dagelijks leven daarentegen wordt vaak over het hoofd gezien.

Op de rails gaat het soepel; zodra het afwijkt, begint het wild in het rond te hakken

Het resultaat is dit: wanneer het model over de rails rijdt die reinforcement learning heeft gelegd, vliegt het snel en soepel voort; maar zodra het van de rails afwijkt, is het alsof iemand met een kapmes wild in het rond hakt in een jungle — aan de oppervlakte lijkt het alsof het de taak nauwgezet uitvoert, maar wat het in werkelijkheid doet is bovenmate absurd.

Daarom moet u, om een LLM werkelijk goed te benutten en het trappen op mijnen te vermijden, een “voldoende nauwkeurig” begripsmodel van zijn capaciteiten opbouwen: weten bij welke taken het op de rails blijft, en bij welke taken het in werkelijkheid al de jungle is binnengegaan.