L'intelligenza dentellata degli LLM: perché l'IA è un genio in un istante e uno sciocco in quello successivo
Uno stesso LLM può, da un lato, ristrutturare in modo ordinato centomila righe di codice e, dall’altro, fornire un consiglio assurdo all’inverosimile come «va’ a piedi all’autolavaggio a lavare l’auto». Questo enorme divario di capacità è ciò che si chiama «capacità dentellata» (jaggedness).
La chiave non sta nella difficoltà, ma nel «se sia stato allenato»
La cosa interessante è che la chiave non sta nel «se gli esseri umani trovino la cosa difficile o facile», ma nel fatto che il compito rientri o meno nella distribuzione dei dati di addestramento del modello.
Andrej Karpathy — membro fondatore di OpenAI ed ex direttore dell’IA di Tesla — indica due cause principali:
- Verificabilità (verifiability): il codice ha un segnale chiaro di giusto o sbagliato — se si compili, se i test passino —, il che lo rende facilissimo da far riprendere all’apprendimento per rinforzo (RL) per allenarlo e rafforzarlo più e più volte.
- Fattori economici: le capacità dotate di valore commerciale vengono impacchettate in via prioritaria dai laboratori di frontiera nella distribuzione dei dati di addestramento; quanto al buon senso della vita quotidiana, viene spesso trascurato.
Sul binario tutto fila liscio; appena se ne allontana, comincia a menare colpi alla cieca
Il risultato è questo: quando il modello procede sul binario che l’apprendimento per rinforzo ha posato, vola veloce e fluido; ma non appena si allontana dal binario, è come qualcuno che mena colpi alla cieca con un machete in una giungla — in superficie sembra che stia eseguendo il compito con diligenza, ma ciò che fa in realtà è assurdo oltre ogni misura.
Perciò, per usare davvero bene un LLM ed evitare di calpestare mine, occorre costruirsi un modello di comprensione «sufficientemente accurato» delle sue capacità: sapere in quali compiti resta sul binario e in quali, in realtà, è già entrato nella giungla.