A capacidade dentada dos LLM: por que a IA ora é um gênio, ora é um tolo
Um mesmo LLM pode, por um lado, reestruturar de forma ordenada cem mil linhas de código e, por outro, dar um conselho tão absurdo ao extremo como “vá a pé até o lava-rápido lavar o carro”. Esse enorme desnível de capacidade é o que se chama de “capacidade dentada” (jaggedness).
A chave não está na dificuldade, mas em “se já foi treinado”
O interessante é que a chave não reside em “se os humanos acham a coisa difícil ou fácil”, mas em se essa tarefa cai ou não dentro da distribuição dos dados de treinamento do modelo.
Andrej Karpathy — membro fundador da OpenAI e ex-diretor de IA da Tesla — aponta duas causas principais:
- Verificabilidade (verifiability): o código tem um sinal claro de certo ou errado — ele compila? os testes passam? —, o que o torna facílimo de ser retomado pela aprendizagem por reforço (RL) para treiná-lo e reforçá-lo repetidas vezes.
- Fatores econômicos: as capacidades dotadas de valor comercial são empacotadas com prioridade pelos laboratórios de ponta na distribuição dos dados de treinamento; quanto ao bom senso da vida cotidiana, costuma ser deixado de lado.
No trilho tudo corre liso; assim que se desvia, começa a golpear a esmo
O resultado é este: quando o modelo avança sobre o trilho que a aprendizagem por reforço assentou, ele voa rápido e liso; mas assim que se desvia do trilho, é como alguém que desfere golpes a esmo com um facão numa selva — na superfície parece que está executando a tarefa com diligência, mas o que faz na verdade é absurdo além de qualquer medida.
Portanto, para usar de fato bem um LLM e evitar pisar em minas, é preciso construir um modelo de compreensão “suficientemente preciso” de suas capacidades: saber em quais tarefas ele se mantém sobre o trilho e em quais, na verdade, já adentrou a selva.