توانایی دندانه‌دار LLM: چرا هوش مصنوعی یک لحظه نابغه است و لحظه‌ای بعد نادان

یک LLM واحد می‌تواند از سویی صد هزار خط کد را با نظم و ترتیب بازسازی کند و از سوی دیگر پیشنهادی چنین بی‌اندازه بی‌معنا بدهد: «پیاده تا کارواش بروید تا ماشین را بشویید». همین شکاف عظیم در توانایی است که «توانایی دندانه‌دار» (jaggedness) نامیده می‌شود.

کلید ماجرا دشواری نیست، بلکه «تمرین شده یا نه» است

نکتهٔ جالب این است که کلید ماجرا «دشوار یا آسان بودن کار از دید انسان» نیست، بلکه این است که آن وظیفه درون توزیع دادهٔ آموزشی مدل قرار گرفته باشد یا نه.

Andrej Karpathy، از اعضای بنیان‌گذار پیشین OpenAI و مدیر پیشین هوش مصنوعی در Tesla، دو علت اصلی را برشمرده‌است:

1. راستی‌آزمایی‌پذیری (verifiability): کد سیگنال روشنی برای درست و نادرست دارد — کامپایل می‌شود یا نه، آزمون‌ها را می‌گذراند یا نه — و به همین دلیل یادگیری تقویتی (RL) می‌تواند به‌آسانی بارها آن را آموزش دهد و تقویت کند.
2. عامل‌های اقتصادی: توانایی‌هایی که ارزش تجاری دارند در آزمایشگاه‌های پیشرو در اولویت قرار می‌گیرند و در توزیع دادهٔ آموزشی بسته‌بندی می‌شوند؛ اما دانش عمومی زندگی روزمره اغلب نادیده گرفته می‌شود.

روی ریل روان پیش می‌رود، همین که منحرف شود به هر سو می‌زند

نتیجه این است: تا زمانی که مدل روی ریلی حرکت می‌کند که یادگیری تقویتی برایش کار گذاشته‌است، هم تند و هم روان می‌پرد؛ اما همین که از ریل منحرف شود، مانند کسی است که با قمه در جنگل انبوه به هر سو ضربه می‌زند — در ظاهر چنین می‌نماید که جدی مشغول انجام کار است، ولی آنچه در عمل انجام می‌دهد بی‌اندازه بی‌معناست.

بنابراین برای اینکه واقعاً از LLM خوب استفاده کنید و پا روی مین نگذارید، باید از توانایی آن یک مدل ذهنی «به‌اندازهٔ کافی دقیق» بسازید: بدانید در کدام وظیفه‌ها روی ریل است و در کدام وظیفه‌ها در واقع پا به جنگل گذاشته‌است.