القدرة المسننة لنماذج LLM: لماذا يكون الذكاء الاصطناعي عبقريًا لحظةً وأحمق في اللحظة التالية

نموذج LLM واحد بعينه قد يعيد هيكلة مئة ألف سطر من الشيفرة على نحو منهجي من جهة، ثم يقدم من جهة أخرى نصيحة بالغة السخف من قبيل «الذهاب سيرًا على الأقدام إلى مغسلة السيارات لغسل السيارة». وهذا التفاوت الهائل في القدرة هو ما يسمى «القدرة المسننة» (jaggedness).

المفتاح ليس في الصعوبة أو السهولة، بل في «هل جرى التدرب عليه أم لا»

والطريف أن المفتاح ليس في «كون الأمر صعبًا أو سهلًا في نظر البشر»، بل في وقوع المهمة داخل توزيع بيانات تدريب النموذج أو خارجه.

وقد أشار Andrej Karpathy، العضو المؤسس السابق في OpenAI والمدير السابق لقسم الذكاء الاصطناعي في Tesla، إلى سببين رئيسيين:

1. قابلية التحقق (verifiability): للشيفرة إشارة صواب وخطأ واضحة — هل تترجم برمجيًا أم لا، وهل تجتاز الاختبارات أم لا — ومن ثم يسهل جدًا على التعلم المعزز (RL) أن يتخذها مادةً للتدريب والتعزيز مرارًا وتكرارًا.
2. العوامل الاقتصادية: القدرات ذات القيمة التجارية تحزمها المختبرات الرائدة في توزيع بيانات التدريب على سبيل الأولوية؛ أما بديهيات الحياة اليومية فكثيرًا ما تهمل.

سلاسة على المسار، وتقطيع عشوائي بمجرد الانحراف عنه

والنتيجة هي: حين يسير النموذج على المسار الذي مهده التعلم المعزز، ينطلق سريعًا وسلسًا كأنه يطير؛ لكنه ما إن ينحرف عن المسار حتى يصير أشبه بمن يمسك ساطورًا ويقطع عشوائيًا في الأدغال — يبدو ظاهريًا كأنه ينفذ العمل بجدية، بينما ما يفعله في الحقيقة بالغ السخف.

ولذلك، فإن الاستخدام الجيد حقًا لنموذج LLM وتجنب الوقوع في الألغام يقتضيان بناء نموذج فهم «دقيق بما يكفي» لقدراته: أي معرفة المهام التي يظل فيها على المسار، والمهام التي يكون قد دخل فيها الأدغال فعلًا.