LLM की दाँतेदार क्षमता: AI कभी जीनियस तो कभी बुद्धू क्यों होता है
एक ही LLM, एक ओर तो सलीक़े से एक लाख पंक्तियों के कोड को दोबारा गढ़ सकता है, और दूसरी ओर “कार धोने के लिए कार वॉश तक पैदल चले जाइए” जैसी हद दर्जे की बेतुकी सलाह भी दे बैठता है। क्षमता का यही विशाल फ़ासला वह चीज़ है जिसे “दाँतेदार क्षमता” (jaggedness) कहा जाता है।
कुंजी कठिन-आसान में नहीं, इसमें है कि “अभ्यास हुआ है या नहीं”
मज़ेदार बात यह है कि कुंजी इसमें नहीं है कि “इंसान को यह काम मुश्किल लगता है या आसान”, बल्कि इसमें है कि वह काम मॉडल के प्रशिक्षण-डेटा के वितरण के भीतर आता है या नहीं।
OpenAI के पूर्व संस्थापक सदस्य और Tesla के पूर्व AI निदेशक Andrej Karpathy ने दो मुख्य कारण गिनाए हैं:
- सत्यापनीयता (verifiability): कोड में सही-ग़लत का साफ़ संकेत होता है — कंपाइल होता है या नहीं, टेस्ट पास होते हैं या नहीं — इसलिए रीइन्फ़ोर्समेंट लर्निंग (RL) उसे बार-बार प्रशिक्षित और सुदृढ़ करने के लिए बड़ी आसानी से उठा लेती है।
- आर्थिक कारण: जिन क्षमताओं का व्यावसायिक मूल्य है, उन्हें अग्रणी प्रयोगशालाएँ प्राथमिकता से प्रशिक्षण-डेटा के वितरण में पैक कर देती हैं; रही रोज़मर्रा की ज़िंदगी की सामान्य समझ, तो वह अक्सर अनदेखी ही रह जाती है।
पटरी पर सब सहज, ज़रा हटते ही अंधाधुंध कटाई शुरू
नतीजा यह होता है: जब मॉडल रीइन्फ़ोर्समेंट लर्निंग की बिछाई पटरी पर चलता है, तो वह तेज़ भी उड़ता है और सहज भी; पर जैसे ही वह पटरी से हटा, मानो कोई गँड़ासा लेकर जंगल में अंधाधुंध काट रहा हो — ऊपर से देखने पर लगता है कि गंभीरता से काम कर रहा है, जबकि असल में जो कर रहा है वह बेहद बेतुका है।
इसलिए, LLM का सचमुच अच्छा इस्तेमाल करने और बारूदी सुरंगों पर पैर रखने से बचने के लिए, उसकी क्षमता को लेकर एक “काफ़ी सटीक” समझ का मॉडल बना लेना ज़रूरी है: यह जानना कि किन कामों में वह पटरी पर है, और किन कामों में वह असल में जंगल के भीतर जा चुका है।