چرا مدلهای LLM دچار توهم میشوند؟ دانشآموزی که نمیتواند برگهٔ سفید تحویل دهد
چرا مدلهای LLM دچار توهم میشوند؟
به نظر من میتوان LLM را چنین دانشآموزی تصور کرد: او کتابهای بسیار بسیار زیادی خواندهاست، اما حافظهاش فشرده شدهاست و خودش هم نمیداند کدام بخشها در واقع مبهم شدهاند؛ دردسر بزرگتر اینکه از او خواستهاند — سر جلسهٔ امتحان «نباید برگهٔ سفید تحویل دهد».
نقطهٔ قوت آن «دانستن اینکه میداند یا نه» نیست
نقطهٔ قوت واقعی این دانشآموز داوری دربارهٔ این نیست که «آیا واقعاً میداند یا نه»، بلکه به هم پیوستن روان واژههاست، بهگونهای که پاسخ شبیه یک پاسخ معقول به نظر برسد.
بنابراین، وقتی خود دادهها بسیار مبهم باشند، منابع درهمآمیخته باشند، یا همان گام نخست استدلال خطا برود، ادامهٔ متن ممکن است برای حفظ یکدست بودن لحن هرچه پیشتر میرود کاملتر شود و هرچه پرخطاتر میشود، با اعتماد به نفس بیشتری بیان شود.
نکتهٔ اصلی، کم کردن فضای «سرهمبندی» آن است
به همین دلیل، هنگام استفاده از هوش مصنوعی نکتهٔ اصلی این نیست که فقط یک جمله بیندازید: «پاسخ را برایم پیدا کنید.» بلکه باید راهی بیابید تا فضای «سرهمبندی» آن کم شود.
روش بهتر این است:
- پرسش را ساختارمند کنید و زمینه، محدودیتها و قالب خروجی را روشن فهرست کنید؛
- وقتی دادهها بیش از حد زیاد است، آنها را دستهدسته وارد کنید تا گامبهگام پردازش کند؛
- و مهمتر از همه، منابع درست را در اختیارش بگذارید و از آن بخواهید «بر پایهٔ منابع پاسخ دهد» و هر جا مطمئن نیست آن را مشخص کند.
آن را دستیاری بدانید که به پرسش روشن نیاز دارد
تشبیه را عوض کنیم: هوش مصنوعی را دستیاری بدانید که «باید پرسش روشن، منابع مرجع و دامنهٔ پاسخگویی را به او داد».
هرچه پرسش را بازتر و مبهمتر بپرسید، آسانتر سرهمبندی میکند؛ هرچه دامنه را روشنتر تعیین کنید، احتمال اینکه واقعاً به کارتان بیاید بیشتر میشود.
یعنی اگر پرسشگر بتواند پرسش را مانند یک «پرسش جای خالی» طراحی کند و نه یک «پرسش تشریحی» بیمرز، پاسخی که هوش مصنوعی میدهد معمولاً همگراتر و به نتیجهای دقیقتر نزدیکتر خواهد بود.