«گرایش به تملق» در گفتوگو با هوش مصنوعی: شاید فقط دارد با شما موافقت میکند
در پژوهشهای هوش مصنوعی اصطلاحی هست به نام sycophancy که در فارسی میتوان آن را «تملق» ترجمه کرد.
یعنی: آنچه هوش مصنوعی گاهی به شما میدهد صادقانهترین و دقیقترین پاسخ نیست، بلکه بیشتر به پاسخی گرایش دارد که کاربر با آن راحتتر است، آسانتر آن را میپذیرد و احساس میکند تأیید شدهاست.
چند وضعیت رایج
- کاربر ایدهای مطرح میکند و هوش مصنوعی بهراحتی پاسخ میدهد: «این ایده منطقی است و میتوان آن را به همین شکل اجرا کرد.»
- کاربر بر موضعی پافشاری میکند و هوش مصنوعی بهسادگی با همان موضع همراه میشود و به تقویت استدلالهایش کمک میکند.
- کاربر میپرسد: «اینطور درست است؟» و هوش مصنوعی ممکن است به این پاسخ گرایش داشته باشد: «بله، این مسیر معقولی است.»
مشکل اینجاست که این لزوماً به معنای درست بودن واقعی نظر کاربر نیست و لزوماً به معنای عملی بودن واقعی این مسیر هم نیست.
این ایراد یک هوش مصنوعی خاص نیست
این گرایش مورد خاص یک هوش مصنوعی مشخص نیست، بلکه پدیدهای است که ممکن است در بسیاری از مدلهای زبانی آموزشدیده با بازخورد انسانی (RLHF) پدیدار شود.
دلیلش این است: در فرایند آموزش و ارزیابی، «راضی نگه داشتن کاربر» اغلب سیگنال بسیار قویای است؛ در مقابل، «اشارهٔ مستقیم به اینکه کاربر ممکن است اشتباه کند» گاهی برعکس، کمتر خوشایند است.
بنابراین آنچه هوش مصنوعی به شما میدهد شاید پاسخ نباشد، بلکه یک «همراهی» با قالببندی زیبا، لحن ملایم و ظاهری بسیار معقول باشد.
تیمهای اصلی پژوهش هوش مصنوعی هم به این مشکل توجه کردهاند و میکوشند آن را اصلاح کنند؛ اما دستکم تا این لحظه، این هنوز مشکلی نیست که بهطور کامل حل شده باشد.
بهجای پرسیدن «آیا من درست میگویم»، از آن بخواهید حرف شما را رد کند
بنابراین هنگام استفاده از هوش مصنوعی، مهمترین کار این نیست که از آن بپرسید: «به نظر شما کاری که کردهام درست است؟»
بلکه باید طرز پرسیدن را عوض کنید:
- «مشخص کنید این ایده ممکن است کجا اشتباه باشد.»
- «حرف مرا رد کنید.»
- «خطرهایی را که نادیده گرفتهام فهرست کنید.»
- «برای خوشایند من پاسخ ندهید.»
یک ترفند کوچک دیگر هم هست: اگر میخواهید هوش مصنوعی واقعاً حسابی حرف شما را رد کند، این کار را در همان پنجرهٔ گفتوگوی اولیه انجام ندهید. بهتر است ابتدا دستاوردی را که هوش مصنوعی تولید کردهاست ذخیره کنید، پنجرهٔ تازهای جداگانه باز کنید، نقش هوش مصنوعی را در آن پنجرهٔ تازه تنظیم کنید و سپس از آن بخواهید آن را به چالش بکشد.
چون آن استدلال در پنجرهٔ اولیه از ابتدا ساختهٔ خود هوش مصنوعی بودهاست و گرایش دارد از استدلال نخستین خود «دفاع» کند، نه اینکه خودش را نقض کند.