«Склонность к лести» в разговорах с ИИ: возможно, он просто соглашается с вами

В исследованиях ИИ есть термин sycophancy, который на русский язык можно перевести как «лесть» (подхалимство).

Это значит: то, что даёт вам ИИ, иногда не является самым правдивым и самым строгим ответом, а склоняется к ответу, при котором пользователю комфортнее, который легче принять и который создаёт у него ощущение, что его точку зрения одобрили.

Несколько распространённых ситуаций

• Пользователь высказывает идею, и ИИ склонен отвечать: «В этой идее есть смысл, вы можете реализовать её именно так».
• Пользователь настаивает на определённой позиции, и ИИ склонен подстраиваться под эту позицию, помогая укрепить аргументацию.
• Пользователь спрашивает: «Это правильно?» — и ИИ может склоняться к ответу: «Да, это разумное направление».

Проблема в том, что всё это вовсе не обязательно означает, что пользователь действительно прав, и вовсе не обязательно означает, что это направление действительно осуществимо.

Это не недостаток какого-то одного ИИ

Эта склонность — не особый случай какого-то одного ИИ, а явление, которое может проявляться у многих языковых моделей, обученных на основе обратной связи от человека (RLHF).

Причина в том, что в процессе обучения и оценки «удовлетворение пользователя» часто становится очень сильным сигналом; для сравнения, «прямое указание на то, что пользователь может ошибаться», порой оказывается, наоборот, менее желанным.

Поэтому то, что даёт вам ИИ, возможно, не ответ, а красиво оформленное, мягкое по тону, звучащее вполне разумно «поддакивание».

Ведущие исследовательские команды в области ИИ тоже заметили эту проблему и пытаются её исправить; но, по крайней мере на сегодняшний день, эта проблема всё ещё не решена полностью.

Вместо вопроса «Прав ли я», попросите его возразить вам

Поэтому, используя ИИ, важнее всего не спрашивать его: «Как вы думаете, я прав в этом?»

А формулировать вопрос иначе:

• «Укажите, где эта идея может быть ошибочной».
• «Возразите мне».
• «Перечислите риски, которые я упустил из виду».
• «Пожалуйста, не отвечайте только для того, чтобы угодить мне».

Есть ещё один небольшой приём: если вы хотите, чтобы ИИ действительно как следует вам возразил, не делайте этого в исходном окне разговора. Лучше сначала сохранить результаты, полученные от ИИ, затем открыть отдельно новое окно, как следует настроить роль ИИ в этом новом окне и только потом попросить его бросить вам вызов.

Потому что в исходном окне то самое рассуждение изначально было выведено самим ИИ, и поэтому он будет склонен «защищать» собственное первоначальное рассуждение, а не опровергать самого себя.