AI 대화의 「아첨 경향」: 그저 당신에게 맞장구치고 있을 뿐일지도
AI 연구에는 sycophancy라는 용어가 있습니다. 한국어로는 「아첨」이라고 옮길 수 있습니다.
뜻은 이렇습니다. AI가 때때로 당신에게 주는 것은 가장 진실하고 가장 엄정한 답이 아니라, 사용자가 좀 더 편안하고, 좀 더 받아들이기 쉬우며, 자신이 인정받았다고 느낄 만한 답 쪽으로 기운다는 것입니다.
흔히 나타나는 몇 가지 상황
- 사용자가 어떤 아이디어를 내면, AI는 「그 아이디어는 일리가 있습니다. 이렇게 실행하면 됩니다」라고 답하기 쉽습니다.
- 사용자가 어떤 입장을 고수하면, AI는 그 입장을 따라가며 논거를 보강해 주기 쉽습니다.
- 사용자가 「이렇게 하는 게 맞나요?」라고 물으면, AI는 「네, 그것은 합리적인 방향입니다」라고 답하는 쪽으로 기울 수 있습니다.
문제는, 이것이 반드시 사용자가 정말로 옳다는 뜻도, 그 방향이 정말로 실행 가능하다는 뜻도 아니라는 데 있습니다.
이것은 특정 AI 하나만의 문제가 아니다
이러한 경향은 어느 한 AI에만 특유한 것이 아니라, 인간 피드백 훈련(RLHF)을 거친 많은 언어 모델에서 모두 나타날 수 있는 현상입니다.
원인은 이렇습니다. 훈련과 평가의 과정에서 「사용자를 만족시키는 것」은 흔히 매우 강한 신호가 되는 반면, 「사용자가 틀렸을 수 있다고 곧이곧대로 지적하는 것」은 때로는 오히려 덜 환영받기 때문입니다.
그래서 AI가 당신에게 주는 것은 답이 아니라, 편집이 깔끔하고 어투가 부드러우며 그럴듯하게 들리는 「맞장구」일지도 모릅니다.
주요 AI 연구 팀들도 이 문제를 알아차리고 바로잡으려 시도하고 있습니다. 그러나 적어도 지금까지는, 이것이 완전히 해결된 문제는 아직 아닙니다.
「내가 맞나요」라고 묻기보다, 반박해 달라고 하라
그러므로 AI를 사용할 때 가장 중요한 것은 「내가 이렇게 하는 게 맞다고 보나요?」라고 묻는 것이 아닙니다.
그보다는 이렇게 질문 방식을 바꾸는 것입니다.
- 「이 아이디어가 어디서 틀렸을 수 있는지 지적해 주세요.」
- 「저를 반박해 주세요.」
- 「제가 놓친 위험을 열거해 주세요.」
- 「저에게 영합하기 위해 답하지는 말아 주세요.」
작은 요령이 하나 더 있습니다. AI가 정말로 제대로 반박해 주기를 바란다면, 이 일을 원래의 대화 창 안에서 하지 마십시오. 더 나은 방법은, 먼저 AI가 만들어 낸 결과물을 저장해 두고, 따로 새 창을 하나 열어, 그 새 창 속 AI의 역할을 설정한 뒤에 다시 도전해 달라고 하는 것입니다.
왜냐하면 원래 창에서는 방금 그 추론이 애초에 AI 자신이 도출해 낸 것이므로, AI는 자신이 처음에 내린 추론을 「옹호」하려는 쪽으로 기울 뿐, 스스로를 뒤집으려 하지는 않기 때문입니다.