왜 LLM은 환각(할루시네이션)을 일으키는가: 백지 답안을 낼 수 없는 학생

왜 LLM은 환각을 일으킬까요?

제 생각에는, LLM을 이런 학생이라고 상상해 보면 좋을 것 같습니다. 그는 아주 많고 많은 책을 읽었지만, 그 기억은 압축되어 있고, 게다가 어느 부분이 실은 이미 흐릿해졌는지 그 자신도 모릅니다. 더 곤란한 것은, 그가 — 시험을 볼 때 “백지로 답안을 내서는 안 된다”는 요구를 받고 있다는 점입니다.

그의 강점은 “자신이 아는지 모르는지를 아는 것”이 아니다

이 학생의 진짜 강점은, 자신이 “정말로 아는지 아닌지”를 판단하는 것이 아니라, 글을 매끄럽게 이어 붙여 답이 그럴듯한 답처럼 보이게 만드는 데 있습니다.

그래서 자료 자체가 아주 모호하거나, 출처가 뒤섞여 있거나, 혹은 첫 단계의 추론부터 이미 틀렸다면, 그 뒤로는 어조의 일관성을 유지하기 위해 쓰면 쓸수록 더 완결되어 가고, 그리고 틀리면 틀릴수록 더 자신만만해지는 일이 벌어질 수 있습니다.

핵심은 그것이 “아무렇게나 메우는” 여지를 줄이는 것

그렇기에 AI를 쓸 때 핵심은, 그저 “답을 찾아 줘”라는 한마디를 던지는 것이 아니라, 그것이 “아무렇게나 메우는” 여지를 어떻게든 줄이는 것입니다.

더 나은 방법은 이렇습니다.

• 질문을 구조화하여, 배경·제약·출력 형식을 분명하게 제시한다.
• 자료가 너무 많을 때는, 나누어 입력하여 한 걸음씩 처리하게 한다.
• 그리고 더 중요한 것은, 올바른 출처를 제공하고 “출처에 근거해 답하라”고 요구하며, 확신이 서지 않는 부분은 표시하게 하는 것입니다.

그것을 분명한 문제가 필요한 조수로 여기라

비유를 바꿔 보겠습니다. AI를 “분명한 문제와 참고 자료, 그리고 답할 범위를 정해 주어야 하는” 조수라고 여기는 것입니다.

질문이 느슨할수록, 그것은 아무렇게나 메우기 쉬워집니다. 범위를 분명하게 틀 지을수록, 그것이 정말로 도움이 되어 줄 가능성이 높아집니다.

다시 말해, 묻는 사람이 질문을 끝없는 “논술 문제”가 아니라 “빈칸 채우기 문제”처럼 설계할 수 있다면, AI가 내놓는 답은 대개 더 수렴하고, 더 정확한 결과에 가까워지는 것입니다.