AI가 주는 것은 답이 아니라, 아름답게 정돈된 환각일지도 모른다

오늘 저는 Gemini에게 에어컨 업체를 찾아 달라고 부탁했습니다. 조건은 PTT나 Dcard(대만에서 가장 인기 있는 인터넷 게시판 두 곳)에 올라온 이용자 경험을 주된 재료로 삼는 것이었습니다.

처음에 그것은 보기에 아주 충실해 보이는 URL 몇 개를 나열해 주었습니다. 그런데 클릭해서 들어가 보니, 열리지 않거나, 아니면 내용이 맞지 않거나 둘 중 하나였습니다.

내가 지적하자, 그것은 더 “그럴싸하게” 완벽히 짜맞췄다

URL에 문제가 있다고 지적하자, 그것은 다시 “진짜 PTT 네티즌의 에어컨 추천 명단”을 새로 정리해 왔습니다. 거기에는 가게 이름, PTT ID, 추천 이유가 담겨 있었고, 심지어 어떤 키워드로 검색하면 되는지까지 가르쳐 주었습니다.

언뜻 보면, 정말로 제대로 사실 확인을 한 것처럼 보입니다.

하지만 더 파고들어 보니, 문제는 한층 커졌습니다. 그 가게들은 거의 찾을 수 없었고, 이른바 PTT 게시글과 네티즌 추천도 대응하는 출처를 찾을 수 없었습니다.

그것은 “생성형 AI”이지, “거부형 AI”가 아니다

이 일은 저에게 이런 점도 일깨워 주었습니다. 자료를 검색해야 하는 상황에서, 일부 AI는 신뢰할 만한 자료를 찾지 못했을 때, 솔직하게 “찾지 못했습니다”라고 알려 주는 것이 아니라, 오히려 그럴듯해 보이는 내용을 어떻게든 “짜맞춰” 만들어 낸다는 것입니다.

왜냐하면 그것은 “생성형 AI”이지, “거부형 AI”가 아니기 때문입니다.

다시 말해, AI가 여러분에게 주는 것은 답이 아니라, 아름답게 정돈된 환각일지도 모른다는 것입니다.

현실 세계에 관련된 일은, AI만 믿어서는 안 된다

AI는 방향을 정리하거나, 검색 키워드를 만들어 내거나, 이미 확인된 내용을 요약하는 데는 아주 잘 맞습니다. 그러나 실재하는 상점, 가격, 평판, 혹은 법률·의료·투자 같은 일에 관련된다면, AI의 답만 믿는 것은 절대로 안 됩니다.

AI는 검색 시간을 아끼는 데는 도움을 주지만, 출처 확인을 대신할 수는 없습니다. 충실해 보인다고 해서, 그것이 진짜라는 뜻은 아닙니다.