Почему у LLM возникают галлюцинации? Ученик, который не может сдать пустой лист

Почему у LLM возникают галлюцинации?

Мне кажется, LLM можно представить себе как такого ученика: он прочитал очень и очень много книг, но его память была сжата, и он сам не знает, какие места на самом деле уже стали расплывчатыми; что ещё хуже — от него ещё и требуют, чтобы на экзамене он «никогда не сдавал пустой лист».

Инфографика, использующая образ ученика, затерянного в море книг и обязанного «не оставлять ничего пустым и отвечать на всё», как метафору того, почему у LLM возникают галлюцинации, и перечисляющая шесть причин, таких как сжатая память и перемешанные источники

Его сильная сторона — не «знание того, знает ли он»

Настоящая сильная сторона этого ученика заключается не в том, чтобы судить, «действительно ли он знает», а в том, чтобы гладко связывать слова так, чтобы ответ выглядел как разумный ответ.

Поэтому, когда сами данные очень расплывчаты, источники перемешаны, или уже самый первый шаг рассуждения оказывается ошибочным, то, что следует дальше, может — ради сохранения единства тона — становиться всё более полным и при этом всё более уверенно ошибочным.

Главное — сузить пространство для «беспорядочного заполнения пробелов»

Поэтому при использовании ИИ главное — не просто бросить одну фразу: «Найди мне ответ». Нужно найти способ сузить его пространство для «беспорядочного заполнения пробелов».

Более удачный подход:

структурировать вопрос, чётко изложив контекст, ограничения и формат вывода;
когда данных слишком много, подавать их частями, чтобы он обрабатывал их шаг за шагом;
и, что ещё важнее, предоставлять правильные источники и требовать, чтобы он «отвечал на основании источников», отмечая места, в которых не уверен.

Относитесь к нему как к помощнику, которому нужно чёткое задание

Сменим метафору: относитесь к ИИ как к помощнику, которому «нужно дать чёткий вопрос, справочные материалы и определённые рамки ответа».

Чем более расплывчат вопрос, тем легче ему заполнять пробелы как попало; чем яснее вы очертите рамки, тем вероятнее, что он действительно поможет.

Иными словами: если тот, кто задаёт вопрос, сможет спроектировать его больше как «упражнение на заполнение пропусков», а не как безграничное «сочинение», то ответы ИИ обычно будут более собранными и более близкими к достаточно точному результату.