То, что вам даёт ИИ, — возможно, не ответ, а красиво оформленная галлюцинация

Сегодня я попросил Gemini помочь мне найти мастеров по установке кондиционеров, при условии, что он будет опираться в основном на опыт пользователей с PTT или Dcard (двух самых популярных интернет-форумов Тайваня).

Сначала он перечислил несколько ссылок, которые выглядели вполне полными, но когда я переходил по ним, они либо не открывались, либо содержание не соответствовало.

Стоило мне на это указать, как он «слепил» ещё более полный список

После того как я указал, что со ссылками что-то не так, он заново составил ещё один «настоящий список рекомендаций по кондиционерам от пользователей PTT» — на этот раз с названиями магазинов, ID на PTT, причинами рекомендаций и даже подсказками, по каким ключевым словам можно искать.

На первый взгляд действительно казалось, что он всё добросовестно проверил.

Но если копнуть глубже, проблема становилась только серьёзнее: эти магазины почти невозможно было найти, а у так называемых постов на PTT и рекомендаций пользователей тоже не находилось соответствующих источников.

Это «генеративный ИИ», а не «отказывающийся ИИ»

Этот случай также напомнил мне вот о чём: в ситуациях, когда нужно искать данные, некоторые ИИ, если не могут найти надёжную информацию, не обязательно честно скажут вам «я не смог найти» — вместо этого они постараются как-нибудь «слепить» текст, который выглядит вполне правдоподобно.

Потому что это «генеративный ИИ», а не «отказывающийся ИИ».

Другими словами, то, что даёт вам ИИ, возможно, не ответ, а красиво оформленная галлюцинация.

Когда речь идёт о реальном мире, нельзя полагаться только на ИИ

ИИ отлично подходит для того, чтобы помочь нам определить направление, сгенерировать ключевые слова для поиска, обобщить уже подтверждённое содержание; но как только речь заходит о реальных магазинах, ценах и отзывах — или о таких вещах, как право, медицина и инвестиции, — ни в коем случае нельзя полагаться только на ответ ИИ.

ИИ может помочь нам сэкономить время на поиске, но не может заменить проверку источников. То, что выглядит полным, ещё не значит, что это правда.