To, co daje ci AI, może nie być odpowiedzią, lecz pięknie złożoną halucynacją

Dzisiaj poprosiłem Gemini o pomoc w znalezieniu firmy montującej klimatyzację, z zastrzeżeniem, że ma się oprzeć głównie na doświadczeniach użytkowników z PTT lub Dcard (dwóch z najpopularniejszych forów internetowych na Tajwanie).

Na początku wypisało kilka adresów, które wyglądały całkiem kompletnie, ale po kliknięciu albo się nie otwierały, albo treść się nie zgadzała.

Ledwie zwróciłem mu uwagę, a już „skleiło” to jeszcze porządniej

Kiedy zwróciłem mu uwagę, że z adresami jest coś nie tak, na nowo zestawiło kolejną „prawdziwą listę poleceń klimatyzatorów od internautów z PTT”, tym razem z nazwami sklepów, identyfikatorami PTT i uzasadnieniami polecenia, a nawet podpowiedziało mi, jakimi słowami kluczowymi mogę szukać.

Na pierwszy rzut oka naprawdę wyglądało to tak, jakby rzetelnie wszystko sprawdziło.

Ale gdy pogrzebałem głębiej, problem tylko urósł: tych sklepów prawie nie dało się nigdzie znaleźć, a rzekome wpisy na PTT i polecenia internautów też nie miały żadnego odpowiadającego im źródła.

To „generatywna AI”, a nie „odmawiająca AI”

Ta sprawa przypomniała mi też o czymś: w sytuacjach, gdy trzeba wyszukać dane, część systemów AI, jeśli nie znajdzie wiarygodnych informacji, wcale nie musi uczciwie powiedzieć ci „nie znalazłem” — zamiast tego znajdzie sposób, żeby „skleić” treść, która wygląda całkiem sensownie.

Bo to „generatywna AI”, a nie „odmawiająca AI”.

Innymi słowy: to, co daje ci AI, może nie być odpowiedzią, lecz pięknie złożoną halucynacją.

W sprawach dotyczących realnego świata nie można patrzeć wyłącznie na AI

AI świetnie nadaje się do tego, żeby pomóc nam uporządkować kierunek, wygenerować słowa kluczowe do wyszukiwania i podsumować treści już potwierdzone; ale gdy tylko w grę wchodzą prawdziwe sklepy, ceny i opinie albo sprawy w rodzaju prawa, medycyny czy inwestycji, absolutnie nie wolno poprzestawać na samej odpowiedzi AI.

AI może pomóc nam zaoszczędzić czas wyszukiwania, ale nie zastąpi sprawdzenia źródeł. To, że coś wygląda kompletnie, nie znaczy, że jest prawdziwe.