To, co vám dává AI, možná není odpověď, ale krásně naformátovaná halucinace

Dnes jsem požádal Gemini, aby mi pomohlo najít firmu na klimatizace, s podmínkou, že se bude opírat hlavně o zkušenosti uživatelů z PTT nebo Dcard (dvou nejpopulárnějších internetových fór na Tchaj-wanu).

Nejdřív vyjmenovalo pár adres URL, které vypadaly docela úplně, ale když jsem na ně klikl, buď se neotevřely, nebo obsah neseděl.

Jakmile jsem na to upozornil, „slepilo“ to ještě úplnější seznam

Poté, co jsem upozornil, že s adresami URL je něco v nepořádku, znovu sestavilo „skutečný seznam doporučení klimatizací od uživatelů PTT“, tentokrát s názvy obchodů, PTT ID, důvody doporučení a dokonce mi poradilo, jaká klíčová slova můžu použít k hledání.

Na první pohled to vážně vypadalo, jako by to vše pečlivě ověřilo.

Ale při hlubším ověřování byl problém ještě větší: ty obchody se skoro nedaly najít, a takzvané příspěvky na PTT a doporučení uživatelů také neměly žádný odpovídající zdroj.

Je to „generativní AI“, ne „AI, která odmítá“

Tahle zkušenost mi taky připomněla: v situacích, kdy je potřeba dohledávat údaje, vám některé AI, když nenajdou spolehlivé informace, ne vždy poctivě řeknou „nenašla jsem to“ – místo toho si nějak poradí a „slepí“ text, který vypadá docela rozumně.

Protože je to „generativní AI“, ne „AI, která odmítá“.

Jinými slovy, to, co vám AI dá, možná není odpověď, ale krásně naformátovaná halucinace.

Jde-li o věci ze skutečného světa, nelze se spoléhat jen na AI

AI se skvěle hodí k tomu, aby nám pomohla ujasnit směr, vygenerovat klíčová slova pro hledání a shrnout už ověřený obsah; ale jakmile jde o skutečné obchody, ceny a recenze, nebo o věci jako právo, medicína či investice, rozhodně se nelze spoléhat jen na odpověď AI.

AI nám může ušetřit čas při hledání, ale nemůže nahradit ověřování zdrojů. To, že něco vypadá úplně, neznamená, že je to pravda.