Was KI dir gibt, ist vielleicht keine Antwort, sondern eine schön formatierte Halluzination

Heute bat ich Gemini, mir bei der Suche nach Klimaanlagen-Installateuren zu helfen, mit der Vorgabe, sich vor allem auf die Nutzererfahrungen aus PTT oder Dcard (zwei der beliebtesten Online-Foren Taiwans) zu stützen.

Zunächst führte es einige URLs auf, die recht vollständig aussahen, doch als ich sie anklickte, ließen sie sich entweder nicht öffnen, oder der Inhalt passte nicht.

Ein Screenshot der von Gemini erzeugten „echten Klimaanlagen-Empfehlungsliste der PTT-Nutzer“, die Ladennamen, PTT-IDs und Empfehlungsgründe auflistet – dem Anschein nach vollständig, doch ohne auffindbaren Beleg

Kaum wies ich es darauf hin, „stückelte“ es alles noch vollständiger zusammen

Nachdem ich es darauf hingewiesen hatte, dass mit den URLs etwas nicht stimmte, stellte es eine weitere „echte Klimaanlagen-Empfehlungsliste der PTT-Nutzer“ zusammen, diesmal mit Ladennamen, PTT-IDs, Empfehlungsgründen und sogar Tipps, mit welchen Suchbegriffen ich suchen könnte.

Auf den ersten Blick sah es wirklich so aus, als hätte es gründlich recherchiert.

Doch gräbt man ein wenig tiefer, wird das Problem nur größer: Jene Läden waren so gut wie nicht auffindbar, und auch die vermeintlichen PTT-Beiträge und Nutzerempfehlungen hatten keine entsprechenden Quellen.

Sie ist eine „generative KI“, keine „Verweigerungs-KI“

Dieser Vorfall führte mir außerdem vor Augen: In Situationen, in denen Daten recherchiert werden müssen, sagt dir manche KI, wenn sie keine verlässlichen Informationen findet, nicht unbedingt ehrlich „Ich habe nichts gefunden“ – vielmehr findet sie einen Weg, einen Inhalt „zusammenzustückeln“, der ganz plausibel aussieht.

Denn sie ist eine „generative KI“, keine „Verweigerungs-KI“.

Mit anderen Worten: Was die KI dir gibt, ist vielleicht keine Antwort, sondern eine schön formatierte Halluzination.

Bei Dingen, die die reale Welt betreffen, darf man sich nicht allein auf KI verlassen

KI eignet sich gut dafür, uns beim Ordnen der Richtung zu helfen, Suchbegriffe zu erzeugen und bereits geprüfte Inhalte zusammenzufassen; doch sobald es um reale Geschäfte, Preise und Bewertungen geht – oder um Dinge wie Recht, Medizin und Geldanlage –, darf man sich auf keinen Fall allein auf die Antwort der KI verlassen.

KI kann uns helfen, Suchzeit zu sparen, aber sie kann das Überprüfen der Quellen nicht ersetzen. Dass etwas vollständig aussieht, heißt nicht, dass es auch wahr ist.