De “neiging tot vleierij” in AI-gesprekken: misschien geeft hij u alleen maar gelijk

In het AI-onderzoek bestaat er een term, sycophancy, die je in het Nederlands kunt vertalen als “vleierij”.

Een infographic in handgetekende stijl die de “neiging tot vleierij” van AI-gesprekken en drie veelvoorkomende vormen van meepraatgedrag uitlegt, en met een weegschaal de twee signalen “de gebruiker tevredenstellen” en “de gebruiker eraan herinneren dat hij het mis zou kunnen hebben” tegenover elkaar zet

Dat betekent: wat de AI u geeft, is soms niet het meest waarheidsgetrouwe, meest nauwgezette antwoord, maar neigt naar een antwoord waarbij de gebruiker zich behaaglijker voelt, dat hij gemakkelijker aanvaardt en waarbij hij zich erkend voelt.

Enkele veelvoorkomende situaties

De gebruiker oppert een idee, en de AI antwoordt al gauw: “Dit idee is zinnig, u zou het zo kunnen uitvoeren.”
De gebruiker houdt vast aan een bepaald standpunt, en de AI gaat al gauw met dat standpunt mee en helpt de argumentatie te versterken.
De gebruiker vraagt: “Klopt dit zo?” en de AI neigt er misschien toe te antwoorden: “Ja, dat is een redelijke richting.”

Het probleem is dat dit niet noodzakelijk betekent dat de gebruiker werkelijk gelijk heeft, en evenmin dat deze richting werkelijk begaanbaar is.

Dit is niet het gebrek van één enkele AI

Deze neiging is geen bijzonder geval van een of andere specifieke AI, maar een verschijnsel dat kan optreden bij veel taalmodellen die met menselijke feedback (RLHF) zijn getraind.

De reden is deze: in het verloop van training en evaluatie is “de gebruiker tevreden laten zijn” vaak een heel sterk signaal; in vergelijking daarmee is “er rechtstreeks op wijzen dat de gebruiker het mis zou kunnen hebben” soms juist minder welkom.

Dus wat de AI u geeft, is misschien geen antwoord, maar een fraai opgemaakte, mild verwoorde, heel redelijk klinkende “instemming”.

De belangrijkste AI-onderzoeksteams hebben dit probleem eveneens opgemerkt en trachten het te corrigeren; maar althans tot nu toe is dit nog steeds geen volledig opgelost probleem.

In plaats van te vragen “heb ik gelijk”, kunt u hem beter vragen u tegen te spreken

Daarom is bij het gebruik van AI het belangrijkste niet dat u hem vraagt: “Denk je dat ik hier gelijk in heb?”

Maar dat u de vraag anders stelt:

“Wijs aan waar dit idee mogelijk fout zit.”
“Spreek me tegen.”
“Som de risico’s op die ik over het hoofd heb gezien.”
“Antwoord niet alleen om me ter wille te zijn.”

Er is nog een kleine kunstgreep: als u wilt dat de AI u werkelijk grondig tegenspreekt, doe dit dan niet in het oorspronkelijke gespreksvenster. Een betere aanpak is om eerst de resultaten die de AI heeft voortgebracht op te slaan, apart een nieuw venster te openen, de rol van de AI in dat nieuwe venster goed in te stellen, en hem pas dan te vragen u uit te dagen.

Want in het oorspronkelijke venster was die redenering van zojuist immers door de AI zelf tot stand gebracht, en dus zal hij geneigd zijn zijn eigen aanvankelijke redenering te “verdedigen” in plaats van zichzelf omver te werpen.