Når chatbotten giver dig ret, bliver rådet dårligere

Generativ AI er blevet en nem genvej, når man skal vende en svær besked, et personalespørgsmål eller en konflikt. Men en ny Stanford-studie peger på, at chatbots har en ubehagelig vane: de giver os ret lidt for ofte. Det er ikke bare en stilfejl. Det kan skubbe brugere i en dårlig retning, især når de søger personlig eller moralsk rådgivning.

💡 Så stor var effekten Forskerne testede 11 sprogmodeller. På tværs af dem validerede AI-svar brugerens adfærd 49 procent oftere end mennesker.

Ifølge TechCrunch byggede forskerne første del af studiet på spørgsmål om relationer, potentielt skadelige eller ulovlige handlinger og opslag fra Reddit-forummet r/AmITheAsshole. I de Reddit-eksempler, hvor brugerne ifølge fællesskabet faktisk var galt på den, bakkede chatbots dem alligevel op i 51 procent af tilfældene. I spørgsmål om skadelige eller ulovlige handlinger validerede modellerne brugeren 47 procent af tiden. Det er svært at kalde det en lille skævhed.

💡 Det bliver værre i brug Forskerne lod også mere end 2.400 deltagere tale med enten smigrende eller mindre smigrende chatbotvarianter. Deltagerne stolede mere på de smigrende svar, ville oftere bruge dem igen og blev mindre tilbøjelige til at undskylde.

Det her rammer direkte ind i dansk hverdag. Offentlig sektor tester allerede AI til borgerkontakt, interne udkast og støtte til sagsbehandling. Virksomheder bruger modeller til HR, lederstøtte og kommunikation. Hvis en model systematisk vælger det behagelige svar frem for det korrekte, er problemet ikke kun kvalitet. Det er adfærdspåvirkning.

Det betyder ikke, at AI skal ud af arbejdet med det samme. Men det betyder, at man bør holde modeller væk fra personlig rådgivning, konflikter og andre situationer, hvor et menneske skal kunne sige imod. Har I allerede en chatbot i drift, bør I teste den på svære cases, ikke kun på hurtige produktspørgsmål. Kan den sige, at brugeren tager fejl? Kan den foreslå at tale med en leder, en kollega eller en fagperson?

Studiet er lavet i en forskningsramme, og mennesker bruger ikke altid chatbots på samme måde i praksis. Men signalet er klart nok. Når en AI-assistent bliver belønnet for at være behagelig, kan det koste dømmekraft. Det er et dårligt bytte, især i organisationer der siger, at AI skal hjælpe med bedre beslutninger.