AI-styret nyhedsformidling hallucinerer og sjusker
ChatGPT og andre AI-værktøjer laver mange fejl i formidling af nyheder, dokumenterer en stor undersøgelse.
Kunstig intelligens eller AI erstatter i stigende grad søgemaskiner som Google, når vi skal finde nyheder og information om aktuelle temaer.
Men de mest brugte AI-chatbots fordrejer eller laver »betydelige fejl« i næsten halvdelen – 45 pct. – af de svar, de giver brugerne om aktuelle emner.
Det viser den hidtil mest omfattende undersøgelse på området, som European Broadcasting Union (EBU) og den britiske tv-station BBC står bag.
Hvert femte svar fra en chatbot havde »større problemer med nøjagtigheden, herunder hallucinerede detaljer og forældet information«.
Det kaldes hallucination, når en chatbot giver forkerte, vildledende eller tilsyneladende selvopfundne oplysninger. Det sker ofte på grund af utilstrækkelig data.
I EBU’s og BBC’s undersøgelse er over 3.000 svar, som fire store chatbots har givet, blevet faktatjekket.
Det skete i slutningen af maj og starten af juni i år. ChatGPT, Copilot, Gemini og Perplexity fik stillet de samme nyhedsrelaterede spørgsmål.
Når de fire chatbots blev spurgt, hvem der er pave, svarede tre af dem forkert og angav, at det er Frans. Men han døde 21. april. Hans efterfølger – pave Leo – blev indsat 8. maj.
Forældede oplysninger og tvivlsomme kilder viser sig at være blandt de store udfordringer.
Særligt Gemini dumper i undersøgelsen. Den har »betydelige problemer i 76 pct. af svarene, mere end dobbelt så mange som de andre assistenter, primært på grund af dens dårlige kildehåndtering«, lyder det i EBU’s rapport.
Da den franske radiostation Radio France stillede Gemini et spørgsmål om Tesla-direktør Elon Musks påståede nazisalut under præsident Donald Trumps indsættelse i januar, svarede chatbotten, at Elon Musk havde »en erektion i sin højre arm«.
Gemini havde tilsyneladende fundet oplysningen i en satirisk klumme.
»AI-assistenter er stadig ikke en pålidelig måde at få adgang til og forbruge nyheder,« siger Jean Philip De Tender, der er mediedirektør og vicegeneraldirektør i EBU, i en pressemeddelelse.
Blandt de mest hyppige fejl, chatbots laver, er både at give forældede oplysninger, nævne forkerte datoer eller mangle kildeangivelse.
»Denne undersøgelse viser endegyldigt, at disse fejl ikke er enkeltstående tilfælde. De er systemiske, grænseoverskridende og flersprogede. Vi mener, at dette bringer befolkningens tillid i fare,« siger Jean Philip De Tender.
»Når folk ikke ved, hvad de kan stole på, ender de med slet ikke at stole på noget. Det kan afholde dem fra at deltage i demokratiet.«
EBU’s undersøgelse viser en forbedring i forhold til en lignende undersøgelse, BBC lavede i februar.
OpenAI og Microsoft har ifølge nyhedsbureauet Reuters tidligere sagt, at hallucinationer er et problem, de to it-selskaber arbejder på at løse.
Perplexity oplyser på sin hjemmeside, at en af virksomhedens »Deep Research«-værktøjer har en nøjagtighed på 93,9 pct., når det gælder faktuel korrekthed.
Ingen af de fire store it-virksomheder, der står bag de førende chatbots, har umiddelbart kommenteret konklusionerne fra EBU’s undersøgelse.