BBC: För många fel i AI-genererade nyheter

AI-assistenter levererar ofta felaktigheter och förvrängt innehåll när de sammanfattar journalistiska texter. Det visar en undersökning från BBC. Svenska medieföretag betonar vikten av att en journalist alltid måste granska innehållet.

I en rapport från brittiska BBC poängteras att det finns många möjligheter med AI-verktyg, som kommer att vara till gagn för både användare och journalister. Men verktygen måste bli bättre och de måste användas på ett ansvarsfullt sätt, understryker BBC.

Undersökningen har gjorts genom att BBC tittat närmare på fyra vanliga AI-assistenter: OpenAI:s ChatGPT, Microsofts Copilot, Googletjänsten Gemini och Perplexity.

AI-verktygen gavs tillgång till BBC:s sajt och fick sedan frågor om nyheterna och promptar, order, om att använda BBC News-artiklar som källor så långt det var möjligt.

19 procent av svaren innehöll faktafel

AI-svaren granskades sedan av BBC:s journalister, experter inom olika ämnen och utifrån olika kriterier. Det handlade bland annat om noggrannhet, opartiskhet och hur väl svaren återgav BBC:s innehåll.

Många av de svar som producerades av AI-assistenterna visade sig vara helt felaktiga. 51 procent av alla AI-svar på frågor om nyheterna ansågs innehålla betydande frågetecken. 19 procent av svaren som citerade BBC innehöll faktafel och 13 procent av citaten från BBC-artiklar var antingen ändrade från originalkällan eller inte närvarande i artikeln som citerades.

För att AI-verktygen ska bli bättre och mer pålitliga, och för att de ska gå att använda i nyhetsarbetet i större skala, listar BBC tre viktiga steg i den utvecklingen.

BBC efterlyser ett AI-regelverk

De vill att AI-företagen lyssnar på BBC och deras krav.

De vill också att AI-företagen arbetar konstruktivt, tillsammans med BBC, och att företagen specificerar hur de ska komma tillrätta med de problem som pekas ut. Tillsammans måste de komma överens om hur pålitligheten och noggrannheten ska säkerställas på lång sikt.

BBC efterlyser också ett regelverk för att skapa förutsättningar för ett sunt informationsflöde, inte minst för att BBC och andra public service-bolag ska kunna behålla sin höga status och sin trovärdighet.

BBC menar att det är viktigt med återkommande utvärderingar, helst gjorda av något forskningsinstitut eller någon form av tillsynsorgan. Detta för att kunna göra en oberoende granskning av nyhetsinnehåll på AI-plattformar, bland annat AI-assistenter.

Hur säkerställer svenska nyhetsredaktioner att AI-genererat material håller bod kvalitet? Biblioteksbladet ställde frågan till några landets större mediehus och redaktioner och bad om skriftliga svar.

Aftonbladet: Viktigt att innehållet granskas av en redaktör

Martin Schori, AI- och innovationschef på Aftonbladet, ser BBC-rapporten som en påminnelse om att det är viktigt att använda tekniken på rätt sätt.

”ChatGPT och liknande tjänster är språkmodeller, inte sökmotorer. De är ofta opålitliga och ganska dåliga på att generera ny information/journalistik. Vi använder de här chatbotarna som assistenter/resurser, inte som verktyg.”

Han framhåller att Aftonbladet lägger mycket tid och resurser på att en chatbot som till exempel Valkompisen inte ska hitta på eller feltolka, och den får bara dra svar ur tidningens egna databaser. I andra fall, som när tidningen publicerar AI-genererade nyhetssammanfattningar, är det alltid en redaktör som faktagranskar materialet.

”I slutändan är det så klart vårt ansvar att allt vi publicerar ska vara korrekt. Blir det fel är skulden vår, inte ’AI:s’. Precis som med all typ av innehåll vi har, oavsett hur det är framtaget.”

När AI-modeller används som arbetsverktyg är redaktionen särskilt vaksam på risker för faktafel, skevhet eller bias.

Ur Svenska Dagbladets AI-policy

Johan Silfversten Bergman, redaktionell utvecklingschef på Svenska Dagbladet, skriver att tidningens journalister har tillgång till flera olika arbetsverktyg som bygger helt på eller innehåller AI-teknik.
”Allt material som genereras av generativ AI ska kontrolleras och behandlas av en journalist innan det ingår i det vi publicerar. I vår AI-policy framhåller vi detta särskilt och skriver: ’När AI-modeller används som arbetsverktyg är redaktionen särskilt vaksam på risker för faktafel, skevhet eller bias.'”

Bonnier News Local: ”Har aldrig hört talas om att det blivit fel”

Linda Häggström, redaktionell utvecklingschef på Bonnier News Local och Gota Media , som tillsammans ger ut närmare 60 lokaltidningar, uppger att journalisterna inom företagssfären använder ett AI-verktyg som Bonnier själv har byggt för att sammanfatta egna artiklar. Hon framhåller att den användningen skiljer sig från de helt AI-genererade artiklar som BBC:s test utgick från.

”Vi på Bonnier News Local och Gota Media använder främst det verktyg Bonnier har byggt själva och då för att sammanfatta artiklar vi skrivit själva. Reportern har bra koll på grundmaterialet och kan därför snabbt se om den korta sammanfattningen innehåller fel. Det är väldigt ovanligt – jag har aldrig hört talas om att det blivit fel.”