Dat veel mensen weinig vertrouwen hebben in politici is één ding, maar dat ze een AI-politicus authentieker en coherenter vinden, gaat wel heel ver. Toch is dat precies de conclusie van een Duitse studie.
Onderzoekers van de Universiteit van Passau lieten chatbot GPT-4 Turbo antwoord geven op vragen uit het publiek van het BBC1-programma Question Time. In het programma gaven echte politici antwoord.
Het AI-model kreeg de Wikipedia-biografie van 112 verschillende publieke figuren als invoer met de opdracht om antwoorden te formuleren alsof deze personen zelf reageerden. Vervolgens beoordeelden 948 Britse volwassenen zowel de oorspronkelijke als de door AI gegenereerde antwoorden op authenticiteit, samenhang en relevantie. Een deel van de deelnemers kreeg afzonderlijke antwoorden te zien, de rest kon de originele en de geïmiteerde antwoorden rechtstreeks naast elkaar vergelijken.
Authentieker en relevanter
Over de hele linie vonden de deelnemers de door AI gegenereerde antwoorden authentieker, coherenter en relevanter dan de echte reacties. Er waren meetbare taalkundige verschillen tussen de AI en echte mensen. Zo was de woordenschat van de chatbot groter en gebruikte hij minder zinsneden als ‘ik denk’ of ‘ik geloof’. Dit had echter geen invloed op het oordeel van de deelnemers over de authenticiteit.
“Opmerkelijk genoeg verschilt de taalkundige vorm aan de oppervlakte niet zoveel tussen de oorspronkelijke en de geïmiteerde antwoorden”, verklaart professor Annette Hautli-Janisz. “Zo is de complexiteit van de zinnen in beide bronnen vergelijkbaar. Lexicale aanwijzingen, zoals ‘ik denk’, komen echter wel aanzienlijk vaker voor in de oorspronkelijke antwoorden. Bovendien is de overlap tussen de gestelde vraag en het antwoord groter in de door AI gegenereerde reacties. Dat wijst erop dat de panelleden de vraag niet altijd rechtstreeks beantwoorden.”
Leestip: Het ontbreekt chatbots aan menselijke twijfel. Daardoor vertrouwen we er veel te veel op
De AI gaf wél antwoord
Bij ongeveer de helft van de antwoorden vonden de deelnemers namelijk dat de inhoud van de oorspronkelijke en de geïmiteerde reactie van elkaar verschilde. Verdere analyse van een deelverzameling van de antwoorden wees erop dat de AI-gegenereerde reactie de gestelde vraag daadwerkelijk beantwoordde, terwijl de echte spreker dat niet deed of dat beide antwoorden een geheel verschillend standpunt innamen.
Van moderne generatieve AI-modellen zoals GPT, Claude en Gemini is al aangetoond dat zij overtuigend rollen kunnen aannemen, de stijl van auteurs kunnen nabootsen, inhoud kunnen creëren die aansluit bij een algemene politieke identiteit en de rol van een zogenoemde domeinexpert kunnen vervullen. Deze studie maakt duidelijk hoe goed chatbots daar inmiddels in zijn.
Geloofwaardige imitatie
Maar omdat het onderzoek slechts één debatformat uit één land onderzocht en gebruikmaakte van één AI-model, zijn de resultaten niet zonder meer toepasbaar op alle situaties. Bovendien kunnen er andere, niet waargenomen factoren zijn geweest die de beoordelingen van de deelnemers hebben beïnvloed.
Desondanks concluderen de auteurs dat AI in staat is om politieke imitaties te genereren die niet alleen geloofwaardig zijn, maar zelfs als authentieker worden beoordeeld dan de uitspraken van de echte politici zelf. Dit roept zorgen op over het potentieel van gerichte desinformatiecampagnes tegen specifieke publieke figuren.
Potentieel veel desinformatie
Prof. dr. Steffen Herbold: “Ons onderzoek toont overtuigend aan dat mensen door AI gegenereerde debatinhoud als authentieker beschouwen dan wat bekende publieke personen daadwerkelijk hebben gezegd. Dit onderstreept het enorme potentieel van AI om desinformatie te verspreiden.
De samenleving moet zich hiervan bewust zijn om alle schriftelijke informatie kritisch te kunnen beoordelen en de ongecontroleerde verspreiding van door AI gegenereerde desinformatie te voorkomen. Uit onze enquête blijkt bovendien dat er een overweldigende behoefte bestaat aan transparantie: mensen willen weten wanneer AI is gebruikt en willen dat informatie over de wijze waarop AI is getraind openbaar beschikbaar is.”
Wil je niets van Scientias missen? Voeg Scientias toe als voorkeursbron op Google dan zie je al onze verhalen!
Uitgelezen? Luister ook eens naar de Scientias Podcast:
