Kun jij het verschil zien tussen een verhaal dat is geschreven door een mens en eentje die uit de digitale koker van ChatGPT is komen rollen? De kans is groot dat je faalt voor de test. Sterker nog: uit nieuw Amerikaans onderzoek blijkt dat mensen AI-verhalen verkiezen boven een menselijke tekst, al speelt onze ingebakken voorkeur voor ‘echte’ schrijvers ons flink parten. We geven namelijk de hoogste cijfers als we het idee hebben dat er een mens achter de tekst zit.
Voor het onderzoek gebruikten de wetenschappers drie korte verhalen die door menselijke auteurs waren geschreven en gepubliceerd in gerenommeerde literaire tijdschriften. Ook lieten ze ChatGPT drie vergelijkbare verhalen schrijven. In het eerste experiment kregen 1.682 deelnemers een verhaal te lezen, waarbij ze van tevoren te horen kregen of het door een mens of door AI was geschreven. In de helft van de gevallen spraken de onderzoekers de waarheid, in de andere gevallen niet. Daarna beoordeelden de proefpersonen de kwaliteit van het verhaal en hoe meeslepend ze het vonden.
In het tweede en derde experiment kregen respectievelijk 424 en 481 deelnemers één menselijk en één AI-verhaal te lezen, zonder te weten welk verhaal van wie kwam. Na het lezen moesten ze raden wie welk verhaal had geschreven. Ook werden ze gevraagd naar hun ervaring met AI-platforms zoals ChatGPT en hun kennis van literatuur.
Literaire AI-meesterwerken
De resultaten zullen de wenkbrauwen van menig lezer én schrijver doen fronsen. AI-geschreven verhalen kregen gemiddeld duidelijk hogere scores voor kwaliteit en absorptie (een maat voor hoe opgeslokt de lezer raakt door het verhaal), dan de verhalen die door een mens waren geschreven. En het wordt nog gekker: AI-verhalen scoorden nóg hoger wanneer proefpersonen dachten dat er een mens achter zat.
Het vermogen om AI-tekst te herkennen bleek ronduit dramatisch: in het tweede experiment identificeerden deelnemers de AI-auteur in slechts 39,93 procent van de gevallen, zelfs minder dan je op basis van puur gokken zou verwachten. In het derde experiment kwamen ze uit op 51,97 procent, ook niet bepaald een percentage om over naar huis te schrijven.
Wat maakt mensen uniek?
Hoofdonderzoeker Deena Weisberg van de Amerikaanse Villanova University, legt uit wat hier volgens haar aan de hand is: “In ons onderzoek gaven deelnemers de hoogste cijfers aan verhalen waarvan ze dachten dat een mens ze had geschreven, terwijl AI de echte auteur was. Dat legt volgens mij een vooroordeel ten gunste van verhalen van echte mensen bloot. We gaan ervan uit dat creatief schrijven om typisch menselijke eigenschappen vraagt, zoals emotioneel inzicht en levenservaring, waardoor we de capaciteiten van AI onderschatten. Onze aannames over wat AI kan, lopen steeds verder achter op de werkelijkheid.”
Leestip: Zorgwekkend: we vinden een chatbot authentieker en geloofwaardiger dan echte politici
Wie AI kent, doorziet AI
Opvallend is dat deelnemers die aangaven meer kennis van AI te hebben, ook beter in staat waren om AI-teksten te herkennen. Literaire kennis maakte juist helemaal geen verschil. In het tweede experiment ging elk punt extra op de zelfgerapporteerde AI-kennisschaal gepaard met 14 procent meer kans om de juiste auteur te raden. In het derde experiment, waarbij de Artificial Intelligence Literacy Scale (AILS) werd gebruikt, liep dat zelfs op tot 33 procent meer kans per extra punt.
“Bekendheid met AI-systemen lijkt mensen te helpen de typische patronen van AI-teksten te herkennen, zoals het overmatig gebruik van gedachtestreepjes en zinsconstructies als ‘het gaat niet alleen om X, maar ook om Y’”, aldus Weisberg. “Dat laat zien dat meer kennis en ervaring met kunstmatige intelligentie mensen helpt om hun weg te vinden in de AI-wereld waarin we inmiddels leven.”
Duidelijkheid wint het van subtiliteit
Dit is niet de eerste studie waaruit blijkt dat mensen liever AI-teksten lezen, ook bij poëzie en essays is het al aangetoond. Maar waar komt die voorkeur vandaan? “AI-teksten zijn vaak helderder, directer en makkelijker te verwerken”, legt Weisberg uit. “Verhalen van mensen zijn in de regel juist subtieler en complexer. De output van AI-modellen benoemt thema’s meestal expliciet, in plaats van de lezer zelf betekenis te laten afleiden uit wat personages zeggen en doen.”
“We horen veel over de leescrisis, een krimpende aandachtsspanne en de invloed van platforms als TikTok. Maar ik denk niet dat onze resultaten daar volledig door te verklaren zijn”, stelt de hersenwetenschapper. “Het lijkt er eerder op dat deze technologie bestaande neigingen versterkt, in plaats van die te veroorzaken. Misschien houden de meeste mensen domweg van voorspelbaarheid, omdat lastig en subtiel materiaal nu eenmaal meer denkwerk vergt.”
Wil je niets van Scientias missen? Voeg Scientias toe als voorkeursbron op Google dan zie je al onze verhalen!
Uitgelezen? Luister ook eens naar de Scientias Podcast:
