Een AI als creatieve geest, het klinkt niet heel aanlokkelijk, maar helaas begint het er wel steeds meer op te lijken: lezers kunnen een gedicht van een chatbot niet onderscheiden van poëzie die door beroemde dichters is geschreven. En ze geven ook nog eens de voorkeur aan de computerversie.
Onderzoekers van de University of Pittsburgh lieten ruim 1600 deelnemers gedichten beoordelen. Ze moesten raden of de poëzie door bekende dichters als William Shakespeare, Lord Byron, Emily Dickinson en T.S. Eliot was gemaakt of door ChatGPT3.5, die de opdracht had gekregen om in de stijl van deze dichters poëzie te maken. Gek genoeg dachten de deelnemers vaak dat de AI-gedichten door mensen waren geschreven en andersom: de gedichten die ze het minst menselijk vonden, waren juist door echte dichters geschreven.
Verkeerd gegokt
“Over het algemeen gokten deelnemers in 53,4 procent van de gevallen verkeerd”, vertelt hoofdonderzoeker Brian Porter aan Scientias.nl. “De moeilijkheid leek per gedicht te variëren. Bij sommige gedichten gokten deelnemers meer dan 60 procent van de tijd goed. Het hoogst scoorde Father Death Blues van Ginsberg, waarbij 68,5 procent correct aannam dat het door een mens was geschreven. Bij andere gedichten had minder dan 30 procent het goed.”
Opmerkelijk genoeg hadden factoren als leeftijd, geslacht, opleidingsniveau of zelfs ervaring met poëzie geen invloed. “Mensen die aangaven sommige gedichten al eerder te hebben gezien, presteerden iets beter, omdat ze de gedichten die ze herkenden correct konden identificeren. En er was een kleine negatieve correlatie met het zelfvertrouwen van de deelnemers: hoe zekerder iemand was van zijn gok, hoe vaker hij het verkeerd had”, aldus de onderzoeker.
AI-gedichten mooier
In een tweede experiment kregen een kleine 700 andere deelnemers de vraag welke gedichten ze het mooist vonden. Ze moesten de teksten beoordelen op onder meer kwaliteit, schoonheid, emotie, ritme en originaliteit. De deelnemers werden ingedeeld in drie groepen. De eerste kreeg te horen dat de gedichten door een mens waren geschreven, de tweede dat ze door AI waren geproduceerd en de derde groep kreeg daar geen informatie over.
Wisten de proefpersonen dat de gedichten door AI waren gemaakt dan kregen ze een lagere beoordeling. Dachten ze dat de poëzie door echte mensen was geschreven dan ging de beoordeling omhoog. Deelnemers die geen informatie kregen over wie de auteur was, vonden de AI-gedichten mooier dan het door mensen geschreven werk. “In onze test gaven 545 van de 696 deelnemers (78,3 procent) gemiddeld een hogere beoordeling aan door AI gegenereerde gedichten dan aan menselijk geschreven gedichten”, vertelt Porter.
AI schrijft toegankelijker
De onderzoekers denken dat de deelnemers de voorkeur gaven aan de AI-gedichten, omdat die directer en toegankelijker waren dan het werk van de beroemde dichters. “Onze voornaamste verklaring is dat deelnemers de AI-gedichten makkelijker te begrijpen vinden. Ze houden meer van gedichten die ze begrijpen dan van gedichten die ze niet begrijpen, en ze verwachten dat mensen beter zijn in het schrijven van poëzie dan AI”, verklaart de wetenschapper. “Ze concluderen daarom dat de gedichten die ze leuk vinden door mensen zijn geschreven, terwijl ze eigenlijk eerder de voorkeur geven aan de makkelijker te begrijpen AI-gedichten. In feite onderschatten mensen het vermogen van AI om teksten te genereren, waaronder poëzie, die aan een bepaald format voldoen en ideeën en emoties helder overbrengen.”
Meer emoties
Er zijn echter andere factoren die mogelijk ook een rol spelen. “We vroegen deelnemers om hun antwoorden toe te lichten als ze dat wilden”, vervolgt Porter. “Sommigen maakten opmerkingen als: “Dit gedicht gaat over liefde, verlies en verdriet. Ik heb het gevoel dat alleen mensen dit soort emoties kunnen ervaren”, of: “Er zit een emotie in dit gedicht die voor mij menselijk lijkt”. Gezien het lage aantal toelichtingen is dit anekdotisch bewijs. Maar het suggereert dat sommigen mogelijk verwachten dat AI informatie over eigen ervaringen communiceert, terwijl chatbots in feite menselijke teksten nabootsen en net zo makkelijk over emoties schrijven als over elk ander onderwerp. Maar zelfs deze factor komt neer op verwachtingen van mensen over de capaciteiten van AI, die niet overeenkomen met de werkelijke toename van de capaciteiten van chatbots”, legt de wetenschapper uit.
Vooral de inhoud
Wat hem het meest verbaasde was hoe de proefpersonen het onderscheid probeerden te maken tussen AI en echte dichters. “Het was verrassend hoe weinig de formele kenmerken van de gedichten leken uit te maken. We hadden verwacht dat deelnemers elementen zoals rijmschema, metrum, en strofe-indeling zouden gebruiken om te beslissen of gedichten door AI of door mensen waren geschreven. We dachten ook dat deze kenmerken invloed zouden hebben op hoe leuk ze de gedichten vonden en hoe ze die beoordeelden. Tot onze verrassing hadden deze structurele kenmerken geen invloed. Deelnemers richtten zich vooral op de inhoud van het gedicht, in plaats van op de structuur. Dit was opmerkelijk, maar het zou in principe een manier kunnen zijn waardoor poëzie-experts beter presteren. Zij kijken mogelijk eerder naar formele kenmerken van de gedichten, die hen meer aanwijzingen kunnen geven over wie de schrijver is.”
Echte dichters hebben niets te vrezen
Maar hoe goed AI ook menselijke dichters kan nabootsen, het zal het echte werk nooit kunnen vervangen, meent de wetenschapper, juist omdat een chatbot enkel imiteert. “Ik denk dat het onwaarschijnlijk is dat menselijke dichters snel hun baan verliezen aan AI. Wat veel kunst bijzonder maakt – of het nu een gedicht is, een roman, een cabaretvoorstelling of zelfs een virale tweet – is dat het iets waarachtigs over de menselijke ervaring uitdrukt dat je nog niet eerder zo hebt gehoord. Dat is iets waarin chatbots voorlopig waarschijnlijk niet uitblinken, aangezien ze alleen toegang hebben tot wat al gezegd is. Bovendien is het belangrijk om te beseffen dat de opdracht aan ChatGPT was om de stijl van bestaande dichters na te bootsen. Ik denk niet dat de toekomst van poëzie ligt in geslaagde imitatie. Wat het onderzoek werkelijk aantoont, is niet dat AI poëzie kan produceren die net zo diepzinnig en uniek is als die van succesvolle menselijke dichters, maar dat AI de toon en stijl van dichters goed genoeg kan nabootsen, zodat we het verschil niet altijd even makkelijk kunnen onderscheiden als we denken.”
Dat heeft gevolgen voor de toekomst, want we willen natuurlijk wel weten of iemand een gedicht zelf heeft geschreven of AI het werk heeft laten doen. “Naarmate AI-gegenereerde teksten en kunst meer voorkomen, moeten we onze strategie herzien om het onderscheid tussen de twee te maken”, vindt Porter.
