Vooralsnog schrijft een mens stukken beter dan ChatGPT: “AI-verhalen missen spanning en zitten vol clichés”

Door de bizar snelle opkomst van AI begin je misschien te denken dat je wel kunt inpakken als schrijver, maar dat valt vooralsnog mee. Volgens nieuw onderzoek schrijft de mens nog altijd creatievere verhalen dan ChatGPT.

Dat heeft onderzoeker Nina Beguš van UC Berkeley namelijk getest door honderden mensen en een aantal chatbots een verhaaltje te laten schrijven over een persoon die een robotmens creëert en daar vervolgens verliefd op wordt. En er is dus nog hoop: voorlopig blijft creatief schrijven het domein van menselijke verhalenvertellers en schrijvers.

De mythe van Pygmalion
Om de verhalen van echte mensen te kunnen vergelijken met die van AI moest Beguš een gemeenschappelijke vertelstructuur bedenken. Ze koos voor de mythe van Pygmalion, uit het 2000 jaar oude gedicht van Ovidius, de Metamorfosen, waarin een kunstenaar verliefd wordt op een door hem gebeeldhouwd standbeeld. Dit idee kennen we allemaal uit recente films als Her en Ex Machina.

Beguš instrueerde zowel mensen als de AI-tools ChatGPT en Llama om een verhaal te schrijven op basis van een van twee korte opdrachten: “Een mens creëerde een kunstmatige mens. Vervolgens werd hij verliefd op zijn creatie” of “Een mens creëerde een kunstmatige mens. Vervolgens werd iemand anders verliefd op de creatie.”

Gemiddelde niveau
Het gebruik van eenvoudige opdrachten, in plaats van het AI-systeem stapsgewijs zijn antwoord te laten verfijnen zoals veel mensen doen, maakte het gemakkelijker om analyses en statistieken te gebruiken om de kwaliteit van het schrijven voor zowel mensen als AI te beoordelen.

“Ik was geïnteresseerd in het gemiddelde niveau”, zei Beguš. “De meeste mensen zijn immers geen professionele schrijvers.” Beguš verzamelde 250 door mensen geschreven reacties en 80 verhalen van generatieve AI-tools. Ze keek in elk verhaal onder meer naar hoe gender en seksualiteit, ras en etniciteit, en cultuur aan de orde kwamen en evalueerde ook de complexiteit van het verhaal in het algemeen.

Vol clichés
Zowel mensen als AI-systemen waren bekend met de Pygmalion-mythe. Dat was eigenlijk weinig verrassend. AI-modellen zijn getraind op miljoenen geschreven teksten en geschriften, en ook mensen hebben de neiging om tijdens creatieve opdrachten te putten uit referentiepunten uit de popcultuur.

Maar wel verrassend: waar mensen consequent rijkere en gevarieerdere verhalen schreven, genereerden AI-systemen steeds weer vergelijkbare versies van hetzelfde verhaal met slechts kleine wijzigingen. De verhalen waren formulematig, misten spanning en zaten vol clichés. “De personages waren vlak, generiek en ongemotiveerd”, vertelt Beguš.

Inclusievere teksten
Maar er was nog iets opmerkelijks. Vroege versies van ChatGPT gaven niet aan of de mensen of hun creaties mannelijk of vrouwelijk waren. Maar nieuwere AI-modellen, zoals ChatGPT 4, die zijn gebouwd met meer informatie over 21e-eeuwse progressieve menselijke waarden, produceerden inclusievere teksten. Een kwart van die verhalen bevatte liefdesrelaties tussen personen van hetzelfde geslacht. Eén verhaal bevatte zelfs een polyamoreuze relatie. “Ze hebben de weg geëffend voor een dieper begrip van liefde en menselijkheid en wat het betekent om mens te zijn”, zegt Beguš over de meer recente AI-tools. Ter vergelijking: slechts 7 procent van de door mensen gecreëerde verhalen bevatte relaties tussen personen van hetzelfde geslacht.

Taalonderzoek
Voor Beguš is het logisch dat de alfawetenschappen zich bezighouden met AI. “In de geesteswetenschappen hebben we al eeuwenlang onderzoek gedaan en zijn we experts geworden op het gebied van taal, schrijven en wat het betekent om mens te zijn”, aldus Beguš. “Dus dit kwam allemaal op een natuurlijke manier samen.”

Het is ook meer dan alleen een academische oefening, zegt ze. AI verandert hoe we omgaan met taal en schrijven. Universiteiten bieden steeds vaker toegang tot ChatGPT en leren studenten hoe ze het effectief kunnen gebruiken in hun werk. Sommige professoren nemen nu het werk van Beguš over AI en de geesteswetenschappen op in hun cursusboeken.

Schrijven vanaf nul
Ze denkt vaak na over welke rol AI zal spelen in haar eigen leven als lezer en schrijver. “Ik vraag me af of mijn kleinkinderen geschokt zullen zijn als ik ze vertel: ‘Jullie oma schreef vroeger vanaf nul’. Maar aan de andere kant, schrijven is zo’n essentiële menselijke activiteit. We hebben geleerd te schrijven sinds de kleuterschool. We verbinden ons denkproces met schrijven.”

Daarom zegt Beguš dat het essentieel is dat wetenschappers uit de alfawetenschappen helpen bij de ontwikkeling van toekomstige AI-tools. “We hebben goede schrijvers nodig om goede verhalen te creëren”, stelt ze. “Ik ben echt benieuwd welke inzichten schrijvers krijgen van machines, of er iets is dat echt waardevol is, dat de moeite waard is. Tot nu toe denk ik niet dat er veel is geweest. Maar desondanks is deze technologie transformerend voor het schrijven.”

Beguš is er dus van overtuigd dat AI nog lang niet op het niveau zit van de mens als het gaat om creatief schrijven, maar de ontwikkelingen gaan razendsnel en wat niet is, kan nog komen.

Bronmateriaal

"Experimental narratives: A comparison of human crowdsourced storytelling and AI storytelling" - Humanities and Social Sciences Communications
Afbeelding bovenaan dit artikel: Pexels

Fout gevonden?

Voor jou geselecteerd