Oké, ChatGPT kan misschien een aardige tekst schrijven, je rapport van de juiste structuur voorzien en de benodigde informatie leveren, maar écht creatief is de chatbot toch niet? Of wel? De AI blijkt nu zelfs beter te scoren op creatieve tests dan de gemiddelde mens.
Om dat te onderzoeken hebben wetenschappers van de Finse University of Turku bij 256 mensen en drie AI-chatbots de zogenoemde Alternate Uses Task (AUT) afgenomen. Dit is een klassieke test om creativiteit te meten. Daarbij moeten mensen in een korte tijd zoveel mogelijk alternatieve doelen bedenken voor alledaagse voorwerpen.
“De deelnemers werd gevraagd om creatieve, ongebruikelijke ideeën te verzinnen voor voorwerpen, zoals een touw, een potlood, een doos en een kaars”, legt onderzoeker Mika Koivisto uit aan Scientias.nl. “Mensen kwamen gemiddeld tot drie ideeën binnen 30 seconden, soms meer, soms minder.”
AI veel sneller en gedetailleerder
De chatbots – ChatGPT3, ChatGPT4 en Copy.AI – waren een stuk sneller. “De uitdaging bij het testen van de AI-chatbots was dat ze, hoewel ze dezelfde instructie kregen als mensen, veel meer ideeën konden produceren in de beschikbare tijd en hun antwoorden waren vaak erg gedetailleerd”, vertelt de Finse wetenschapper. “Ze legden bijvoorbeeld tot in detail uit hoe een potlood in de tuin kan dienen om planten te ondersteunen, terwijl mensen meestal hele korte antwoorden gaven van een tot drie woorden, bijvoorbeeld ‘bed voor kat’ als alternatief idee voor een doos.”
Daarom moesten de onderzoekers de output van de AI-chatbots zien te beperken. “We bestudeerden de bandbreedte van het aantal menselijke antwoorden en testten iedere chatbot meerdere keren. Daarbij varieerden we het aantal ideeën dat we hen vroegen te produceren, zodat die vergelijkbaar werden met die van mensen. Om de antwoorden te kunnen vergelijken vroegen we de chatbots bovendien om hun ideeën kort uit te leggen, in een tot drie woorden”, legt Koivisto uit.
AI scoort beter
Vervolgens kregen de antwoorden een score op het gebied van semantische afstand, oftewel: hoe dicht lag het antwoord bij het oorspronkelijke gebruik van het object? “Dit is een objectieve manier om de originaliteit van ideeën te meten. Daarnaast vroegen we zes mensen om de creativiteit van elk idee ‘subjectief’ te beoordelen op een schaal van een tot vijf. Ze wisten niet dat er ideeën bij zaten die waren bedacht door AI”, aldus de wetenschapper.
De chatbot bleek op beide vlakken net iets beter te scoren dan de mensen. Maar de scores van mensen lagen veel verder uit elkaar. De laagste scores waren veel lager dan de AI-reacties, terwijl de hoogste scores over het algemeen hoger waren dan die van de AI. Het beste menselijke antwoord was beter dan dat van iedere chatbot in zeven van de acht onderzochte categorieën.
Samenwerking tussen mens en AI
De chatbots onderling ontliepen elkaar niet veel. “Het was verrassend dat ChatGPT4. die als superieur wordt beschouwd, niet beter scoorde dan de andere bots wat semantische afstand betreft. Wel toonde ChatGPT4 zijn superioriteit ten opzichte van de andere bots bij de subjectieve scores voor creativiteit. Helaas weten we nog niet wat de ChatGPT4-reacties zo aantrekkelijk maakte voor de menselijke geest”, vertelt Koivisto.
Hoe dan ook, deden de bots dus niet onder voor de gemiddelde mens als het gaat om het genereren van creatieve ideeën. Dat wil echter niet zeggen dat we creativiteit dus voortaan maar aan de computer moeten overlaten. De onderzoekers zien meer in een samenwerking tussen mens en AI op creatief gebied. Ze stellen dan ook voor om verder onderzoek te doen naar hoe AI kan worden geïntegreerd in het creatieve proces om zo de prestaties van mensen te verbeteren.
Filosofische discussie
Of AI in het algemeen net zo creatief kan zijn als mensen, durft de Finse wetenschapper niet te zeggen. “Het is aan filosofen om te speculeren of er een diepere betekenis of eigenschap is van creativiteit die AI niet heeft. Onze studie maakt duidelijk dat AI een behulpzaam middel kan zijn om creatieve ideeën te genereren. Maar mensen zouden zelf moeten evalueren welke ideeën relevant en geschikt zijn voor de taken die ze voor ogen hebben. Het is niet duidelijk of een chatbot dat kan”, legt hij uit.
“Wel wil ik benadrukken dat we maar één soort taak hebben onderzocht, terwijl creativiteit een multidimensionaal fenomeen is dat op vele verschillende manieren kan worden bestudeerd”, klinkt het tot besluit. Met andere woorden: dat een AI kan bedenken waar je een potlood óók voor kunt gebruiken, wil niet zeggen dat hij ook mooie schilderijen maakt.
