Meer dan een miljard mensen wereldwijd heeft inmiddels wel eens een AI-tool als ChatGPT gebruikt om creatief werk te doen. En de meesten zijn ervan overtuigd dat het ze creatiever maakt. Als je vastzit, geeft de chatbot je nu eenmaal een duwtje in de goede richting. Toch? Nou, niet helemaal.
Eerdere studies hebben al aangetoond dat mensen die met ChatGPT samenwerken weliswaar creatievere verhalen schrijven dan mensen die het helemaal alleen doen, maar dat die verhalen onderling ook veel meer op elkaar lijken. Dat was ook het geval voor essays, onderzoeksideeën en kunstwerken. Maar steeds was de kanttekening: misschien ligt het aan dat ene model. Misschien zou je met een ander model wél unieke resultaten krijgen.
Onderzoekers besloten dat uit te pluizen. Ze namen 22 verschillende AI-modellen en lieten ze dezelfde creativiteitstests doen als 102 menselijke deelnemers. Drie veelgebruikte tests, om precies te zijn, die in de psychologie worden ingezet om te meten hoe goed iemand buiten de lijntjes kan kleuren.
Wat werd er getest?
De eerste test was de ‘alternatieve gebruiken’-test: je krijgt daarbij een alledaags voorwerp, zoals een boek of een hamer, en moet zoveel mogelijk creatieve toepassingen bedenken. De tweede test meet hoe vrij je kunt associëren: je begint met één woord en schrijft op welk woord er spontaan in je opkomt, dan het volgende, enzovoort. De derde test draait dat concept om: noem tien woorden die zo weinig mogelijk met elkaar te maken hebben.
Op zichzelf scoorden de AI-modellen best goed op die tests. Op twee van de drie kwamen ze zelfs iets beter uit dan de menselijke deelnemers. Niet dramatisch beter, maar toch meetbaar. Tot zover geen verrassing; dat was al vaker aangetoond.
Leestip: Waarom ChatGPT nooit écht kan weten wat een bloem is
Maar dan de clou
Het echte probleem werd pas zichtbaar toen de onderzoekers keken naar het totaalplaatje. Hoe divers waren alle antwoorden van alle mensen samen? En hoe divers waren die van alle chatbots samen?
De antwoorden van de 22 AI-modellen bleken véél meer op elkaar te lijken dan die van de 102 mensen. Dat gold voor alle drie de tests. Mensen produceerden gewoon een bredere waaier aan ideeën.
Zelfs woordkeuze overlapt
Een deel van de verklaring zit in het woordgebruik. De onderzoekers telden hoeveel woorden de antwoorden van verschillende chatbots gemeen hadden, en vergeleken dat met de overlap bij mensen. AI-modellen deelden beduidend meer woorden met elkaar. Als je creatief wilt zijn, moet je op andere woorden en ideeën komen dan een ander. En dat lukt chatbots niet.
Kan je het fixen?
De onderzoekers probeerden een paar trucjes om chatbots creatiever te maken. Zo draaiden ze aan de ’temperatuur’ van de modellen. Dat is een instelling die bepaalt hoe voorspelbaar of willekeurig de output is. Bij een hoge temperatuur werden de antwoorden gevarieerder, maar er kwam ook steeds meer onzin bij. Bij de hoogste instelling begonnen modellen halverwege hun antwoord gewoon wartaal te produceren.
Ook probeerden ze de modellen aan te moedigen via de systeemprompt. In plaats van het standaard “je bent een behulpzame assistent” kregen ze te horen dat ze zo origineel en gedurfd mogelijk moesten antwoorden. Dat hielp een beetje, maar de variatie tussen de modellen bleef ver achter bij die van mensen.
Waarom dit ertoe doet
Je zou kunnen denken: ach, het zijn maar testopdrachten, in de praktijk valt het vast mee. Maar de onderzoekers wijzen erop dat het juist in creatief werk aankomt op diversiteit. Als miljoenen mensen tegelijk aan een chatbot vragen om een slogan of een ontwerpidee te bedenken en al die chatbots op dezelfde soort antwoorden uitkomen, krijg je een soort culturele eenheidsworst. Eerder onderzoek liet al zien dat mensen die samenwerken met een AI de neiging hebben om de AI-suggesties klakkeloos over te nemen, vooral als ze zelf minder creatief zijn. Juist die groep wordt dus het hardst getroffen.
We schreven vaker over dit onderwerp, lees bijvoorbeeld ook Volgens MIT-onderzoek maakt ChatGPT ons dommer, maar het ligt iets genuanceerder en Door AI-chatbots gaan we steeds meer op elkaar lijken. En dat wil je niet. Of lees dit artikel: Meer tieners dan je denkt gebruiken AI om naaktbeelden te maken.
Uitgelezen? Luister ook eens naar de Scientias Podcast:
