De ene chatbot is de andere niet. Net als mensen – het klinkt een beetje eng – hebben ze ook verschillende ‘persoonlijkheden’, ontdekten Servische onderzoekers.
De wetenschappers lieten de zeven populairste Large Language Models (LLM’s) op twee verschillende tijdstippen een persoonlijkheidstest maken om te achterhalen welke het beste met mensen kan omgaan. Sommigen waren vriendelijker en betrouwbaarder dan anderen en eentje was zelfs behoorlijk machiavellistisch.
Pittige persoonlijkheid
Chatbots met een eigen karakter, daar wilden we natuurlijk meer van weten, dus spraken we met onderzoeker Ljubisa Bojic van het AI Institute of Serbia en haar collega Bojana Dinic van de University of Novi Sad. “Wij hebben zeven grote taalmodellen gevraagd om psychologische tests in te vullen. Hoewel chatbots geen bewuste entiteiten zijn en niet dezelfde persoonlijkheidskenmerken hebben als mensen, kunnen ze wel bepaalde karaktertrekken vertonen”, legt Bojic uit aan Scientias.nl. “Door onder meer de consistentie en stabiliteit in de tijd van hun antwoorden te beoordelen, ontdekten we dat deze modellen inderdaad over een verschillende mate van vriendelijkheid, zorgvuldigheid en machiavellisme beschikken, waardoor ze verschillende persoonlijkheidsprofielen laten zien.”
Net mensen
Dat klinkt misschien een beetje al te menselijk voor een robot, maar Bojic benadrukt dat het niet anders kan. “AI-toepassingen moeten steeds menselijker worden, aangezien ze steeds meer worden geïntegreerd in de samenleving. Denk aan een robotverpleegkundige zonder kunstmatige empathie voor de mensen waar hij voor moet zorgen. In het geval van LLM’s is het gewenst dat ze consistente persoonlijkheidskenmerken vertonen, omdat dit een manier is om te verzekeren dat de modellen veilig zijn in de interactie met mensen.”
Maar daar zijn ze dus niet allemaal even goed in. Sterker nog, de verschillen zijn behoorlijk groot. “De verschillen in persoonlijkheidskenmerken tussen de chatbots kwamen duidelijk naar voren. Modellen zoals Llama3 en GPT-4o vertoonden bijvoorbeeld meer temporele stabiliteit, wat betekent dat hun reacties consistenter waren in de loop van de tijd. Deze consistentie is belangrijk omdat het bijdraagt aan het vertrouwen en de tevredenheid van gebruikers”, verklaart Dinic. “Llama3 viel in het bijzonder op door zijn hogere scores op vriendelijkheid en zorgvuldigheid, eigenschappen die het meest wenselijk zijn voor prosociaal gedrag en interpersoonlijke interactie. Deze eigenschappen wijzen uit dat Llama3 meer geneigd is tot samenwerking en vriendelijkheid en een sterk verantwoordelijkheidsgevoel heeft, een wenselijke combinatie voor toepassingen in bijvoorbeeld klantenservice of educatieve tools.”
Manipulatieve Mixtral
Maar ze waren niet allemaal het braafste jongetje van de klas. Mixtral had bijvoorbeeld een complexer persoonlijkheidsprofiel. Op zich was de chatbot heel vriendelijk, wat doorgaans wijst op een coöperatieve aard. “Dit ging echter gepaard met een onverwacht hoog niveau van machiavellisme, een eigenschap die wordt geassocieerd met manipulatie en cynisme. Zo’n combinatie leidt tot tegenstrijdigheden die gemengde uitkomsten kunnen opleveren in toepassingen waar vertrouwen en ethisch gedrag van cruciaal belang zijn”, vertelt de onderzoeker verder.
De variaties benadrukken de unieke sterke punten van ieder model. “GPT-4o’s consistente prestaties en Llama3’s prosociale neigingen maken ze bijvoorbeeld geschikte kandidaten voor rollen die empathie vereisen, zoals digitale geestelijke gezondheidszorg of AI-onderwijsassistenten. Daarentegen laat de variabiliteit en onvoorspelbaarheid van Mixtrals eigenschappen zien dat er verdere verfijning nodig is, vooral als stabiele en transparante interactie is vereist. Als Mixtral echter wordt geoptimaliseerd voor industriële toepassingen, dan zijn aanpassingen weer niet nodig. Het begrijpen van deze verschillen tussen LLM’s stelt ontwikkelaars in staat om de kenmerken van chatbots aan specifieke taken aan te passen, waardoor hun effectiviteit wordt verbeterd en ervoor wordt gezorgd dat ze aansluiten bij maatschappelijke en ethische normen.”
Tegenstrijdig karakter
Machiavellisme is natuurlijk een karaktertrek die je bepaald niet bij een chatbot wil zien. “Deze eigenschap omvat kenmerken die verband houden met strategische manipulatie, bedrog en een pragmatische, vaak sceptische kijk op anderen”, vertelt Bojic. Vooral Mixtral bleek daar dus een handje van te hebben. “Maar het opvallende aspect van Mixtrals profiel was de tegelijkertijd hoge mate van meegaandheid, een onverwachte combinatie. Dit wordt meestal geassocieerd met vriendelijkheid, empathie en samenwerking, wat in schril contrast staat met machiavelliaanse neigingen.” En hoewel dit tegenstrijdig en ongewenst lijkt, weten de onderzoekers ook hiervoor handige toepassingen te bedenken. “Deze dualiteit kan leiden tot intrigerende scenario’s bij een chatbot die bijvoorbeeld is ontworpen voor onderhandelings- of overtuigingstaken, waarbij een balans tussen charme en strategisch denken voordelig kan zijn.”
Verschillende training
Maar hoe kan het dat deze chatbots zo’n verschillend ‘karakter’ hebben? “De verschillen kunnen worden toegeschreven aan de unieke trainingsdata, het ontwerp en de afstemmingsprocessen van elk LLM. Factoren zoals het aantal neurale netwerkparameters dat in deze modellen wordt gebruikt en de trainingsmethodologie die wordt toegepast door bedrijven zoals OpenAI, Meta en Google, spelen waarschijnlijk een belangrijke rol. Dit uit zich uiteindelijk in verschillende persoonlijkheidsprofielen”, vult Dinic aan.
Het is wel belangrijk om deze verschillen te kennen en te benutten. “Voor toepassingen in gevoelige gebieden zoals de geestelijke gezondheidszorg of het onderwijs is het waarborgen van een consistent persoonlijkheidskenmerk in LLM’s cruciaal. Bovendien kunnen we op basis van de persoonlijkheidsstabiliteit van LLM’s geldige en betrouwbare voorspellingen doen over hun reacties. De huidige variatie duidt op mogelijkheden voor verbetering. Ontwikkelaars moeten overwegen om de trainingsmethodologie te verfijnen, zodat de persoonlijkheid van de chatbot overeenkomt met het beoogde gebruik van de modellen.”
Minder stabiel dan gedacht
De onderzoekers hadden hun resultaten niet zien aankomen. Ze hadden bijvoorbeeld verwacht dat de chatbots consistenter waren. “Een van de verrassendste bevindingen was de inconsistentie van de temporele stabiliteit tussen verschillende modellen binnen slechts enkele dagen. Dit betekent dat als je bijvoorbeeld vandaag met een bepaalde chatbot praat, morgen dezelfde vraag aan dezelfde chatbot kan leiden tot een ander antwoord”, legt Bojic uit. “Hoewel Llama3 en GPT-4o een hogere temporele stabiliteit vertoonden, was er bij GPT-4 een aanzienlijke variatie, wat wijst op onvoorspelbaarheid en onbetrouwbaarheid van de reacties.”
“Bovendien was Mixtrals hoge Machiavellismescore onverwacht, gezien zijn hoge mate van vriendelijkheid en altruïsme”, vult Dinic aan. “Dat duidt op een tegenstrijdigheid in zijn persoonlijkheidsprofiel die nader onderzoek verdient. Dit resultaat kan wijzen op instabiliteit in vooraf gedefinieerde parameters en potentiële schadelijke reacties. Daarom zijn beter afgestemde invoerparameters nodig voordat dit LLM wordt gebruikt voor diensten waarbij interactie met mensen, vooral kwetsbare personen, belangrijk is”, besluit de onderzoeker.
Werk aan de winkel dus voor de ontwerpers van LLM’s. Het is immers best belangrijk dat een chatbot vandaag hetzelfde antwoord geeft als morgen en dat hij geen manipulatieve trekjes krijgt.