We gebruiken chatbots tegenwoordig vrijwel dagelijks voor allerhande dingen: van reistips tot relatietherapie en van rapporten tot rekensommen. Helaas vertrouwen we ChatGPT en aanverwanten iets te veel en dat komt omdat ze het zo overtuigend brengen.
We beschouwen AI-systemen consequent als zelfverzekerder in hun antwoorden dan mensen, zelfs als de reacties exact hetzelfde zijn als die van mensen, blijkt uit een nieuwe studie van onder meer University College London (UCL). “Naarmate AI-systemen beter worden, vertrouwen mensen er in toenemende mate op voor advies, bijvoorbeeld over welke producten ze moeten kopen of welke content ze moeten consumeren”, begint hoofonderzoeker Clara Colombatto.
“Dat weerspiegelt iets wat we voortdurend doen in interacties met andere mensen. We vragen immers vaak advies aan anderen. Toch is er een belangrijk verschil tussen advies aannemen van mensen en van AI-systemen: als mensen advies geven, laten ze vaak ook merken hoe zeker ze zijn van wat ze zeggen en die mate van zekerheid beïnvloedt vervolgens hoeveel vertrouwen we hebben in dat advies en in hoeverre we erop afgaan.”
Alleen antwoord
In tegenstelling tot mensen zijn de meeste bestaande AI-systemen, waaronder de modellen achter ChatGPT en Gemini, ontworpen om enkel antwoord te geven op vragen, zonder expliciet aan te geven hoe zeker ze van die antwoorden zijn.
“We wilden begrijpen of mensen van nature vertrouwen toeschrijven aan zowel mensen als AI-systemen, zelfs als dat niet rechtstreeks wordt gecommuniceerd en welke factoren die inschattingen beïnvloeden”, legde Colombatto uit. “Om te begrijpen hoe mensen vertrouwen toeschrijven aan anderen, ontwierpen we een taak waarbij deelnemers observeerden hoe mensen of AI-systemen beslissingen namen. Vervolgens rapporteerden zij hoe zeker zij dachten dat de mens of AI van elke keuze was.”
Leestip: Chatbots ontsporen door feedbackloop: is dit dé oplossing voor AI-kannibalisme?
Interessant genoeg merkten de onderzoekers dat deelnemers mens of AI als zelfverzekerder beschouwden als ze snel antwoord gaven of als een beslissing voor hen eenvoudiger leek te zijn.
Illusie van zelfvertrouwen
“Belangrijk is ook dat we ontdekten dat mensen meer vertrouwen toeschreven aan agents waarvan ze dachten dat die accurater of capabeler waren, zelfs als die overtuiging feitelijk niet gerechtvaardigd was”, zegt Colombatto. “Dat is vooral belangrijk in de context van AI, omdat mensen soms aannemen dat AI-systemen beter zijn dan mensen in bepaalde taken en daardoor concluderen dat de AI ook meer vertrouwen heeft in zijn antwoorden, ook als dat niet zo is. Zo ontstaat een ‘illusie van zelfvertrouwen’ bij AI.”
Over het geheel genomen suggereren de resultaten van deze studie dat mensen niet expliciet hoeven te horen hoe zeker een AI is van een voorspelling om toch een inschatting van dat vertrouwen te maken. Het onderzoeksteam ontdekte dat deelnemers automatisch verschillende signalen gebruikten, zoals hoe snel een agent antwoordde of hoe capabel die leek, om diens mate van zekerheid af te leiden.
Misleidende signalen
“Cruciaal is dat deze signalen misleidend kunnen zijn: als mensen geloven dat een AI-systeem heel capabel is, kunnen ze ook aannemen dat die zeer zeker is van zijn zaak, zelfs als het systeem in die specifieke situatie helemaal niet betrouwbaar is”, besluit Colombatto. “Met andere woorden: de inschattingen van mensen worden gestuurd door hun, soms misplaatste, vooraf bestaande overtuigingen over AI, in plaats van door de daadwerkelijke prestaties van het systeem.”
Wil je niets van Scientias missen? Volg Scientias op Google Discover dan zie je al onze verhalen!
Uitgelezen? Luister ook eens naar de Scientias Podcast:
