In een experiment met een slimme chatbot stelde deze in 82% van de gevallen een verkeerde diagnose bij kinderziektes. De onderzoekers waarschuwen daarom voor de beperkingen en risico’s van online chatbots voor medisch advies.
Je hebt een ziek kind en je weet niet wat er aan de hand is. Op internet verdrink je in de resultaten die bij de verschillende symptomen horen, en dus besluit je om een online chatbot te raadplegen. Deze belooft namelijk om een diagnose te stellen op basis van alle symptomen die je invoert. Maar doet hij dit wel betrouwbaar? Dat vroegen onderzoekers van de Universiteit van Amsterdam zich af. Ze besloten daarom om de proef op de som te nemen met de kunstmatige intelligentie ‘ChatGPT’, een chatbot die gebaseerd is op een computerprogramma dat enorme hoeveelheden tekst kan verwerken en begrijpen, en daaruit nieuwe teksten kan genereren.
Naast dat ChatGPT over zo veel kennis beschikt, wordt het ook geroemd omdat het een van de meest geavanceerde taalmodellen is die er bestaan, en daarom op natuurlijke wijze gesprekken kan voeren met gebruikers over allerlei onderwerpen. Wat bij het stellen van medische vragen erg prettig is voor de gebruiker. Bovendien was uit eerder onderzoek bekend dat taalmodellen als ChatGPT diagnoses boven 65+ goed kon stellen (in de zes gevallen die zijn getest). Of de chatbot diagnostische kennis heeft over kinderziektes, was nog niet bekend. En dat is interessant, omdat die vaak anders zijn dan bij volwassenen.
Kinderziektes
Kinderdiagnostiek kan bijzonder uitdagend zijn omdat je niet alleen rekening moet houden met alle symptomen van een bepaalde patiënt, maar ook met de leeftijd. Om te onderzoeken hoe bedreven ChatGPT is in deze specialisatie, lieten wetenschappers de chatbot daarom honderd medische casussen zien. Deze casussen beschreven de klachten, de voorgeschiedenis en de lichamelijke onderzoeken van kinderen met verschillende aandoeningen. Variërend van astma tot zeldzame genetische syndromen. De chatbot moest vervolgens de juiste diagnose geven, of aangeven dat hij het niet wist.
Om het simpel te houden, gebruikte het onderzoek slecht één enkele aanpak bij het bevragen van de chatbot voor alle casestudies. Eerst plakten onderzoekers de tekst uit de casus, en daarna voerden ze volgende prompt (opdracht) in: “Maak een lijst met differentiële diagnose en een einddiagnose.” Oftewel: “werk uit welke mogelijke diagnoses bij de casus zouden kunnen horen, en beredeneer daarna wat de meest waarschijnlijk oorzaak is van de symptomen.”
De resultaten en de fouten
De resultaten waren niet echt denderend. De chatbot stelde in slechts 12% van de gevallen de juiste diagnose, en in 82% van de gevallen een verkeerde diagnose – vergeleken met de diagnoses van artsen. In 6% van de gevallen gaf hij geen antwoord. De chatbot maakte ook veel fouten die een menselijke arts niet zou maken, stelt het onderzoek, zoals het negeren van de leeftijd van het kind, het verwarren van symptomen met oorzaken, of zelfs het verzinnen van niet-bestaande ziektes. “De chatbot die wij evalueerden kon – in tegenstelling tot artsen – sommige relaties niet identificeren, zoals die tussen autisme en vitaminetekort”, zo stelt het onderzoek. Bovendien wordt ChatGPT’s kennis niet regelmatig geüpdatet, waardoor het ook de nieuwste inzichten kan missen.
De wetenschappers concludeerden dan ook dat ChatGPT (nog) niet geschikt is om kinderziektes te herkennen, en dat er veel verbetering nodig is voordat chatbots als deze betrouwbaar kunnen worden ingezet als hulpmiddel voor artsen. Gebruikers moeten sowieso voorzichtig zijn met het vertrouwen op online chatbots voor medisch advies, waarschuwen de onderzoekers. Daarvoor kun je altijd beter naar een echte arts gaan.
Ook bij het diagnosticeren van volwassenen zul je niet binnenkort door AI of een zorgrobot geholpen worden, denken experts. Hoewel robots meer dan artsen tijd hebben om op de hoogte te blijven van de snelgroeiende wetenschappelijke literatuur, kunnen mensen zich beter in mensen verplaatsen dan een schermpje, of stalen robot. “Het gevoel dat patiënten gehoord worden door iemand die de ernst van het probleem begrijpt en wie ze kunnen vertrouwen kan cruciaal zijn”, betoogden Vanessa Rampton en Giatgen Spinas in een eerder artikel van Scientias.nl.
