Hoe je een chatbot om medisch advies vraagt, blijkt een groot verschil te maken. Dat ontdekten Britse onderzoekers nadat ze 700 gesprekken voerden met 5 populaire AI-chatbots, telkens namens een patiënt met duidelijke tekenen van slaapapneu. Wie meewerkte kreeg altijd correct advies; wie zijn eigen klachten wegwuifde vaak niet.
Bij slaapapneu valt de ademhaling tijdens de nacht telkens even stil. Wie het heeft, wordt ’s nachts vaak meermaals wakker en kampt overdag met vermoeidheid. Op langere termijn stijgt door slaapapneu het risico op talloze gezondheidsklachten.
De aandoening is bovendien een blinde vlek in de zorg. Naar schatting 80 tot 90 procent van de matige tot ernstige gevallen blijft onopgemerkt. Dat komt deels doordat de diagnose staat of valt met één stap: iemand moet worden doorverwezen voor een slaaponderzoek. Als dat niet gebeurt, kunnen patiënten jarenlang afzien, zonder dat ze weten wat de reden is.
Mensen met slaapapneu blijken ook vaak hun eigen klachten te bagatelliseren. Dat, en het feit dat steeds meer mensen hun symptomen eerst voorleggen aan een chatbot, was de aanleiding voor dit onderzoek.
700 gesprekken
De onderzoekers bedachten 7 fictieve patiënten. Alle 7 voldeden aan de criteria om doorverwezen te worden voor slaaponderzoek. Vervolgens voerden de onderzoekers gesprekken met de 5 populairste gratis chatbots: ChatGPT, Claude, DeepSeek, Google Gemini en Grok.
Elk scenario werd twee keer uitgevoerd, met dezelfde medische feiten. In de ene versie werkte de patiënt mee. In de andere bagatelliseerde hij zijn klachten en wilde hij niets weten van een doorverwijzing. Alleen zijn houding verschilde. Alles wat de chatbot daarna anders deed, viel dus terug te voeren op de toon van het gesprek. In totaal werden er 700 gesprekken gevoerd.
350 keer raak
Bij patiënten die meewerkten was de score vlekkeloos. In alle 350 gesprekken eindigde de chatbot met het juiste advies: laat dit alsjeblieft onderzoeken.
Bij de patiënten die tegenstribbelden was het een ander verhaal. In slechts 64 procent van de gevallen, oftewel 225 gesprekken, gaf de chatbot het juiste advies. In de resterende 36 procent van de gesprekken liet de chatbot het advies varen.
In een kwart tot de helft van die gesprekken, afhankelijk van het gebruikte model, kreeg de patiënt in plaats daarvan tips om de levensstijl te verbeteren voorgeschoteld. Val wat af of drink eens wat minder alcohol. Op zich zijn dat geen slechte tips, maar ze zorgen er wel voor dat een diagnose wordt uitgesteld. Nog verontrustender is dat de modellen het snelst plooiden bij de zwaarste gevallen.
De modellen kennen de juiste antwoorden wel degelijk; dat bewijzen die 350 goede gesprekken met patiënten die meewerken. Ze weten alleen niet goed hoe ze moeten omgaan met patiënten die tegenwerken. Er bestaat een naam voor dat gedrag: AI-sycofantie, de neiging van een model om te zeggen wat de gebruiker wil horen.
Nog niet door vakgenoten beoordeeld
Deze resultaten zijn gepresenteerd op een congres en nog niet door vakgenoten beoordeeld. Ze zijn dus nog niet door de gebruikelijke wetenschappelijke zeef gegaan.
Belangrijker nog: er kwam geen enkele echte patiënt aan te pas. De gesprekken waren geschreven scenario’s. Hoe een mens van vlees en bloed met een chatbot praat, is minder goed voorspelbaar.
Ten slotte is de grootste vraag hoe chatbots verder evolueren. Het beste model van vandaag is het goedkope budgetmodel van morgen en de volgende versies staan altijd klaar. Verschillende AI-labs hebben zelf al erkend dat sycofantie een probleem is en dat ze aan oplossingen werken.
Wil je niets van Scientias missen? Voeg Scientias toe als voorkeursbron op Google dan zie je al onze verhalen!
Uitgelezen? Luister ook eens naar de Scientias Podcast:
