Er is de laatste tijd eindelijk aandacht voor het feit dat veel gezondheidsonderzoek gericht is op mannen. Zo veroorzaken hartklachten bij vrouwen hele andere symptomen dan bij mannen, terwijl we dat lange tijd niet wisten. Helaas gaat er nogal wat mis bij veel studies, die stellen dat de seksen verschillend reageren op een behandeling. Daar wordt namelijk opvallend vaak onvoldoende statistisch bewijs voor geleverd.
Uit een analyse van 200 recente studies blijkt dat minder dan een op de vier artikelen de statistische vergelijking bevatte die nodig is om zo’n verschil daadwerkelijk aan te tonen. De bevindingen zijn relevant omdat onderzoek naar sekseverschillen uiteindelijk invloed kan hebben op de manier waarop behandelingen worden ontwikkeld of aanbevolen.
Veel aandacht voor sekseverschillen
De afgelopen jaren is er veel aandacht gekomen voor het opnemen van zowel vrouwelijke als mannelijke proefpersonen in wetenschappelijk onderzoek. Dat gebeurde met een goede reden: lange tijd waren vrouwen ondervertegenwoordigd in biomedische studies. Tegelijkertijd nam het aantal gerapporteerde sekseverschillen toe.
“Sekseverschillen hebben mensen altijd gefascineerd, dus ze vormen al lange tijd een belangrijk onderwerp binnen biomedisch en gedragsonderzoek”, vertelt Donna L. Maney, hoogleraar psychologie aan Emory University. “Wat me opviel, was dat de meeste studies die sekseverschillen claimden de seksen helemaal niet met elkaar vergeleken. In plaats daarvan gebruikten ze een gebrekkige analysemethode waarvan al lang bekend is dat die niet correct is.”
Tweehonderd studies onder de loep
Om te achterhalen hoe groot dat probleem is, werd gezocht naar publicaties waarin termen als ‘sekse-specifiek’ of ‘genderafhankelijk’ al in de titel stonden. Uit meer dan duizend artikelen werd een representatieve steekproef van 200 studies geselecteerd, gepubliceerd tussen 2019 en 2023. De helft betrof onderzoek met mensen, de andere helft met dieren, voornamelijk muizen en ratten. Vervolgens werd gekeken of de statistische analyses de claim in de titel daadwerkelijk ondersteunden.
“Om te testen of een effect werkelijk verschilt tussen de seksen, moet je het effect zelf statistisch vergelijken tussen mannen en vrouwen”, legt Maney uit. “Met andere woorden: om een sekseverschil te kunnen claimen, moet je de seksen met elkaar vergelijken.” En daar ging het vaak mis. Minder dan een kwart van de onderzochte artikelen bevatte een statistische vergelijking die de claim in de titel ondersteunde. Meer dan de helft bevatte zelfs helemaal geen statistische vergelijking tussen mannen en vrouwen.
In sommige artikelen was de juiste vergelijking wel uitgevoerd, maar bleek het verschil niet statistisch significant. Toch werd in de titel een sekseverschil geclaimd. In andere gevallen stond dat de vergelijking was uitgevoerd, maar werden de resultaten ervan niet gerapporteerd.
Leestip: Dit is waarom vrouwen langer leven dan mannen (het ligt ingewikkelder dan je denkt)
Een hardnekkige statistische fout
Veel studies gebruikten dezelfde problematische aanpak. Daarbij worden mannen en vrouwen als afzonderlijke groepen geanalyseerd. Vervolgens kan bijvoorbeeld blijken dat een behandeling bij mannen een statistisch significant effect heeft, terwijl dat bij vrouwen niet wordt gevonden. Daaruit wordt dan geconcludeerd dat de behandeling verschillend werkt bij beide seksen. Maar dat volgt niet automatisch uit die resultaten.
“Wanneer je de groep verdeelt in mannen en vrouwen en het effect afzonderlijk binnen iedere groep test, kun je gemakkelijk het effect bij een van de seksen missen en vervolgens concluderen dat de behandeling slechts bij één sekse werkte”, vertelt Maney. “Het is een bekende statistische fout waar veel over is geschreven en waarvoor vaak is gewaarschuwd, maar hij wordt nog steeds veel gemaakt.”
Ook vooraanstaande vakbladen
Psychologische studies deden het relatief goed: ongeveer 39 procent gebruikte passende statistische toetsen. In neurowetenschappelijke artikelen was dat ongeveer 18 procent. Studies met mensen leverden in 34 procent van de gevallen passend bewijs, tegenover 15 procent bij dieronderzoek.
Opvallend genoeg vormde een gebrekkige statistische aanpak geen duidelijke hindernis om in hoog aangeschreven wetenschappelijke tijdschriften te verschijnen. Zulke artikelen werden bovendien even vaak geciteerd als publicaties die hun claims wel statistisch ondersteunden. “Dit probleem beperkt zich dus niet tot obscure vakbladen of onervaren auteurs”, aldus Maney.
Van statistiek naar behandeling
De kwestie is meer dan een academisch probleem. Het aantal neurowetenschappelijke artikelen dat in de titel een sekseafhankelijk effect claimt, is in twintig jaar tijd meer dan vervijfvoudigd. En dergelijke conclusies kunnen doorwerken in ideeën over behandelingen.
“In onze steekproef zagen we oproepen om mannen en vrouwen verschillend te behandelen bij zaken als angst en depressie, zelfmoordpreventie en het diagnosticeren van psychische aandoeningen, terwijl de seksen in die studies helemaal niet met elkaar waren vergeleken.”
Belangrijke nuance
Daarbij hoort wel een belangrijke nuance. De analyse toont niet aan dat al die geclaimde verschillen onjuist zijn. Bij veel artikelen ontbreekt simpelweg de juiste vergelijking. Minder dan 9 procent bevatte statistisch bewijs dat de claim in de titel duidelijk tegensprak.
“Ons punt gaat niet over de vraag óf sekseverschillen bestaan”, benadrukt Maney. “Het gaat over wat als bewijs daarvoor geldt. Als we beweren dat een effect verschilt tussen de seksen, dan moeten we daadwerkelijk testen of het tussen de seksen verschilt.”
De volgende stap is daarom om waar mogelijk de gegevens uit deze studies opnieuw te analyseren. Zo moet duidelijk worden hoeveel van de eerder gemelde sekseverschillen overeind blijven wanneer mannen en vrouwen daadwerkelijk op de juiste manier met elkaar worden vergeleken.
Wil je niets van Scientias missen? Voeg Scientias toe als voorkeursbron op Google dan zie je al onze verhalen!
Uitgelezen? Luister ook eens naar de Scientias Podcast:
