Wie denkt dat we alleen met onze oren luisteren, heeft het mis. Onze ogen ‘luisteren’ ook mee. En wetenschappers van de universiteit van Utah hebben nu achterhaald hoe dat kan.
De onderzoekers verzamelden vier proefpersonen met epilepsie. Hun brein werd geopend, omdat hun epilepsie behandeld moest worden (voor mensen met een sterke maag, zie de afbeelding hieronder). De onderzoekers combineerden de behandeling met een experiment waarbij de elektrische signalen in het brein gemeten werden.
Experiment
De proefpersonen kregen een filmpje te zien en te horen. In het filmpje zagen ze een mond die ‘ba’, ‘va’, ‘tha’ en ‘ga’ zei. Het filmpje was er in verschillende varianten. Soms kwam de klank die de persoon in het filmpje uitsprak overeen met de beelden. In dat geval zagen de proefpersonen de lippen ‘ba’ zeggen en hoorden ze ook ‘ba’. De onderzoekers vroegen de proefpersonen wat ze gehoord hadden en de proefpersonen zeiden ‘ba’. Soms kwamen de geluiden en beelden niet overeen. Dan liet het filmpje bijvoorbeeld ‘ga’ zien, maar was er een heel andere klank – ‘tha’ – te horen. Nu gaven de proefpersonen aan ‘tha’ gehoord te hebben. Soms was het verschil iets minder groot en zagen de proefpersonen ‘ba’, maar hoorden ze ‘va’. Nu zeiden de proefpersonen ‘ba’ gehoord te hebben, terwijl ze ‘va’ hoorden en ‘ba’ zagen. Dat laatste noemen we het McGurk-effect. Onderzoeker Harry McGurk ontdekte enkele decennia geleden dat mensen hun ogen en oren gebruiken als ze horen en wanneer geluid en zicht net niet overeenkomt, het zicht – en dus niet wat de oren waarnemen – doorslaggevend is.
Zoals gezegd is het McGurk-effect al een tijdje bekend. Maar onduidelijk was waar dit effect nu precies vandaan komt. Op basis van het experiment – waarbij de hersenactiviteit bestudeerd werd – denken onderzoekers daar nu iets over te kunnen zeggen. Wanneer de signalen die proefpersonen zagen en hoorden, overeenkwamen of helemaal niet overeenkwamen, nam de hersenactiviteit op basis van wat mensen hoorden, toe. Waren er kleine verschillen tussen wat mensen zagen en hoorden, dan nam de hersenactiviteit toe op basis van wat mensen zagen. “We tonen aan dat signalen in het brein die aangedreven worden door geluid overstemd worden door visuele aanwijzingen,” vertelt onderzoeker Bradley Greger. “Je brein negeert wat er in het oor gebeurt en gaat af op wat er volgens je ogen gaande is.”
Subjectief
Het onderzoek bewijst maar weer eens dat onze kijk op de wereld allesbehalve objectief is. “We ontdekten dat het zicht invloed heeft op het deel van ons brein waarmee we horen en dat verandert onze perceptie van de werkelijkheid en je kunt die illusie niet uitschakelen,” concludeert onderzoeker Elliot Smith.
Het onderzoek is belangrijk. Het kan ons niet alleen meer vertellen over hoe een kind talen leert (door af te gaan op zicht en gehoor), maar kan wetenschappers ook helpen om betere spraakherkenningsoftware te ontwikkelen die niet alleen afgaat op geluiden, maar ook op wat de software ‘ziet’.
