Onderzoekers hebben een slim algoritme ontwikkeld dat een bekend lied van de Engelse rockband puur uit hersengolven kan reconstrueren. En dat is veelbelovend voor mensen die moeite hebben met communiceren.
Terwijl de akkoorden van Pink Floyds ‘Another Brick in the Wall, Part 1’ de operatiekamer vulden, legden neurowetenschappers met behulp van elektroden de hersenactiviteit van de patiënten vast. Het doel? De onderzoekers wilden weten of ze door middel van de opgenomen hersenactiviteit konden reconstrueren wat de betreffende patiënt op de operatietafel hoorde. Nu, meer dan tien jaar en grondige analyses later, is het antwoord duidelijk ja.
Pink Floyd
De onderzoekers gebruikten maar liefst 2.6668 elektroden die waren bevestigd op de hersenen van 29 patiënten die naar de klassieker van Pink Floyd luisterden. Vervolgens gebruikten ze kunstmatige intelligentie om de hersenactiviteit te decoderen en vervolgens een reproductie te maken. De zin ‘all in all, it’s just another brick in the wall’ uit het nummer van Pink Floyd komt duidelijk herkenbaar in de reconstructie naar voren. De studie toont aan dat het opnemen en vertalen van hersengolven om zowel de muzikale elementen van spraak als de lettergrepen vast te leggen, haalbaar is. Het is voor het eerst dat onderzoekers erin slagen om een herkenbaar lied enkel en alleen uit hersenactiviteit te reconstrueren.
De betreffende zin uit het Pink Floyd-nummer ‘Another Brick in the Wall, Part 1’. De zin werd gereconstrueerd door de elektrische activiteit in de hersenen van verschillende patiënten te decoderen. Audio: Ludovic Bellier and Robert Knight, UC Berkeley
Muziek
“Het is een prachtig resultaat,” zegt onderzoeker Robert Knight. “Muziek heeft voor mij een emotionele inhoud. Op dit moment gaan de ontwikkelingen op het gebied van ‘brain-computer interfaces’ hard. Hierdoor ontstaat er een manier om muziek toe te voegen aan toekomstige hersenimplantaten voor mensen die dit nodig hebben. Denk aan mensen met ALS of een andere neurologische of ontwikkelingsstoornis, waardoor iemand moeite heeft met praten. Het geeft ons de mogelijkheid om niet alleen de taalinhoud te decoderen, maar ook een deel van de prosodische inhoud (ritme, klemtoon, accent en intonatie van de stem bij het uitspreken van een zin, red.).”
Stephen Hawking
Al bestaande brain-computer interfaces die worden gebruikt om mensen te helpen communiceren wanneer ze niet kunnen spreken, kunnen al wel woorden decoderen. Maar de geproduceerde zinnen klinken robotachtig, die lijken op hoe Stephen Hawking klonk toen hij een spraakcomputer gebruikte. “Op dit moment is de technologie meer een toetsenbord voor de geest,” zegt onderzoeker Ludovic Bellier. “Je kunt je gedachten niet lezen van een toetsenbord, je moet op de knoppen drukken. En het produceert een soort robotstem, er is weinig expressieve vrijheid.”
Muzikale toon
Hoewel er tot nu toe al wel algoritmen zijn ingezet om spraak uit hersenscans te decoderen, was dit voor muziek (dat elementen zoals toonhoogte, melodie, harmonie en ritme omvat) nog niet gelukt. Nu laten de onderzoekers zien dat het wel degelijk mogelijk is om dit te realiseren. Dit betekent dat nagebootste spraak in de toekomst een ‘melodische’ toon kan krijgen. “Dit is veelbelovend,” zegt Bellier. “Het zal een kleurtje geven aan wat er gedecodeerd wordt.”
Toekomst
Toch is dit voor nu nog toekomstmuziek. Op dit moment moeten de elektroden namelijk nog rechtstreeks op het brein worden bevestigd. Maar de onderzoekers hopen dat het ooit mogelijk gaat worden om de hersenactiviteit te meten met behulp van gevoelige elektroden die enkel op de hoofdhuid geplakt hoeven te worden. Zulke elektroden zijn er al wel, maar kunnen momenteel slechts één enkele letter uit een reeks letters ontcijferen, wat minstens 20 seconden duurt. Hierdoor gaat communicatie moeizaam en langzaam. “Niet-invasieve technieken zijn vandaag de dag nog niet nauwkeurig genoeg,” zegt Bellier. “Laten we voor patiënten hopen dat we in de toekomst met alleen elektroden die op de schedel worden geplaatst, hersengolven kunnen lezen in diepere delen van de hersenen. Op dit moment zijn we daar helaas nog niet.”
Nieuw hersengebied
Ondanks dat, is de studie toch een geweldige stap voorwaarts. Bovendien waren de onderzoekers ook nog eens in staat om nieuwe hersengebieden te lokaliseren die betrokken zij bij ritme. Daarnaast ontdekten ze dat sommige delen van de auditieve cortex – het deel van de temporale kwab waar geluidstrillingen worden verwerkt – geactiveerd worden wanneer iemand begint te zingen, terwijl andere gebieden juist reageren op aanhoudend gezang. Bovendien blijkt dat de rechterkant van de hersenen beter afgestemd is op muziek dan de linkerkant. “Taal zit meer in de linkerhersenhelft,” zegt Knight. “Muziek is meer verspreid, maar heeft wel een voorkeur voor de rechterhersenhelft.”
Al met al hebben de onderzoekers aangetoond dat de hersenactiviteit dus kan verraden naar welke muziek iemand luistert. En de implicaties daarvan reiken verder dan je wellicht in eerste instantie vermoedde. Het is met name geweldig nieuws voor mensen die door een beroerte of andere aandoening niet meer op een normale manier kunnen communiceren. Mogelijk kunnen zij in de toekomst ‘melodischer’ praten, waardoor huidige robotachtige spraakcomputers vervangen kunnen worden door exemplaren die beter de bedoelde toon en intonatie van een persoon reveleren. Vervolgonderzoek is al aan de gang. We zullen zien wat de toekomst brengt.
