Als je ChatGPT een vraag stelt, komt er een perfect geformuleerd antwoord uitgerold. Het klinkt overtuigend, maar het klopt niet altijd. Japanse onderzoekers zien paralellen met afasie, de taalstoornis waarbij alles goed klinkt maar vaak betekenisloos is.
Chatbots, gebaseerd op LLM’s (grote taalmodellen) lijken erg betrouwbaar, maar dat zijn ze niet altijd. Als de gebruiker niet voldoende kennis heeft over het onderwerp in kwestie, kan hij gemakkelijk de fout in gaan door aan te nemen dat de informatie juist is.
“Je kunt niet anders dan concluderen dat sommige AI-systemen duidelijk overkomen en toch vaak aanzienlijke fouten produceren”, zegt professor Takamitsu Watanabe van de Universiteit van Tokio. “Maar wat ons opviel was de gelijkenis tussen dit gedrag en dat van mensen met afasie van Wernicke. Daarbij spreken patiënten vloeiend maar zeggen ze niet altijd veel zinnigs. Dat bracht ons op de vraag of de interne mechanismen van deze AI-systemen vergelijkbaar zijn met die van het menselijk brein dat lijdt aan afasie, en zo ja, wat de implicaties daarvan zijn.”
Speciale techniek
Om dit idee te onderzoeken gebruikte zijn onderzoeksteam een zogenaamde energielandschapsanalyse, een techniek die oorspronkelijk werd ontwikkeld door natuurkundigen die energietoestanden in magnetisch metaal wilden visualiseren, maar die onlangs werd aangepast voor de neurowetenschappen. Ze onderzochten patronen in de hersenactiviteit in rust van mensen met verschillende soorten afasie en vergeleken die met interne gegevens van verschillende openbaar beschikbare LLM’s.
En wat bleek? Er waren enkele opvallende overeenkomsten. De manier waarop digitale informatie werd verplaatst en gemanipuleerd binnen deze AI-modellen kwam sterk overeen met de manier waarop sommige hersensignalen zich gedroegen in de hersenen van mensen met bepaalde vormen van afasie, waaronder afasie van Wernicke.
“In beide gevallen zit de dynamiek van de interne netwerkactiviteit vast in een of twee vrij diepe attractoren (netwerktoestanden) die enige flexibiliteit lijken te verliezen om naar andere toestanden te bewegen”, legt Watanabe uit aan Scientias.nl. Het netwerk blijft, zodra het begint na te denken, hangen in een vast patroon. De attractoren zijn stabiele toestanden waarin het systeem blijft ronddraaien, alsof het in een kuil zit waar het moeilijk uitkomt. “Dit kan erop wijzen dat als ze eenmaal begonnen zijn met het maken van een zin, ze waarschijnlijk zo’n zin zullen samenstellen zonder te verwijzen naar schijnbaar irrelevante informatie.” Want die past niet binnen het patroon waar de AI in zit. Die informatie is vaak verspreid over ondiepe attractoren, oftewel minder diepe kuilen waar het systeem minder makkelijk bij kan omdat het vastzit in die ene diepe kuil. “Daarom richten ze zich vaak op overduidelijk consistente woordreeksen, wat soms onjuiste en betekenisloze output oplevert”, aldus de wetenschapper. Het systeem is dan niet flexibel genoeg om bredere informatie erbij te betrekken.
Net als een rollende bal
De Japanner maakt nog de vergelijking met een bal. “Je kunt je het energielandschap voorstellen als een oppervlak met een bal erop. Als er een bocht is, kan de bal naar beneden rollen en tot stilstand komen, maar als de bochten ondiep zijn, kan de bal chaotisch doorrollen”, aldus Watanabe. “Bij afasie vertegenwoordigt de bal de toestand van de hersenen van de persoon. In LLM’s is de bal het voortdurende signaalpatroon in het model op basis van zijn instructies en interne dataset.”
Handige biomarkers
Voor de neurowetenschappen biedt het onderzoek een mogelijke nieuwe manier om aandoeningen zoals afasie te classificeren en te monitoren op basis van hersenactiviteit in plaats van alleen externe symptomen. Bij AI kan het ingenieurs helpen om de architectuur van AI-systemen van binnenuit te verbeteren. “Het is nog maar een optimistische opmerking, maar we vragen ons af of de indices op basis van de analyse een rol kunnen spelen als biomarker voor menselijke ziekten en gezondheidstoestanden”, vertelt de wetenschapper. “Dat wil zeggen dat we bijvoorbeeld in staat zijn om LLM’s op basis van de indices af te stemmen op indices die dichter bij gezonde menselijke hersenen liggen, gewoon door de indices te controleren. In feite kunnen we zonder dergelijke markers op basis van interne informatieverwerking de prestaties van AI’s alleen maar beoordelen via hun output, wat waarschijnlijk tijdrovend en te subjectief wordt. En in analogie met mensen is het bekend dat dergelijke evaluaties die alleen gebaseerd zijn op het gedrag en de subjectieve symptomen van patiënten niet altijd betrouwbaar zijn. Daarom zou de huidige aanpak met energielandschapsanalyse een nieuwe basis kunnen leggen voor het vaststellen van een ‘biomarker’ voor AI’s.”
Maar of dat gaat lukken, is nog maar de vraag. “In onze zoektocht vertoonden alle drie of vier LLM’s exacte gelijkenissen met receptieve afasie, wat erop kan wijzen dat dit probleem voortkomt uit hun fundamentele architectuur en moeilijk op te lossen is”, aldus Watanabe. “Van de andere kant kunnen we dit, zoals net gezegd, misschien oplossen door gebruik te maken van de op energielandschapsanalyse gebaseerde indexen als biomarkers voor LLM’s. Bij mensen toonde onze vorige studie aan dat dergelijke markers gecontroleerd kunnen worden door de activiteit van een specifiek knooppunt in het neurale netwerk te moduleren. We hopen dus optimistisch dat we dezelfde strategie kunnen gebruiken om LLM’s te veranderen.”
Geen hersenbeschadiging
Ondanks de overeenkomsten die de onderzoekers ontdekten, waarschuwen ze voor te veel aannames. “We zeggen niet dat chatbots hersenbeschadiging hebben”, zei Watanabe. “Maar het kan zijn dat ze vastzitten in een soort rigide intern patroon dat beperkt hoe flexibel ze kunnen putten uit opgeslagen kennis, net als bij afasie. Of toekomstige modellen deze beperking kunnen overwinnen valt nog te bezien, maar het begrijpen van deze interne parallellen kan ook de eerste stap zijn naar slimmere, meer betrouwbare AI.”
Ethische risico’s
Maar zijn er geen ethische of praktische risico’s aan het trekken van parallellen tussen AI en neurologische aandoeningen? “Dit is een heel belangrijk punt. En daarom hebben we zowel in de paper als in het persbericht benadrukt dat deze studie niet zegt dat receptieve afasie precies hetzelfde is als LLM”, klinkt het stellig. “Een van de mogelijke gevaarlijke gevolgen van naïeve identificaties van AI’s met neuropsychiatrische aandoeningen is bijvoorbeeld het neerkijken op zulke patiënten, alleen maar omdat hun hersendynamiek lijkt op die van AI en AI vaak vreemd gedrag vertoont. Zo’n houding kan leiden tot het ontmenselijken van patiënten met sommige neuropsychiatrische aandoeningen.”
De wetenschapper vertelt dat AI’s soms net zo behandelijk worden als mensen. “Maar naar mijn persoonlijke mening, in ieder geval op het gebied van neurowetenschappen en psychiatrie, denk ik dat we – inclusief de maatschappij – moeten onthouden dat LLM’s een soort model zijn en dat het feit dat er AI’s zijn die op een ziekte lijken dus niet gebruikt mag worden om iemand met die ziekte te pesten.”
