Hoeveel data een AI ook krijgt, voor bepaalde problemen zal je nooit een gepast antwoord krijgen. Dat blijkt zelfs een harde grens te zijn die je wiskundig kunt aantonen. Wat vooral nuttig is: diezelfde wiskunde laat ook zien wat AI wél kan.
AI-systemen (niet enkel taalmodellen!) worden steeds belangrijker. We gebruiken ze onder meer om het klimaat te begrijpen, de stromingen van lucht en water in kaart te brengen, onze hersenen te onderzoeken en om robots aan te sturen. Steeds vaker zijn zulke systemen zo complex dat we niet helemaal begrijpen wat er vanbinnen gebeurt. De vraag is dan ook hoe betrouwbaar sommige conclusies van AI-modellen zijn.
Om toch beter te begrijpen wat er gebeurt, gebruiken wetenschappers een wiskundige omweg die teruggaat tot de jaren dertig, zogenoemde Koopman-operatoren. Daarmee volgen ze niet rechtstreeks de warrige toestand van een systeem, maar enkele meetbare grootheden zoals temperatuur of snelheid, om te zien hoe die in de tijd veranderen. Ingewikkeld gedrag valt zo uiteen in eenvoudige bouwstenen die makkelijker te begrijpen zijn.
Spookresultaten
De gangbare methoden hebben echter een paar vervelende eigenschappen. Ze verzinnen soms zaken die er helemaal niet zijn. Onderzoekers noemen dit spookresultaten. Zelfs met perfecte data kunnen ze de mist ingaan. Erger nog: aan de uitkomst zie je vaak niet welke signalen echt zijn en welke verzonnen. Je krijgt dus een zelfverzekerd ogend antwoord dat gewoon fout kan zijn.
De auteurs van deze nieuwe studie hebben daarom “vijandige systemen” gebouwd. Dat zijn een soort valstrikken die er van buitenaf doodnormaal uitzien, maar elk algoritme laten stranden. Voor zulke systemen geldt een keiharde bovengrens: de kans dat je hun gedrag correct leert, is niet groter dan vijftig procent. Meer data verandert er niets aan.
Leestip: Wiskunde bewijst wat we stiekem al wisten: modetrends herhalen zich elke twintig jaar
Maar niet alles is verloren
Toch is er goed nieuws. Voor systemen die aan enkele redelijke voorwaarden voldoen, ontwikkelden de onderzoekers methoden die aantoonbaar wel naar het juiste antwoord toewerken. Belangrijker nog: deze methoden geven een foutmarge. Ze vertellen je hoe betrouwbaar elk resultaat is, waardoor je de echte signalen van de spookresultaten kunt scheiden. Zie het als een soort ingebouwde betrouwbaarheidsmeter.
De onderzoekers hebben dat alles in een soort moeilijkheidsladder gegoten. Sommige problemen zijn in één stap op te lossen, andere vergen twee of drie opeenvolgende verfijningen van de data. Weer andere zijn principieel onmogelijk. Door de ondergrens, wat kan nooit, en de bovengrens, wat lukt gegarandeerd, op elkaar te leggen, weet je voortaan precies of een algoritme een probleem aankan.
In de praktijk getest
De onderzoekers pasten hun methode toe op een dataset van satellietmetingen van het Arctische zee-ijs, die over een periode van veertig jaar zijn genomen. Daarin doken verborgen patronen op die met de klassieke aanpak schuilgingen tussen de spookresultaten, waaronder een trage, jarenlange afname die zich vooral rond de Barentszee en de Karazee concentreert.
Vervolgens maakten ze voorspellingen die verder reikten dan een maand. Die deden het beter dan gevestigde modellen. Een van de verslagen concurrenten was een geavanceerd AI-model dat speciaal voor de analyse van zee-ijs is gebouwd. Een ander was een groot voorspelmodel van het Europees weercentrum.
Het opvallendst is misschien wel hoeveel dit kost. De gevestigde modellen moeten soms een dag draaien en souperen grote hoeveelheden rekenkracht op. De nieuwe methode draait op een doodgewone laptop en is veel sneller.
Wat het betekent voor chatbots
Volgens de onderzoekers zou hun werk ook iets kunnen verklaren over de grillen van taalmodellen. Zulke modellen voorspellen telkens het volgende woord. De wiskunde achter ChatGPT lijkt achter de schermen op de systemen die het team heeft bestudeerd. De valstrikken die ze bouwden gedragen zich vaak chaotisch: een kleine verandering aan het begin leidt tot een totaal andere uitkomst. Dat lijkt op de manier waarop taalmodellen afhankelijk van de prompt informatie kunnen verzinnen of hallucineren.
Schrijf je in voor de nieuwsbrief! Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week? Schrijf je hier in voor de nieuwsbrief!
Uitgelezen? Luister ook eens naar de Scientias Podcast:
