Ondanks de indrukwekkende prestaties van AI-modellen, benadrukt deze studie dat ze geen echt begrip van de wereld hebben.
Grote taalmodellen kunnen indrukwekkende prestaties leveren. Ze kunnen bijvoorbeeld poëzie schrijven of werkbare computerprogramma’s maken, terwijl ze eigenlijk getraind zijn om de volgende woorden in een tekst te voorspellen. Deze verbluffende vaardigheden kunnen de indruk wekken dat de modellen onbewust algemene waarheden over de wereld begrijpen. Maar een nieuwe studie laat zien dat dit niet per se het geval is.
Prangende vraag
Omdat kunstmatige intelligentie (AI) zulke interessante dingen met taal kan doen, hopen veel mensen dat dezelfde tools ook in andere wetenschappelijke gebieden ingezet kunnen worden. “Maar de vraag of deze AI-modellen daadwerkelijk een samenhangend wereldbeeld hebben, is cruciaal als we deze technieken willen gebruiken voor nieuwe ontdekkingen”, aldus onderzoeker Ashesh Rambachan.
Heeft AI een samenhangend wereldbeeld?
Daarom besloot hij dit vraagstuk samen met zijn collega’s te bestuderen. De onderzoekers concentreerden zich op een type generatief AI-model, de transformer, dat de basis vormt van LLM’s zoals GPT-4. Transformers worden getraind met enorme hoeveelheden taaldata om het volgende element in een reeks te voorspellen, zoals het volgende woord in een zin. Om te bepalen of AI echter ook een juist wereldbeeld heeft, is het volgens de onderzoekers niet voldoende om alleen de nauwkeurigheid van de voorspellingen te meten. Zo ontdekten ze bijvoorbeeld dat een transformer bijna altijd geldige zetten in een spelletje Connect 4 kan voorspellen, zonder de onderliggende regels te begrijpen. Daarom ontwikkelde het team nieuwe meetmethoden om het wereldbeeld van een transformer te testen.
DFA
De onderzoekers richtten zich bij hun evaluaties op een type probleem dat deterministic finite automaton (DFA) wordt genoemd. Een DFA is een wiskundig model dat wordt gebruikt om een bepaald type probleem of proces te beschrijven. Het bestaat uit een eindig aantal toestanden (of fasen) en regels die bepalen hoe je van de ene toestand naar de andere gaat. Denk bijvoorbeeld aan kruispunten die je moet passeren om een bestemming te bereiken, waarbij er duidelijke regels zijn die je moet volgen. De onderzoekers kozen het navigeren door de straten van New York als voorbeeld van zo’n DFA.
Navigeren door New York
De onderzoekers ontdekten dat het AI-model vrijwel perfecte routebeschrijvingen voor het rijden door New York kan geven, zonder dat het een interne kaart van de stad heeft. Hoewel het model goed in staat was om te navigeren, verslechterde de prestatie toen de onderzoekers enkele straten afsloten en omleidingen toevoegden. Dit zorgde ervoor dat alle navigatiemodellen faalden. “Ik was verbaasd over hoe snel de prestaties slechter werden zodra we een omleiding toevoegden”, zegt onderzoeker Keyon Vafa. “Toen we slechts 1 procent van de straten afsloten, daalde de nauwkeurigheid meteen van bijna 100 procent naar slechts 67 procent.”
Stadskaarten
Na verdere analyse ontdekten de onderzoekers dat de kaarten van New York die het model had gemaakt, veel straten bevatten die niet bestonden en door het raster kronkelden. De kaarten vertoonden vaak willekeurige luchtbruggen boven andere straten of meerdere straten die op onmogelijke manieren met elkaar verbonden waren, waardoor ver uit elkaar liggende kruispunten ineens met elkaar in verbinding stonden. Hierdoor leken de door het model gemaakte stadskaarten meer op een verzonnen versie van New York. “Dit kan grote gevolgen hebben voor generatieve AI-modellen die in de echte wereld worden gebruikt”, zo stellen de onderzoekers. “Een model dat goed presteert in één situatie, kan falen als de taak of de omgeving een beetje verandert.”
Geen echt begrip van de wereld
De studie benadrukt dat generatieve AI-modellen, ondanks hun indrukwekkende prestaties, geen echt begrip van de wereld hebben. Modellen zoals transformers kunnen nauwkeurige uitkomsten genereren, zoals routebeschrijvingen of geldige zetten in spellen, maar dit is gebaseerd op patronen en statistische voorspellingen, niet op een dieper begrip van de onderliggende regels en structuren van de wereld. Met andere woorden, ze kunnen verrassend goed presteren bij bepaalde taken zonder de onderliggende regels te begrijpen. Dit kan leiden tot goede prestaties in sommige gevallen, maar ook tot onverwachte mislukkingen wanneer de omstandigheden veranderen.
Voor toekomstige toepassingen, vooral in de wetenschap, is het cruciaal dat er AI-modellen ontwikkeld worden die daadwerkelijk samenhangende wereldmodellen leren, zodat ze ook in onvoorziene of complexe situaties betrouwbaar functioneren. In de toekomst willen de onderzoekers dan ook een breder scala aan problemen aanpakken, zoals problemen waarbij sommige regels slechts deels bekend zijn. Ook willen ze hun evaluatiemethoden toepassen op echte wetenschappelijke vraagstukken.
