ChatGPT is net een middelbare scholier: ook hij snapt in eerste instantie weinig van een oud wiskundeprobleem. En ook hij komt met een beetje improviseren en trial en error een heel eind, blijkt uit nieuw Brits onderzoek.
Maar de chatbot is niet zomaar dom aan het stuntelen. Hij wist de Cambridge-onderzoekers al snel te verrassen met zijn improvisatiestijl. Het experiment draait om het klassieke vraagstuk van het “verdubbelen van het vierkant”, beschreven door Plato rond 385 voor Christus. In die dialoog laat Socrates een jongen nadenken over hoe je de oppervlakte van een vierkant verdubbelt. Eerst denkt de jongen dat je simpelweg de zijden moet verdubbelen, maar Socrates leidt hem naar de juiste oplossing: gebruik de diagonaal van het oorspronkelijke vierkant als nieuwe zijde.
Voor wiskundeleraren is dit een speciaal probleem, omdat het misschien wel het eerste vastgelegde experiment is in de geschiedenis van het rekenonderwijs. Er is al eeuwen discussie over de vraag: zit kennis al latent in ons hoofd opgeslagen of moeten we het zelf actief vergaren via ervaringen en ontmoetingen?
ChatGPT’s aanpak
De onderzoekers vroegen ChatGPT-4 het raadsel van Plato op te lossen. Ze verwachtten dat de chatbot direct Plato’s bekende antwoord zou reproduceren. Maar tot hun verbazing gingen de gedachtenkronkels van de AI een heel andere kant op. “Wanneer we voor een nieuw probleem staan, is onze eerste neiging vaak om dingen uit te proberen op basis van eerdere ervaring”, zegt onderzoeker Nadav Marco. “In ons experiment leek ChatGPT iets vergelijkbaars te doen. Als een leerling kwam het zelf met hypotheses en oplossingen.”
In plaats van naar geometrie te grijpen, koos ChatGPT voor algebra. Dat bestond in Plato’s tijd nog helemaal niet. Toen de onderzoekers het AI-model richting de foutieve denkwijze van de jongen lieten denken, hield de chatbot toch koppig vast aan zijn algebraïsche redeneringen. Pas toen de onderzoekers hun teleurstelling uitten dat het geen “elegant en exact” antwoord kon geven, schakelde ChatGPT alsnog over naar de geometrische oplossing.
Hardnekkige voorkeur voor algebra
Ook bij varianten van de puzzel, zoals het verdubbelen van een rechthoek of een driehoek, koos de chatbot in eerste instantie voor een algebraïsche aanpak. Toen het bij de rechthoek zelfs foutief beweerde dat een geometrische oplossing onmogelijk was, zagen de onderzoekers iets opvallends. “De kans dat dit verkeerde antwoord rechtstreeks uit de kennisbasis van het model kwam, is verwaarloosbaar”, legt Marco uit. “Het leek zijn reacties ter plekke te improviseren, beïnvloed door ons eerdere gesprek over het vierkant.” Bij de driehoek hield de AI wederom eerst vast aan algebra, maar vond het na wat aanmoediging van de onderzoekers uiteindelijk toch de juiste geometrische aanpak.
Digitale leerling
Het team wijst erop dat ChatGPT geen mens is en niet ‘denkt’ zoals wij dat doen, maar ze noemen zijn gedrag toch ‘leerlingachtig’. “Als het puur informatie uit zijn geheugen had opgehaald, zou het vrijwel zeker meteen naar de klassieke oplossing met de diagonaal hebben verwezen. In plaats daarvan leek het zijn eigen route te nemen”, vertelt hoofdonderzoeker Andreas Stylianides. Dit doet denken aan het onderwijskundige concept van de ‘zone van naaste ontwikkeling’, een concept van Lev Vygotsky dat het verschil beschrijft tussen wat een kind of leerling zelfstandig kan en wat het kan bereiken met hulp of begeleiding van een meer bekwame persoon, zoals een volwassene of oudere medeleerling. Misschien, zo speculeren de onderzoekers, heeft AI een soortgelijke zone.
De conclusie die het Cambridge-team trekt is tweeledig. Enerzijds laat het experiment zien dat ChatGPT niet altijd betrouwbaar is in de wiskundige bewijsvoering. Anderzijds is dat juist een kans om verder te komen. “In plaats van te vragen: geef me het antwoord, kun je ChatGPT beter vragen: laten we dit probleem samen verkennen”, besluit Marco.
Of zoals Stylianides samenvat: “Studenten kunnen niet zomaar aannemen dat de bewijzen die ChatGPT aandraagt honderd procent kloppen. Het kritisch begrijpen en evalueren van AI-bewijzen is vanaf nu een essentiële vaardigheid in het wiskundeonderwijs.”
Ook elke dag vers het laatste wetenschapsnieuws in je inbox? Of elke week?
Schrijf je hier in voor de nieuwsbrief!
