Heeft iemand een tekst zelf geschreven of ChatGPT aan het werk gezet? AI-detectoren proberen dat te achterhalen door naar statistische patronen te kijken. Maar hoe betrouwbaar zijn die eigenlijk? Diederik legt uit hoe dat zit in deze video:
Taalmodellen zoals ChatGPT voorspellen steeds welk woord waarschijnlijk volgt. Na ‘ik aai een’ is ‘kat’ bijvoorbeeld veel waarschijnlijker dan ‘asfalt’. Daardoor zijn AI-teksten statistisch vaak voorspelbaarder dan teksten van mensen.
Die voorspelbaarheid wordt uitgedrukt in perplexity. Hoe lager de perplexity, hoe voorspelbaarder de tekst. Mensen schrijven vaak grilliger, maken fouten en bedenken halverwege een zin ineens iets anders. Maar ook een mens kan heel voorspelbaar schrijven. En je kunt AI natuurlijk vragen om wat vreemder te formuleren.
Typische AI-woorden
Er zijn ook woorden die taalmodellen opvallend vaak gebruiken. In Engelstalige wetenschappelijke publicaties nam tussen 2022 en 2024 bijvoorbeeld het gebruik van woorden als ‘delve’ en ‘underscore’ enorm toe.
Dat betekent niet dat iedere wetenschapper die zulke woorden gebruikt, ChatGPT heeft ingeschakeld. Maar bij miljoenen publicaties worden statistische verschuivingen zichtbaar.
AI-detectoren leveren dus geen sluitend bewijs, hooguit aanwijzingen. En ondertussen gebeurt er iets bijzonders: doordat AI bepaalde woorden en formuleringen populair maakt, verandert mogelijk ook ons eigen taalgebruik. En misschien uiteindelijk zelfs hoe we denken.
Uitgelezen? Luister ook eens naar de Scientias Podcast:


