Het is ChatGPT gelukt om wetenschappelijke artikelen te schrijven die zo in een vakblad kunnen. Vormt de chatbot daarmee een bedreiging of een kans voor de wetenschap?
Sommige grote uitgevers van wetenschappelijke tijdschriften hebben hun auteurs verboden om ChatGPT te gebruiken. Ze zijn bang dat er daardoor inaccurate of geplagieerde tekst de academische literatuur binnendringt. De hoofdredacteur van Science, een van de belangrijkste wetenschappelijke tijdschriften ter wereld, heeft zelfs alle gebruik van ChatGPT verboden in ingezonden papers. Maar niet iedereen denkt er zo over. Verschillende onderzoekers hebben de geavanceerde chatbot al als coauteur opgevoerd bij hun studies.
Publicatiewaardig
Dat is niet zo gek, aangezien nieuw onderzoek uitwijst dat ChatGPT nu al goed genoeg werkt om een paper over financieel onderzoek te schrijven die geaccepteerd wordt door een academisch vakblad, in dit geval Finance Research Letters. De onderzoekers geven toe dat de bot op sommige vlakken beter presteerde dan op andere, maar dan kon de eigen expertise van de wetenschappers de beperkingen van het chatprogramma verhelpen, vonden ook de reviewers van het blad.
De onderzoekers stellen dan ook dat uitgevers en wetenschappers ChatGPT niet per se als een bedreiging moeten zien, maar eerder als een belangrijk hulpmiddel bij onderzoek, zie het als een goedkope elektronische assistent. “Onze gedachte was: als het zo eenvoudig is om goede resultaten te halen uit ChatGPT door het simpelweg te gebruiken, dan kunnen we misschien iets extra’s doen om deze goede resultaten te veranderen in geweldige”, leggen de onderzoekers de aanleiding van hun onderzoek uit.
Wat is ChatGPT?
De kunstmatige intelligentie, die is ontwikkeld door het bedrijf OpenAI, kan zelf teksten genereren op basis van ingevoerde informatie. De chatbot voert een dialoog met de gebruiker om diens vragen goed te kunnen beantwoorden en tot de juiste teksten te komen, die altijd uniek en goed geformuleerd zijn. De mogelijkheden zijn eindeloos: ChatGPT kan een nieuwsbericht schrijven, vertellen hoe je brood bakt, de kwantumfysica uitleggen en je opstel maken. Het is vrijwel onmogelijk om te achterhalen of je een tekst door ChatGPT hebt laten schrijven.
Beetje hulp
“We vroegen eerst ChatGPT om de vier standaardonderdelen van een onderzoek te genereren: het onderzoeksidee, de literatuurstudie, de dataset en suggesties voor testen en onderzoek. We specificeerden enkel het onderwerp en stelden dat de output goed genoeg moest zijn om in ‘een goed financieel wetenschappelijk tijdschrift’ te publiceren”, klinkt het verder. “Dit was versie een van hoe we ChatGPT gebruikten. Voor versie twee kopieerden we in de chatbot een kleine tweehonderd samenvattingen van relevante bestaande studies. We gaven daarna aan dat het programma deze mee moest nemen bij het ontwikkelen van de vier onderzoeksfases. Voor versie drie voegden we ‘domeinexpertise’ toe, oftewel input van academische onderzoekers. Daarvoor lazen we de antwoorden die het computerprogramma genereerde en kwamen met suggesties voor verbeteringen. Door dat te doen, integreerden we onze expertise met die van ChatGPT.”
Creatieve AI
Vervolgens vroegen de onderzoekers 32 reviewers om een van de versies die ChatGPT had gemaakt te beoordelen. Ze moesten aangeven of de studie begrijpelijk en correct was en of de bijdrage voldoende vernieuwend was om in een financieel vakblad te publiceren.
De onderzoekers én de reviewers waren onder de indruk: alle teksten waren het publiceren waard. ChatGPT is dus nu al in staat om academische onderzoeksontwerpen te ontwikkelen, die goed genoeg zijn. Dat doet niet alleen de vraag rijzen of kunstmatige intelligentie eenvoudig schrijfwerk kan verrichten, maar ook of creativiteit en eigendom van ideeën nog wel zoveel betekenis hebben, stellen de onderzoekers.
Niet overál goed in
Het onderzoek maakte ook duidelijk wat de kracht en de zwakte is van ChatGPT: het ene onderzoeksonderdeel werd beter beoordeeld dan het andere. Het onderzoeksidee en de dataset bleken heel goed. De literatuurstudies en de onderzoekssuggesties kregen een slechtere, maar nog steeds acceptabele beoordeling. “Ons vermoeden is dat ChatGPT vooral goed is in het verbinden van een set externe teksten (de essentie van een onderzoeksidee) of het selecteren van onderdelen van een makkelijk herkenbare tekst om die aan te passen, zoals de samenvatting van de data. Dit is een makkelijk te identificeren stuk tekst”, leggen de wetenschappers uit.
Een zwakte van de chatbot is de verwerking van complexere taken, als er bijvoorbeeld te veel stadia zijn in het onderzoeksproces. Literatuurstudie en tests vallen in deze categorie. ChatGPT is in sommige stappen wel goed, maar niet in allemaal en dat is wel opgepikt door de beoordelaars. “We waren echter in staat om deze beperkingen te verhelpen in versie drie, waarin we samenwerkten met ChatGPT om tot acceptabele resultaten te komen. Daarna werden alle onderdelen van de studie hoog beoordeeld door de reviewers. Academische onderzoekers zijn dus nog niet helemaal nutteloos geworden”, klinkt het.
Ethische bezwaren
Door een stroom aan fake nieuws, plagiaat en slecht onderzoek staat de integriteit van de wetenschapper steeds vaker onder druk. ChatGPT kán dit probleem erger maken, maar dat hoeft niet, benadrukken de onderzoekers. “Doordat de versie waarbij de onderzoeker samenwerkt met ChatGPT tot het beste resultaat leidt, tonen we aan dat de input van academici nog steeds vitaal is voor goed onderzoek.
We denken dan ook dat ChatGPT moet worden gezien als een hulpmiddel, niet als een bedreiging. Het kan vooral een uitkomst zijn voor onderzoekers die niet over voldoende financiële middelen beschikken om onderzoeksassistenten aan te nemen. ChatGPT kan die rol mogelijk vervullen.”
Het zomaar zonder meer verbieden van ChatGPT is dus geen goed idee. De bot zal alleen maar beter worden en kan de wetenschap juist van dienst zijn.
