Heb je een goed idee? Vertel het niet aan Chat-gee-pee-tee!
Hoe verstandig is het om ChatGPT te gebruiken voor een simpele vertaalklus? Komt je originaliteitsclaim in het geding zodra je ChatGPT gebruikt om iets te controleren? Eén van de voorwaarden voor auteursrechtelijke bescherming, of voor publicatie in een wetenschappelijk tijdschrift, is immers dat het werk origineel is, en persoonlijk. De large language models waarop tools als ChatGPT gebaseerd zijn gooien alles op een (eigen, onpersoonlijke) grote berg, voor later gebruik. Wat van jou kwam is dan niet meer als zodanig herkenbaar. Wat zijn de gevolgen?
Nieuw? Niet voor ChatGPT
Stel, je ontdekt een briljante nieuwe wiskundige stelling, en kunt die nog bewijzen ook. Je schrijft er enthousiast een wetenschappelijk artikel over. Omdat je verwacht dat het veel aandacht zal trekken, wil je dat de (Engelse) tekst perfect is. Je vraagt daarom, voordat je het artikel ter beoordeling opstuurt naar een toptijdschrift, aan ChatGPT om het Engels te verbeteren.
Dat gaat snel en werkt goed. Je stuurt vervolgens het artikel naar het beoogde tijdschrift en wacht ongeduldig af. De redactie van het tijdschrift stuurt jouw inzending naar twee reviewers. De eerste is onder de indruk van je resultaten, maar vraagt voor de zekerheid aan ChatGPT of jouw geweldige wiskundige stelling wel echt nieuw is. Het antwoord is “nee”, want ChatGPT heeft de stelling reeds gezien. Je artikel wordt afgewezen.
Stel nu dat je voorzichtiger was geweest en je artikel niet had voorgelegd aan ChatGPT, juist om het bovenstaande scenario te voorkomen. Dan had de eerste reviewer waarschijnlijk van ChatGPT te horen gekregen dat jouw nieuwe stelling inderdaad nieuw was. Als de tweede reviewer, ietsje later, dezelfde vraag over de originaliteit aan ChatGPT had gesteld, was er die tweede keer echter alsnog een negatief antwoord gekomen en zou jouw artikel alsnog afgewezen zijn. Je hebt het zelf niet in de hand.
ChatGPT is een stochastische papegaai
In deze fictieve gang van zaken onthoudt ChatGPT alles en doet het uitspraken – in dit geval over originaliteit – zonder bewijs of verwijzing. Inderdaad, ChatGPT absorbeert en reproduceert, zonder onderbouwing. Dit is een nieuw ‘kennis’-model, waarmee we als wetenschappers en maatschappij nog moeten leren omgaan. Het woord ‘kennis’ staat hier tussen aanhalingstekens, omdat ChatGPT een stochastische papegaai is, die statistische samenhangsels (correlaties) reproduceert, zonder inzicht in de onderliggende mechanismen (zoals causaliteit) en zonder onderbouwing of bewijsvoering.
De nieuwsbrief is exclusief toegankelijk voor medewerkers van onze partners.
De kritische lezer zal terecht opmerkingen dat ChatGPT de input van gebruikers helemaal niet gebruikt om zelf wijzer te worden – dat wil zeggen, om het eigen onderliggende large language model te trainen. Inderdaad, in een recente aanvulling op de gebruiksvoorwaarden van OpenAI (het bedrijf dat diensten zoals ChatGPT en DALL-E2 aanbiedt) staat: OpenAI does not use data submitted by customers via our API to train OpenAI models or improve OpenAI’s service offering.
Deze geruststelling lijkt ons echter geen solide basis voor zorgeloosheid ten aanzien van het bovenstaande scenario. De gebruiksvoorwaarden van OpenAI kunnen zomaar, eenzijdig, weer gewijzigd worden. Het is ook mogelijk dat een concurrent van OpenAI meteen soortgelijke dienst de input van eindgebruikers wel zal benutten voor trainingsdoeleinden.
Knowledge commons zónder onderbouwing of verwijzing
Er zijn stemmen die beweren dat systemen zoals ChatGPT de nieuwe knowledge commons bieden – weliswaar in private handen. Het zal volgens hen de plek zijn waar alle menselijke kennis verzameld wordt en waar originaliteit een achterhaald idee is. Gaan we terug naar de Middeleeuwse opvatting dat kennis van iedereen is en dat de individuele ontdekker er niet toe doet? Toen stond de oorspronkelijke auteur van een tekst vaak niet vast, waren teksten zelfs openbaar eigendom en kon iedereen zijn of haar eigen verbeteringen aanbrengen. Is het idee van een ‘bevroren’ tekst, in een bepaalde vorm, op een bepaald moment, met vastlegging van de auteur(s), inmiddels achterhaald?
De afgelopen decennia is enige ervaring met knowledge commons opgedaan. Wikipedia is er een voorbeeld van, maar dan wel een voorbeeld waarin onderbouwingen en verwijzingen worden gegeven en waarbij er geen sprake is van een monopolie. Ook bij open source software is er sprake van gezamenlijke bijdragen en kennisopbouw, maar daarbij blijven de individuele contributies herkenbaar.
ChatGPT levert geen wetenschappelijke kennis
Belangrijke eisen aan wetenschappelijk onderzoek zijn ‘integriteit’ en ‘reproduceerbaarheid’. Op beide punten faalt ChatGPT jammerlijk: de geproduceerde resultaten worden niet onderbouwd en zijn ook niet reproduceerbaar. In de Terms of Use staat zelfs expliciet: “Due to the nature of machine learning, Output may not be unique across users …” ChatGPT kan jouw wiskundige stelling de ene keer dus wel origineel noemen, en een andere keer niet.
Reageren op dit stuk middels een ingezonden bijdrage? Neem contact op met de redactie via redactie@scienceguide.nl.
Kortom, ChatGPT levert geen wetenschappelijke kennis. Het kan hooguit een richting geven om iets nader te onderzoeken en uit te werken, net zoals zoekresultaten een startpunt kunnen zijn voor wetenschappelijk onderzoek.
(Overigens had bovenstaande reviewer jouw artikel met de briljante wiskundige stelling helemaal niet af horen te wijzen, enkel op grond van de claim van ChatGPT dat de stelling al bekend was. De reviewer had zo’n beslissing immers moeten onderbouwen.)
