Citatie-applicaties bedreigen de wetenschappelijke praktijk
De praktijk van het citeren is deel van het hart van de wetenschap. Deze praktijk, die afgelopen decennia nauwelijks van gedaante is veranderd, dreigt nu juist wel te veranderen – en niet ten goede, schrijven Serge Horbach, Freek Oude Maatman, Willem Halffman en Wytske Hepkema. Zij waarschuwen voor applicaties die automatisch citaties aanbevelen.
Zo’n applicatie verwerkt de tekst die de auteur schrijft en beveelt op basis van een lerend algoritme citaties aan van wetenschappelijke artikelen die de geschreven tekst onderbouwen. Dat kan een auteur veel tijd besparen; het bieden van een historische context van een begrip of argument vergt dan geen urenlange zoektocht in boekenkasten of online zoekmachines. Zelfs onderbouwing van een zelfbedacht argument kan met zo’n citatie-applicatie gemakkelijk worden gevonden.
Citatie-applicaties draaien de werkwijze om
Dat is echter precies één van de problemen met deze applicaties, schrijven de onderzoekers. Zij betogen dat deze applicaties bijdragen aan plichtmatig citeren, het versterken van biases, het verzwakken van het argumenterend gebruik van andere artikelen en het versterken van een scheve verdeling van academische beloning. Niet alleen de kwaliteit van het citeren, ook de kwaliteit van onderzoeksartikelen en de opbouw van wetenschappelijke literatuur op zich is daarmee bedreigd.
Het gebruik van handige applicaties is niet nieuw. Zo gebruiken veel wetenschappers reeds applicaties die op basis van ingevoerde zoektermen relevante literatuur kunnen aanbevelen. In dat geval worden deze artikelen tenminste verzameld met de intentie om gelezen te worden. Bij het gebruik van een citatie-applicatie gaat het louter om het vinden van een mogelijkheid tot citeren. Daarmee wordt een deel van het schrijven van een artikel effectief omgedraaid, laten de onderzoekers zien; een auteur begint de specifieke praktijk van citeren niet met een doorgronden van het te citeren artikel om (mede) op basis daarvan tot bijvoorbeeld een onderbouwde argumentatie te komen, eerst wordt de argumentatie uitgeschreven en vervolgens draagt de citatie-applicatie een mogelijke wetenschappelijke onderbouwing aan.
Ook zonder citatie-applicaties is het geen hosanna
Voordat ze uiteenzetten welke specifieke negatieve gevolgen van automatische citatie-applicaties moeten worden gevreesd, laten de onderzoekers zien dat ook de gangbare praktijk van citeren niet zo zuiver is als gewenst. Zo hebben auteurs in de regel te weinig tijd om elke gebruikte citatie zorgvuldig terug te voeren tot de wortel ervan. Hadden ze die tijd al, dan laat de eis van een maximaal aantal woorden in een artikel meestal geen ruimte om dat ook daadwerkelijk uit te schrijven. Daarnaast wordt de kans op publicatie van een artikel kleiner wanneer daarin ook tegenargumenten duidelijk en eerlijk worden uiteengezet – iets dat niettemin bij een juiste praktijk van citeren hoort.
De nieuwsbrief is exclusief toegankelijk voor medewerkers van onze partners.
Ook de wijze van erkenning in de wetenschap heeft invloed op de manier waarop auteurs omgaan met citaties. Citatiescores kunnen een belangrijk deel van een wetenschappelijke reputatie uitmaken, wat auteurs prikkelt om vooral werk van zichzelf, hun naaste collega’s of auteurs met soortgelijke opvattingen te citeren en het werk van tegenstanders of andersdenkenden onbenoemd te laten. “De praktijk van het citeren kan daarom nooit voldoen aan de onrealistische standaard van complete, eerlijke en systematische bezinning op al het relevante voorafgaande onderzoek”, aldus de onderzoekers.
Desondanks kan volgens hen wel worden gesteld wat goede en dubieuze citatiepraktijken zijn. “Goede citaties helpen om het citerende artikel in de argumentatieve context van eerder onderzoek te plaatsen, erkennen het belang van dit eerdere onderzoek, geven de inhoud van het geciteerde werk correct weer, en geven zodoende een realistische kijk op de bestaande literatuur”, schrijven ze. Dubieuze citaties schetsen daarentegen een onbestaande, geforceerde of zelfs onjuiste relatie met eerder onderzoek, zetten slecht onderzoek ten onrechte als betrouwbaar onderzoek neer, geven de inhoud van het geciteerde artikel onjuist of selectief weer en beschadigen zodoende de bestaande literatuur.
Citatie-applicaties leiden tot een nieuw Mattheus-effect
“In wezen betogen we dat automatische citatie-applicaties zulke dubieuze citatiepraktijken zullen aanmoedigen”, schrijven de onderzoekers. Zo vrezen ze dat wetenschappers door deze applicatie sneller worden verleid om plichtmatig te citeren en slordig te argumenteren. Veel van de reeds ontwikkelde citatie-applicaties zijn namelijk zodanig ontworpen dat ze alleen citaties zoeken die het reeds opgeschreven argument van een auteur onderbouwen. Daarenboven is de kans groot dat een citatie-applicatie zoekt naar tekst die eenzelfde jargon gebruikt als de auteur die de applicatie gebruikt. Zodoende zal het gebruik van deze applicaties leiden tot een eenzijdig en bevooroordeeld gebruik van literatuur, vrezen de onderzoekers.
Aanbevelingsapplicaties zijn inherent conservatief; ze worden immers gevormd door data uit het verleden
Ook een nieuw Mattheus-effect behoort tot de te verwachten negatieve gevolgen van het gebruik van automatische citatie-applicaties. “Omdat de automatisering neerkomt op suggesties door een algoritme en dit algoritme het zoekproces zoveel als mogelijk versimpeld, zal dit leiden tot ‘citatie-inflatie’: de verwijzingen die het makkelijks kunnen worden opgepikt en aanbevolen door de applicatie zullen disproportioneel vaak geciteerd worden. Aanbevelingsapplicaties zijn inherent conservatief; ze worden immers gevormd door data uit het verleden”, aldus de onderzoekers.
Deze werking zal ertoe leiden dat bijvoorbeeld artikelen uit vooraanstaande tijdschriften of artikelen uit het Westen welvaren bij het gebruik van citatie-applicaties terwijl artikelen uit bijvoorbeeld jonge tijdschriften disproportioneel worden benadeeld door deze applicaties. Daarnaast zullen de huidige citatie-applicaties alleen Engelstalige artikelen aanbevelen, wat de reeds bestaande hang naar Angelsaksische literatuur verder versterkt, schrijven de onderzoekers. “Deze applicaties brengen het risico mee dat ze ongelijkheden in de aandachts- en beloningseconomie binnen de wetenschap vermenigvuldigen.”
Waarschijnlijkheid van businessmodel met andere belangen
Het laatste probleem van automatische citatie-applicaties is hun gebrek aan transparantie. Ten eerste kost het ontwikkelen en onderhouden ervan veel geld, waardoor ze waarschijnlijk zullen worden ingebed in een commercieel businessmodel. Als gevolg daarvan zullen de onderliggende algoritmes geheim blijven, vrezen de onderzoekers, terwijl het voor de eigenaar van de applicatie profijtelijker kan zijn om sommige zoekresultaten vaker te laten zien dan andere. Dat sommige uitgevers van tijdschriften nu alleen artikelen uit hun eigen tijdschriften aanbevelen stemt niet hoopvol, aldus de onderzoekers.
Auteurs zullen hun artikelen zodanig gaan schrijven en vormgeven dat ze meer kans maken om door een citatie-applicatie te worden aanbevolen.
Daarnaast vrezen ze een ontwikkeling die ook zichtbaar is met betrekking tot populaire zoekmachines: auteurs zullen hun artikelen zodanig gaan schrijven en vormgeven dat ze meer kans maken om door een citatie-applicatie te worden aanbevolen. Een applicatie geeft dan geen toegang tot een bredere poel aan relevante literatuur maar wakkert het tegenovergestelde aan, betogen de onderzoekers; auteurs die het voor elkaar krijgen om de logica van het algoritme te doorgronden worden in staat gesteld om “de toch al verwrongen aandachtseconomie van wetenschappelijk onderzoek nog verder scheef te trekken.”
Laten we niet wachten totdat de schade is aangericht
Zoals ze nu werken, stimuleren citatie-applicaties om vooral gemakkelijk vindbare, reeds bekende of slim vindbaar gemaakte artikelen te citeren, betogen de onderzoekers. “We verwachten van onderzoekers dat ze systematisch naar literatuur zoeken voordat ze vormgeven aan hun onderzoek of beginnen met het schrijven van een onderzoeksartikel”, schrijven ze. “In hun huidige vorm stimuleren citatie-applicaties post hoc en ad hoc denken in plaats van systematische bezinningen op reeds bestaande kennis.”
Hoewel niet precies duidelijk is hoe wijdverbreid het gebruik van deze applicaties is, moet tenminste worden begrepen hoe ze werken en wat de consequenties van het gebruik zijn voordat ze breed worden ingezet, sluiten de onderzoekers hun betoog af. “Er kan worden gezegd dat de effecten van deze applicaties eerst maar eens uit de praktijk moeten blijken. Wij betogen echter dat de risico’s die deze applicaties meebrengen om een voorzichtigere aanpak vragen; laten we niet wachten tot de schade reeds is aangericht.”
