Het is politiek incorrect geworden om over citaties en publicaties te spreken
Hoe wetenschappelijk onderzoek geëvalueerd moet worden is een controversieel onderwerp. De eenvoudigste manier om productiviteit en impact te evalueren is door het aantal gepubliceerde artikelen en het aantal citaties te tellen. Echter, deze methode is vrij naïef omdat het mogelijk is om veel artikelen te publiceren die van lage kwaliteit zijn. Het tellen van het totale aantal citaties brengt daarnaast het probleem met zich mee dat men coauteur kan zijn van een artikel dat vaak geciteerd is. Dat zegt niet veel over de bijdrage van deze auteur, aldus Wil van der Aalst, hoogleraar Data Science aan de RWTH Aachen University.
Om de beperkingen van het simpelweg tellen van papers en citaties te ondervangen bestaan er in de wetenschappelijke gemeenschap echter ranglijsten en statistieken zoals de H-index.
Erkennen en Waarderen moet men toejuichen
Natuurlijk moeten die met een korreltje zout worden genomen. In Nederland is het programma Erkennen en Waarderen gestart om de waardering van academici te verbeteren en het belang te erkennen van mensen die bijdragen aan Team Science en onderwijs. Soortgelijke initiatieven zijn ook in andere Europese landen te zien. Hoewel men dit soort initiatieven moet toejuichen om op een andere manier naar kwaliteit van onderzoek te kijken, worden deze programma’s ook gebruikt om afstand te nemen van maatregelen die de productiviteit en impact van een wetenschapper kwantificeren. Op sommige universiteiten is het zelfs politiek incorrect geworden om te praten over het aantal gepubliceerde artikelen en het aantal citaties, stelt de hoogleraar Data Science.
Door bij de beoordeling van wetenschappers niet meer naar objectieve resultaten te kijken, kunnen evaluaties van nieuwe onderzoekers zeer subjectief worden. Zo worden bijvoorbeeld keuzes gemaakt op basis van smaak, persoonlijke voorkeuren en criteria die niet bekend zijn bij de geëvalueerde individuen. Bovendien worden er nog steeds kwantitatieve gegevens gebruikt, maar op een impliciete en inconsistente manier.
Geen vervanging van een goed geïnformeerd oordeel
Daarom is het volgens de Van der Aalstduidelijk dat men niet om objectieve, data gestuurde benaderingen heen kan om de productiviteit en impact van een wetenschapper te evalueren. De kwantitatieve maatstaven moeten dienen om de beoordeling van deskundigen te ondersteunen en ze zijn geen vervanging voor een goed geïnformeerd oordeel.
Rankings van tijdschriften en conferenties zijn echter problematisch. De lijsten voor tijdschriften zijn zeer subjectief. Bovendien is er sprake van een Mattheüs-effect waarbij de goed geciteerde wetenschappers alleen maar meer geciteerd worden. In combinatie met een nauwe focus leidt dit tot een beperkt beeld van onderzoekskwaliteit, wat innovaties ontmoedigt. Hoewel onderzoek snel verandert, zijn deze tijdschriftlijsten vrij stabiel. Bovendien hebben hoog aangeschreven tijdschriften veel artikelen die zelden worden geciteerd. Waarin een artikel geplaatst is zegt daarom weinig over de kwaliteit, vernieuwing en impact van het onderzoek.
Web of Science voldoet vaak niet
Er zijn verschillende databases die gebruikt worden om productiviteit en impact te evalueren, bijvoorbeeld Scopus van Elsevier, Google Scholar en Web of Science. De laatste richt zeer sterk op tijdschriften in de VS en geeft de voorkeur aan traditionele disciplines zoals natuurkunde. Conferenties die voor sommige onderzoeksgebieden van groot belang zijn, worden door Web of Science maar gedeeltelijk erkend.
Voor een wetenschapper in de informatica kan het aantal citaties in Google Scholar daarnaast twee tot drie keer hoger zijn dan het aantal citaties in Scopus en meer dan tien keer het aantal citaties in Web of Science.
Scopus is ‘middle of the road’
Dit betekent dat Web of Science voor veel disciplines niet relevant is. Hoewel Google Scholar de meest uitgebreide dekking heeft, kampt de zoekmachine met problemen met de datakwaliteit. Zo komt het nogal eens voor dat een citatie dubbel geteld wordt als er kleine variaties in de verwijzingen staan. Ook Scopus en Web of Science hebben dergelijke problemen, maar in mindere mate. Deze voorbeelden illustreren dat de impact van datakwaliteit en beperkte dekking niet gelijk verdeeld zijn.
Daarnaast zijn er ook verschillende publicatiepraktijken. In veel disciplines ligt het gemiddelde aantal auteurs op twee. In het vakgebied natuurkunde ligt het gemiddelde aantal auteurs echter boven de tien en zijn er artikelen met zelfs honderden of duizenden auteurs. Zo heeft een artikel over het meten van de massa van het Higgsboson 5.154 auteurs. Het artikel van 33 pagina’s heeft 24 pagina’s nodig om de auteurs op te sommen en slechts 9 pagina’s gaan over de wetenschappelijke ontdekking zelf.
Conferenties spelen geen rol
Ook varieert de volgorde waarin auteurs worden vermeld van discipline tot discipline. In de wiskunde is het bijvoorbeeld gebruikelijk om auteurs alfabetisch te rangschikken. Bij andere disciplines is de volgorde op basis van de geleverde bijdrage aan het artikel. In bepaalde vakgebieden spelen conferenties helemaal geen rol in de publicatielijsten en wordt al het werk gepubliceerd in tijdschriften.
Alles bij elkaar laat dit zien dat alleen het tellen van de tijdschriftartikelen en het negeren van het aantal auteurs enorm uiteenlopende gevolgen kan hebben voor verschillende disciplines. Dit zijn moeilijke uitdagingen die niet makkelijk op te lossen zijn, schrijft Van der Aalst. Dit betekent echter niet dat het verstandig is om dan maar de toevlucht te nemen tot subjectieve evaluaties van onderzoeksproductiviteit en impact, terwijl beschikbare gegevens worden gegenereerd.
Daarom pleit Van der Aalst voor de aanpak van John Loannidis en zijn collega’s van Stanford die een samengestelde indicator hanteren. Het totale aantal citaties van artikelen wordt onderverdeeld in citaties waar de auteur enige, eerste of laatste auteur van is. Dit resulteert in een C-score. Deze gegevens zijn gebaseerd op de auteursprofielen van Scopus. Scopus kan wat betreft de compleetheid van de data gezien worden als een tussenoplossing voor Google Scholar en Web of Science.
Het kan jonge onderzoekers helpen om doelen te stellen
Wetenschappers kunnen zelf ook aan de slag om op basis van deze methode te kijken hoe zij scoren op deze index. Van der Aalst vindt dit een geweldig initiatief om de problemen aan te pakken die verband houden met het naïef tellen van papers en citaties. Zoals gewoonlijk kan de impact van wetenschappelijk werk echter pas na enige tijd gemeten worden. Deze C-score leent zich er dan ook minder voor om jonge onderzoekers te evalueren. Wel kan het jonge onderzoekers helpen om doelen te stellen.
Ook mag men nooit het statement van het “Leiden Manifesto for research metrics” uit het oog verliezen, benadrukt de auteur. Kwantitatieve evaluatie moet kwalitatieve deskundige beoordeling ondersteunen. Kwantitatieve statistieken kunnen tendensen van vooringenomenheid bij collegiale toetsing aan de kaak stellen en het gesprek hierover vergemakkelijken.
De C-score moet peer reviews versterken, want oordelen over collega’s is moeilijk zonder een breed scala aan relevante informatie. Beoordelaars mogen echter niet in de verleiding komen om de besluitvorming alleen te maken op basis van de cijfers. Indicatoren mogen niet in de plaats komen van een geïnformeerd oordeel. Het is heel goed mogelijk om een eerlijke en inclusieve interdisciplinaire vergelijking van onderzoekprestaties te maken met behulp van Google Scholar of Scopus en meer verfijnde metingen om voor de bekende problemen te corrigeren.
