Publicatiedruk gaat ten koste van de onderzoekskwaliteit
In een recent gepubliceerd artikel onderzoekt econoom Harry van Dalen, hoogleraar Macro-Economie aan de Universiteit van Tilburg, hoe de ‘publish-or-perish‘-mentaliteit invloed heeft op de manier waarop academische economen hun wetenschappelijke praktijk beschouwen. Specifiek onderzoekt hij de ervaren hoogte van de publicatiedruk en de verscheidene opvattingen die academische economen daaromtrent hebben. Ook onderzoekers van de Rijksuniversiteit Groningen waren bij het onderzoek betrokken.
De data voor het onderzoek zijn verzameld middels een enquête die tussen november 2015 en januari 2016 door 453 academische economen werd ingevuld. Daarin werden de economen onder meer gevraagd naar de taken die ze binnen de universiteit vervullen. Ook werden ze gevraagd naar hun visie op prestatiebeoordelingen en de voor- en nadelen van het gebruik van citation metrics, de mate waarin een wetenschappelijk artikel wordt geciteerd in andere wetenschappelijke artikelen, als beoordelingsmiddel.
Het gebruik van citation metrics als beoordelingsmiddel lijkt namelijk aan de basis van de publicatiedruk bij academische economen te liggen. Uit de theorie laat Van Dalen zien dat men eerst optimistisch was over een dergelijk beoordelingsmiddel. Er werd echter ook al snel gewaarschuwd dat impact, waarop meer en meer beoordelingen werden gebaseerd, niet hetzelfde is als kwaliteit. Daarnaast lijkt een beoordeling op basis van het aantal publicaties vooral jongere onderzoekers te treffen, aangezien die in veel gevallen nog moeten vechten voor hun plekje op de academische ladder.
Het debat over het ‘publish-or-perish‘-principe gaat echter over meer dan prikkels en beoordelingen, betoogt Van Dalen; het heeft immers ook effect op de manier waarop academische economen hun wetenschappelijke praktijk beleven. Zodoende sluit het artikel aan bij de bredere discussie over erkennen en waarderen binnen de academische wereld.
De publicatiedruk wordt als hoog ervaren
Van de druk die de reguliere academische taken opleveren, blijkt de publicatiedruk, met een score van 7,8 op een schaal van 10, inderdaad veruit het hoogst te zijn. De druk die lesgeven (6,4), het verkrijgen van onderzoeksgeld (6,2) en administratieve plichten (5,5) met zich meebrengen, is aanmerkelijk lager. Daarbij valt op dat niet alleen het zoeken naar onderzoeksgeld, maar ook het lesgeven en de administratieve plichten positief gecorreleerd zijn aan de publicatiedruk. Wanneer bijvoorbeeld de druk van het lesgeven stijgt, stijgt ook de publicatiedruk.
Een andere opvallende uitkomst van het onderzoek is dat de publicatiedruk het meest wordt ervaren door Universitaire Docenten en Universitaire Hoofddocenten. Volgens de onderzoeker is dat niet verrassend, aangezien juist dat de cruciale periodes zijn om een vastere positie binnen de academische wereld te veroveren, en dan telt het aantal publicaties zwaar mee.
Ook bleek dat economen die werken bij internationaal hoog aangeschreven universiteiten, meer druk ervaren dan economen van lager aangeschreven universiteiten. Verder was er geen verschil te ontwaren in de hoeveelheid druk die vrouwelijke economen ervaren ten opzichte van de druk die mannelijke economen ervaren.
Vooral gevestigde belangen positief over ‘publish-or-perish‘
Als het gaat om de vraag hoe economen de publicatiedruk ervaren, blijkt dat de meeste respondenten zowel voordelen als nadelen zien. Enerzijds maakt een beoordeling op basis van publicaties jonge onderzoekers minder afhankelijk van de gunst van prominente faculteitsleden wanneer het bijvoorbeeld om promotie gaat, anderzijds werkt het onethische praktijken en het schuwen van minder aandachttrekkende onderzoeksonderwerpen in de hand.
Van een consensus onder de betrokken economen is echter geen sprake; de respondenten vallen in twee groepen uiteen. Zo’n tweederde van de academische economen is uiteindelijk sceptisch over de publicatiedruk, terwijl eenderde vooral de voordelen ervan ziet. Daarbij springt in het oog dat zich opvallend veel hoogleraren (47%) onder de positief gestemde groep ‘supporters’ bevinden. Ook bij verdere bestudering van de data blijkt dat hoogleraren meer dan andere faculteitsleden geloven dat het principe van publicatiedruk leidt tot beter onderzoek. Daarbij zien ze veel minder mogelijke nadelen dan faculteitsleden in lagere functies.
Die resultaten zijn in lijn met de vondsten van een eerder onderzoek, dat vroeg waarom bijvoorbeeld citation metrics nog zo invloedrijk zijn terwijl er tegelijkertijd zoveel kritiek op is. Volgens Van Dalen is een deel van het antwoord daarop te vinden in de gevestigde belangen binnen de faculteiten, wat tevens kan verklaren waarom juist hoogleraren meer voordelen zien van het ‘publish-or-perish‘-principe als selectiemechanisme.
Universiteiten worden bestuurd als bedrijven
Hoe academische economen de publicatiedruk ervaren, is ook van invloed op hun ervaring van hun wetenschappelijke praktijk. Zo heeft 72% van de sceptici het gevoel dat hun universiteit zich niet interesseert voor de onderwerpen waarover ze schrijven, zolang ze maar publiceren. Zo’n 45% van de groep supporters deelt dat gevoel. Volgens de onderzoeker verheldert dit het feit dat sceptici vaker het gevoel hebben dat universiteiten worden bestuurd als bedrijven. Ook blijken in verhouding minder sceptici gemotiveerd te worden door erkenning en waardering op basis citation metrics.
Een andere bron van ontevredenheid komt voort uit de manier waarop publiek onderzoeksgeld wordt verdeeld; 66% van de sceptici is het niet eens met de stelling dat zulk geld bij de meest originele onderzoekers terechtkomt. Ook de groep supporters is hierover echter niet onverdeeld positief, aangezien daar 48% het niet eens is met die stelling.
Uiteindelijk vallen de verschillende meningen van de sceptici en de supporters duidelijk uiteen wanneer ze worden gevraagd naar hun neiging om de academie te verlaten. Van de sceptici heeft 40% dat overwogen, tegenover 21% van de supporters van het ‘publish-or-perish‘-principe. Volgens Van Dalen is dat deels te verklaren vanuit het feit dat hoogleraren relatief gezien positiever zijn over het huidige systeem. Zij hebben immers al grote academische hordes genomen, en zullen zich minder zorgen hoeven maken over het gepubliceerd krijgen van hun onderzoeken.
Waardeer op input, niet op output
Hoewel er stevige kritiek is op het gebruiken van bijvoorbeeld citation metrics in het beoordelen van academische economen, houdt het systeem nog altijd stand. Volgens Van Dalen zijn daar tenminste drie redenen voor. Zo zijn citation metrics onderdeel geworden van het businessmodel van universiteiten en onderzoekers zijn eraan gaan hechten; dergelijke metrics afschaffen, is niet zoiets als Twitter vragen om de like-knop te verwijderen. Ook kan het vervangen van dergelijke metrics leiden tot nog verfijndere indicatoren die op hun beurt weer zorgen voor een verschuivende aandacht van kwaliteit naar kwantiteit. Als laatste is het gebruik van metrics een heel eenvoudige manier om het gebruik van publiek onderzoeksgeld te verantwoorden; veel eenvoudiger dan bijvoorbeeld een gedetailleerde omschrijving van een heel specifiek onderzoek.
Maar hoe moet dat beoordelen dan? Een werkelijke waardering van een wetenschappelijke prestatie vraagt om specifieke kennis van het onderzoeksveld, en ook om het geduld om ideeën uitvoerig te beproeven, zegt Van Dalen. Daarnaast moet men in het oog houden dat wetenschappelijke kennis geen privaat goed is, en dat de wetenschap geen markt is. Het gebruik van imperfecte metrics leidt er nu toe dat men vooral publicaties beloond, terwijl men hoopt op goede wetenschappelijke ideeën.
Een alternatief voor de beoordelingen die vooral gebaseerd zijn op output en dus op de kwantiteit van publiciaties, ziet Van Dalen in beoordelingen op input en wetenschappelijke kwaliteit. Waar economische faculteiten nu vooral waardering tonen voor faculteitsleden die zich onderscheiden op hun output, zou men meer waardering geven aan onderzoekers die misschien minder publiceren, maar wel betere wetenschappers zijn. Van Dalen erkent dat dit ruimte kan geven aan problemen waarop het gebruik van citation metrics juist een antwoord was, maar hij ziet beoordelingen op basis van input als een betere manier om ervoor te zorgen dat erkenning en waardering daadwerkelijk terechtkomt bij datgene waarnaar een universiteit zou moeten streven: goede wetenschap.
