Houdt peer-review op peil
Het peer-review systeem waarbij onderzoekers elkaars werk beoordelen voor het mogelijk gepubliceerd wordt, vindt per tijdschrift of uitgever op basis van verschillende criteria of kwaliteitseisen plaats. Volgens Wicherts gaat dit, juist bij traditionele uitgevers, niet altijd even transparant.
Driehonderd tijdschriften in een week
“Ik kan me eigenlijk geen traditioneel tijdschrift voor de geest halen waar peer-review rapporten mee gepubliceerd worden met het artikel. Dat is eigenlijk wel raar. We zijn constant bezig elkaar in het wetenschappelijk debat te bekritiseren, maar het beoordelen van elkaars werk gebeurt achter gesloten deuren.”
Juist bij Open Access wordt dit doorbroken. Wicherts ziet dat er nog wel wat sprake is van ‘koudwatervrees’, “maar het gaat vaak heel goed.” Die transparantie is goed en wenselijk, maar tegelijkertijd ziet Wicherts ook dat met de doorbraak van Open Access het aantal nieuwe tijdschriften een grote vlucht heeft genomen.
“Soms zie je er opeens in een week driehonderd nieuwe tijdschriften bijkomen. Mensen willen hun werk publiceren, ook daar, maar de kwaliteit van het peer-review proces kan niet zonder meer gegarandeerd worden.” Dat is gevaarlijk, want als een blad waar je als onderzoeker in hebt gepubliceerd opeens niet meer bestaat is ook jouw werk en citatie weg.
Richtlijnen zijn er al
Om dit soort excessen te voorkomen is het volgens Wicherts wenselijk dat er duidelijk kwaliteitscriteria worden vastgesteld voor nieuwe tijdschriften. “Je hoeft je dan niet per se aan die criteria te houden, maar wetenschappers moeten wel kunnen zien in hoeverre er aan voldaan wordt.”
Dergelijke richtlijnen zijn er ook al wel, de Directory of Open Access Journals (DOAJ) en ook COPE hebben daar al eens aanzetten toe gegeven en ook de traditionele richtlijnen bieden richting. Volgens Wicherts is er dan ook “best wel overlap in deze criteria rond het netjes inrichten van je peer-review proces.”
Op het SURF Colloquium in Rotterdam rond dit thema merkte Wicherts dat het nog wel moeilijk was om tot een eensluidend statement en richtlijn te komen, maar dat ligt volgens hem voor aan het feit dat het “heel moeilijk is om algemene uitspraken te doen over de wetenschappelijke praktijk die zo ontzettend divers is.”
“Het gaat er vooral om dat je het peer-review proces echter goed op orde hebt en alles transparant en integer doet.” Om dat te toetsen stelde Wicherts een lijst vast met vijftien kwaliteitscriteria voor het peer-review proces. “We waren het op het colloquium over deze criteria grotendeels met elkaar eens.”
Amazon-beoordeling voor peer-reviews
De tool zou op verschillende manier ingezet kunnen worden denkt Wicherts. “Je zou kunnen denken aan een kwaliteitszegel dat op iedere journal kan worden geplakt op basis van deze criteria, maar je kan de toets ook naast de tevredenheid van auteurs met het gevolgde peer-review proces leggen om te zien of dit overeenkomt. Op die manier laat je auteurs zelf het proces op een Amazon-achtige manier beoordelen.”
Tijdens het colloquium was Wicherts uitgenodigd om de aanwezige uitgevers, funders en onderzoekers zijn tool te laten testen op verschillende tijdschriften. “Dit waren traditionele bladen, open access partijen met een hoge status als bijvoorbeeld PLoS One, maar ook een aantal nieuwe ‘dubieuze’ uitgevers.”
Peer-review proces weg achter gesloten deur
Jeffery Beall, een onderzoeker van de University of Colorado, noemt deze nieuwe grote uitgevers met een dubieuze status ‘predatory publishers’, vertelt Wicherts. “Ze zijn verdacht omdat ze bijvoorbeeld nauwelijks een editorial board hebben.”
Wat opviel bij de test die Wicherts in Rotterdam liet doen was dat de ‘predatory publishers’ inderdaad door de mand vallen, maar ook dat goede nieuwe Open Access partijen zelfs nog iets beter presteerden dan de grote traditionele partijen. “Ik hoop dan ook dat deze tool de uitgevers een spiegel voorhoudt, dat ze kritisch stil staan bij hoe het proces van peer-review is ingericht.”
Het mooiste zou natuurlijk zijn dat op den duur “alle peer-reviews van achter die gesloten deuren vandaan gehaald worden,” vindt Jelte Wicherts. “Ik hoop dat ik daar op deze manier een bijdrage aan kan leveren.”
