"In april verscheen in het wetenschappelijke tijdschrift Nature
een commentaar van de Nederlandse moleculair
bioloog Hidde Ploegh, die werkt op het prestigieuze MIT in Boston.
Deze gerenommeerde wetenschapper, die een hoop artikelen heeft
gepubliceerd in de allerbeste tijdschriften, veegde de vloer aan
met het huidige algemeen "geaccepteerde" systeem van het publiceren
van onderzoeksresultaten: peer-review.
Liever NRC dan dorpskrantje
Voor de niet-praktiserend wetenschappers onder de lezers van dit
artikel een korte uitleg over dit systeem (zie ook artikelen
hierover op wetenschapsblog Sciencepalooza: deze en
deze). Als onderzoeker heb je een idee of een
hypothese, je bedenkt slimme experimenten om je hypothese te
testen, en na jaren zweten in het lab, door databases graven of
patiëntengegevens verzamelen heb je genoeg gegevens verzameld. Je
schrijft hierover een mooi artikel en stuurt dit op naar een
tijdschrift. Je kiest een tijdschrift dat past bij jouw vakgebied,
maar kijkt ook naar de kwaliteit.
Wetenschappelijke tijdschriften worden geclassificeerd aan de
hand van hun impact factor, namelijk hoe vaak artikelen
uit zo'n tijdschrift geciteerd worden. Een zichzelf respecterende
journalist schrijft ook liever voor het NRC dan voor het
dorpskrantje, dus je kiest een tijdschrift uit met een redelijk
hoge impact factor.
Bij dit tijdschrift leest een editor het artikel door
(nou ja, vaak alleen de samenvatting) en besluit of het interessant
genoeg is. Zo niet, dan krijg je onmiddellijk bericht terug:
rejected! Maar, geen angst, je had wat hoog gegokt dus je
gaat een stapje terug in impact factor en stuurt je
artikel naar een ander tijdschrift. Daar vindt de editor
het wel interessant genoeg en je artikel wordt doorgestuurd naar
een paar wetenschappers (de reviewers) uit (ongeveer)
hetzelfde vakgebied die je artikel kritisch lezen, kijken of er
geen fouten in zitten en die suggesties kunnen doen om het beter te
maken (revisions). Vervolgens rapporteren zij terug aan de
editor, die een besluit maakt: accept, reject of
reject with revisions. Dit proces heet
peer-review, en op deze manier klinkt het als een goed
systeem, maar er zitten nogal wat haken en ogen aan.
Dansen naar de pijpen van reviewers en
editors
Want een reviewer heeft altijd commentaar en stelt
bijna altijd extra experimenten voor die gedaan moeten worden om
het artikel te mogen publiceren. En dit is wat Hidde Ploegh hekelt
aan dit systeem - volgens hem zijn de review-commentaren
lang niet altijd even relevant, kosten ze de onderzoeker heel veel
tijd en geld en levert het de wetenschap niet eens echt wat op.
Maar ja, als je het niet doet, dan komt je artikel zeker niet in
dit mooie tijdschrift... dus schoorvoetend begeef je je weer naar
het lab, werk je een aantal maanden aan de gesuggereerde
experimenten en stuur je de gereviseerde versie op. Met de hoop dat
het nu wel goed genoeg is, want zeker is dit niet: soms worden in
de volgende ronde wéér experimenten voorgesteld. Dit proces kan zo
tot een aantal jaar duren - en nog steeds is er een kans dat je
artikel wordt afgewezen.
Maar zijn "we" (als wetenschappers) hier niet een beetje
afgeweken van het originele doel van de wetenschap? Wilden we niet
graag weten hoe iets werkt? Iets uitvinden, iets ontdekken, iets
uitzoeken - en dat was gelukt! Maar om het zo goed mogelijk te
kunnen publiceren dansen we naar de pijpen van de
reviewers en de editors, en besteden we onze
kostbare tijd en geld (vaak van overheidsinstanties en
goede-doelenfondsen) aan misschien wel nutteloze experimenten.
Wetenschap vanuit nieuwsgierigheid
Moeten we niet terug naar het originele proces van de
wetenschap: vanuit nieuwsgierigheid gedreven zoeken we iets uit wat
we willen delen met vakgenoten - in plaats van: ik heb iets
gevonden maar ik hou het zo lang mogelijk geheim omdat anders
iemand anders er met mijn idee vandoor gaat. Hierdoor bestaat nu
ook de de kans dat meerdere mensen hetzelfde werk doen terwijl er
maar één de publicatie in dit toptijdschrift kan krijgen. De
snelste wint, maar of dit altijd de beste is, valt te
betwijfelen.
Volgens Hidde Ploegh zouden reviewers bij het
voorstellen van experimenten ook moeten kijken naar de kosten die
hieraan verbonden zijn en naar de relevantie van de experimenten
voor de vergroting van de algemene kennis. De afgelopen jaren
verschijnen er tijdschriften, zoals de PLoS Currents, waarbij het
review-systeem anders is: in principe kan alles
gepubliceerd worden, zolang de experimenten goed gedaan zijn.
Suggesties van de reviewers kun je uitvoeren als je dit wilt en
later je artikel updaten.
Deze PLoS Currents, waarvan er nu vier bestaan, zijn een eerste
indicatie dat het ook anders kan. Zou dit het begin zijn van een
nieuwe manier van publiceren, waarbij het delen van gegevens met
elkaar, en het vergroten van de kennis over een onderwerp,
belangrijker is dan de impact factor? Zo zou het, volgens
mijn idealistische idee van de wetenschap, eigenlijk moeten zijn...
"
Eva Teuling is post-doc onderzoeker op het Universitair
Medisch Centrum Groningen en redacteur van Sciencepalooza.
Reactie Jet Bussemaker
Jet Bussemaker snapt de frustraties van Eva Teuling maar al te
goed. Als onderzoeker op de UvA en de VU heeft ze daar genoeg mee
te maken gehad. "De cultuur van kritiek is hier en daar
doorgeslagen in de academische wereld. Ik ken vanuit de
politicologie, waar ik zelf vandaan kom, wetenschappers die niet in
de krant willen publiceren omdat dat slecht is voor je
wetenschappelijke carrière. Dat lijkt me niet de bedoeling. Ik
vind, zeker als politicoloog, dat je ook een maatschappelijke taak
hebt. En je moet in staat zijn dat onderscheid binnen je
publicaties ook te maken."
"Ik herken in het betoog van Teulings wel een beetje dat sommige
reviewers altijd wel iets voor verbetering zien, of graag willen
dat er nog even naar hun eigen werk verwezen moet worden. Ik heb
zelf ook gereviewd en dat is gewoon een vak op zich, waar ook in
het academisch onderwijs aandacht voor moet zijn. Hoe review je
nou? Peer-reviewen moet echt LevenLangLeren zijn wat dat
betreft."
Hoewel de kritiek van Eva Teuling op het huidige systeem op
bijval kan rekenen van Bussemaker, ziet zij ook problemen met het
alternatief zoals Hidde Ploegh dat aanreikt. "Ploegh slaat wat mij
betreft door naar de andere kant. Ik weet ook dat er destijds wel
vriendenclubjes waren die gewoon een eigen tijdschrift met daarin
hun eigen publicaties startten. Dat is toch ook niet de bedoeling.
Het midden moet dus nog wel gevonden worden."