De excellentie van de middelmaat: peer review in de academische wereld

Reeds dertig jaar ben ik aan het werk in de academische wereld, een wereld die bestaat uit lezen, onderwijs geven (en permanent vernieuwen), lezingen houden, discussies voeren, voor wetenschappelijke commissies werken en, enfin, schrijven. Schrijven is de kroon op al het werk. Want ondanks het feit dat je in onze tijd ook als academicus op social media actief moet zijn en aan je performance moet werken zoals een politicus en een tv- moderator – komt de waardering vooral voort uit je publicaties. Je wordt gewaardeerd als je een idee hebt, een gedachte die nieuw is of een probleem oplost, en als je dit idee in een boek of een artikel toelicht zodat anderen er iets mee kunnen doen.

Maar hier begint een machine te ratelen. Het is de publicatiemachine. Bijna dag en nacht is ze aan het produceren zodat inmiddels een goede oude traditie op z’n kop is gezet. Kwantiteit staat nu boven kwaliteit. Alsof Augustinus, die driemaal zo veel teksten heeft nagelaten als Plato en Aristoteles samen, ook driemaal wijzer was dan zijn beroemde voorgangers. Alsof de Nederlandse wetenschappers, omdat in iets meer dan tien jaar hun “output” van artikelen per jaar van rond 22.000 is toegenomen naar 33.000, nu opeens 50 procent slimmer zijn.

We wilden vernieuwing en kregen eenvormigheid.

Pure kwantiteit, of het tellen van de hoeveelheid geproduceerde boeken, artikelen en citaten, is uiteraard onzin. Daarom is er een procedure nodig die kwaliteit kan beoordelen. Lange tijd was dit de taak van een redactie bij een tijdschrift of de taak van de uitgevers. Tijdens een vergadering bespreekt de redactie over de ingezonden artikelen en stuurt achteraf een negatief of positief bericht, vaak aangevuld met kritische opmerkingen en suggesties, aan de auteurs terug. Ofwel de betreffende beslissing wordt simpelweg genomen door de uitgevers, dat wil zeggen door wetenschappers die op hun ervaring mogen vertrouwen en het tijdschrift een specifiek profiel willen geven.

Deze procedure wordt vandaag de dag als old fashioned beschouwd. Er is namelijk een nieuwe, betere, dat wil zeggen objectieve – tenminste objectievere procedure – en haar naam is peer review. Het is een procedure die voor alle vormen van wetenschap passend lijkt en heden ten dage bij voorkeur in het Engels, de taal van de globalisering, wordt beoefend. Immers, als je niet in het Engels communiceert, hoor je bij de arme verwanten uit de provincie. Als je in het algemeen gewaardeerd wilt worden in de wereld van collega’s, moet je een peer reviewing ondergaan – anders ben je maar een tweederangs collega.

En toch komt ook in het geval van peer review een bekend patroon terug: het nieuwe wordt ingehaald door oude problemen. Waren het alleen wetenschapsinterne redenen die het succes van de nieuwe procedure hebben mogelijk gemaakt? Is peer review echt objectief, of tenminste objectiever, dan andere beoordelingsvormen van wetenschappelijke kwaliteit? Zijn er geen alternatieven?

Externe redenen voor het succes van peer review

Als we ten eerste naar de redenen voor het succes van peer review kijken, is het, zoals eigenlijk altijd, nuttig om een historisch perspectief in te nemen. Dan wordt duidelijk dat ook deze uitvinding, zoals vaak na de Tweede Wereldoorlog, afkomstig is uit de VS. De doorslaggevende impuls komt vanuit de politiek.

Na de “Sputnik shok” van 1957 begint de overheid, om het landelijke onderzoek te bevorderen, door projecten te financieren. Peer reviewing is hier als procedure welkom, aangezien de politieke klasse op deze manier verantwoordelijkheid in zekere zin van zich af kan schuiven door te verwijzen naar de wetenschappelijke deskundigen. Maar omdat deze anoniem blijven, zijn ook zij gedechargeerd van verantwoordelijkheid. Bovendien kan de politieke klasse op die manier indirect wel controle uitoefenen op het wetenschapssysteem (Csiszar, 2016).

Naast de politieke initiaalimpuls is er een grote belangstelling voor de nieuwe procedure door de global players op de markt van uitgeverijen van tijdschriften, internationale concerns zoals Elsevier, Springer en Wiley. Peer review is hier welkom als instrument van winstmaximering. De rapporteurs werken gratis, evenals de uitgevers van de tijdschriften (of met een honorarium dat je enkel een symbolisch gebaar kunt noemen), maar de uitgeverij verkoopt de tijdschriften wel – en met prijzen die steeds meer omhoog gingen – aan de universiteitsbibliotheken. De commerciële tijdschriftenmarkt is dus een tweede externe reden voor het succes van peer review.

Is peer review objectiever en beter?

Levert – de tweede centrale vraag – peer review een objectievere en al met al betere manier op van kwaliteitsbeoordeling? Ik begin hieromtrent even met een ervaringsberichtje. Het heeft bijgedragen aan het barsten van mijn kruik.

Ik stuurde een artikel naar een Nederlands vaktijdschrift toe op het gebied van de geesteswetenschappen en sociale wetenschappen. Nadat ik een half jaar aan het wachten was – dat is vrijwel normaal – ontving ik het bericht dat de peer reviewing negatief was en mijn artikel maar als “essay”, dus op een tweederangs niveau, gepubliceerd mag worden.

Ik was benieuwd naar de reviews. Ze waren allebei heel erg kort. Eentje liet tenminste zien dat de rapporteur mijn artikel had gelezen. De tweede review kwam neer op een statement dat uit drie – als getal: 3 – zinnen bestond, namelijk dat mijn artikel “chaotically argued” was, “hopping from one issue to another”. De volgende zin was slechts een variatie op de eerste en sloot af met het oordeel: “This is far from a competently written article.”

Wat kun je als auteur met zo’n ‘review’? Als je al jaren in business bent, haal je je schouders op en zeg je tegen jezelf dat deze review ‘‘far from competently written‘’ is.

Maar men moet zich toch afvragen of een zogenaamde review sociaal, moreel en academisch correct is. Ga je zo met collega’s, ga je zo met mensen om? Zou je ook voor zulke woorden kiezen als je oog in oog de collega bekritiseert? Je stel je liever niet voor wat voor verpletterende werking dit soort van beoordeling zou kunnen hebben op een jonge post-doc.

Ook academisch gezien lijkt zo’n review volstrekt ongepast. Het is wel gebruikelijk dat je een positief oordeel over een boek, een artikel of een proefschrift ter uiting mag brengen in enkele maar enthousiaste zinnen. In het geval van een negatief oordeel zit dit anders. Dan moet je een (ietwat) uitgebreide argumentatieve toelichting geven. Bovendien heb ik – zelf mede-uitgever van een vaktijdschrift – geleerd dat je een negatieve beoordeling nooit direct doorgeeft aan een auteur als deze erg hard, polemisch of unfair lijkt. Je formuleert de kritiek en de afwijzing dan in beleefde woorden en herinnert tegelijk de rapporteur aan de standaarden van kritiek.

Het mag duidelijk geworden zijn: het feit dat rapporteurs gebruik maken van peer review om hun affecten te vrije loop te laten, is alleen mogelijk omdat dit systeem gebaseerd is op anonimiteit. Het is vandaar gemakkelijk te misbruiken. Een ideaal slagveld voor wetenschapspolitieke veten, want onder de sluier van anonimiteit en objectiviteit kun je de richting van je eigen vakgebied beïnvloeden. Vroeger had je daar maar het middel van openbare kritiek voor, nu heb je het effectievere middel van het beoordelen van artikelen en aanvragen. Het advies aan iedereen binnen de wetenschap zou dus moeten zijn: “Publiceer geen recensies in vaktijdschriften of kranten. Dit is ouderwets. Je hebt meer impact als je meedoet bij het peer reviewing systeem en andere anonieme procedures!”

Je zou misschien kunnen denken dat het gebrek aan (een houding gericht op) objectiviteit alleen plaatsvindt bij de sociaal-, cultuur- en geesteswetenschappen, omdat het hier zoals bekend moeilijk is, om met ‘harde feiten’ te opereren.

Maar ook binnen de natuurwetenschappen staan de manco’s van het peer reviewing systeem ter discussie. Op boom-gebieden zoals bio-chemie en bio-geneeskunde bijvoorbeeld is men na de introductie van peer review vrijwel gestopt met de replicatiestudie, de klassieke vorm om nieuwe onderzoeksresultaten te toetsen. Een kritische test had tot resultaat dat een enorm groot aantal van de geprezen landmark trials niet gerepliceerd kon worden (Begley & Ioannidis 2015).

Ook de onderzoeksgroep van Richard Smith, jarenlang uitgever van de British Medical Journal, heeft een test gedaan op de betrouwbaarheid van peer review. Ze hebben met bedoeling een beperkt tal van fouten in manuscripten ingevoegd voordat er een beoordeling plaats vond. Honderden rapporteurs hebben onbewust meegedaan. Geen enkele heeft alle fouten ontdekt, sommigen zelfs überhaupt geen fout, en de meerderheid louter een kwart (Van Rooyen 1999). Smith vat zijn observaties samen in de conclusie: ‘‘Peer review is a flawed process, full of easily identified defects with little evidence that it works“ (Smith 2006).

De academische wereld als disciplinaire samenleving

Peer review staat niet alleen open voor de gebruikelijke fouten van rapporteurs qua slechte lezers, voor subjectieve, zelfs affectieve vooroordelen en voor wetenschapspolitieke richtingsgevechten. Het grootste gevaar zit in de streamlining. Met Max Weber en Michel Foucault moet men over een vorm van “disciplinering” spreken (Hirschi, 2018).

Het effect is allemaal middelmaat. Artikel volgen nu steeds dezelfde opbouw: Er staat een abstract aan het begin gevolgd van een these die dan stapje per stapje (1, 2, 3. …., a, b, c …) beargumenteerd wordt met een kleine conclusie aan het eind van elk stapje en een grote conclusie aan het eind van het artikel. Het is alsof men de wetenschap – en vooral de geesteswetenschap – de geest wil uitdrijven: de vrijheid en het risico die op zich bij het denken horen. De schoolse opbouw en argumentatievorm van artikelen heeft weliswaar het voordeel dat je in een tijdperk waar tijd krap is niet meer het hele artikel, en niet meer zorgvuldig hoeft te lezen. Peer review past best bij een economie onder voorwaarden van werkdruk en stress.

Strategisch eist de procedure daartegenover dat je veel meer dan vroeger met de meningen van gevestigde collega’s – de potentiele reviewers – moet rekening houden, terwijl ontbrekende consensus en verdeeldheid omtrent methoden en perspectieven eens juist een middel van kennis waren. Misschien zelfs het beste middel, want tot vandaag geldt dat echte innovatie “van de randen” komt, in alle wetenschappen. Een Duitse fysicus zei eens dat binnen zijn vakgebied 1 procent van alle onderzoekers 90 procent van alle innovatieve resultaten oplevert. Deze minderheid is succesvol, omdat men doet wat de meerderheid niet doet: afwijken van de gevestigde manier van denken.

Zijn er geen alternatieven?

Nadat de kritische discussie over peer review nu al langer gaande is, trekken zich de verdedigers van het systeem terug op een soort van Churchill-achtige pseudo-wijsheid die eigenlijk neerkomt op systeem-stabiliserend cynisme. Wat Churchill over democratie zei, geldt nu ook voor peer review: het is een slecht systeem, maar toch het best-mogelijke. Alle alternatieven zijn dus nog slechter.

Dat is echter helemaal niet het geval. Er zijn wel goede alternatieven. Bij voorbeeld: Als men een artikel wil publiceren vraag je aan de editor van een – het liefst online – tijdschrift, om commentaren door diverse collega’s in te winnen. Het artikel en de commentaren worden vervolgens op een internet platform gepubliceerd die in principe voor iedereen opengesteld is. Als er dan een levendige discussie rond dit artikel ontstaat, laat die zien dat hij wetenschappelijk gezien vruchtbaar is (Osterloh & Kieser, 2015).

Dit kan ook op een meer traditionele manier. Zo werd ik eens uitgenodigd om een zogeheten focusartikel bij het Algemeen Nederlands Tijdschrift voor Wijsbegeerte (ANTW) te publiceren. Tegelijk werden jongere en oudere, mannelijke en vrouwelijke collega’s uitgenodigd om een commentaar te schrijven op welke ik dan nog eens mocht repliceren. Het leverde volgens mij een leuk hoewel klein voorbeeld af van een wetenschappelijke discussie. De commentaren waren kritisch, maar wel constructief. Sommigen waren zelf erg kritisch en ietwat polemisch, maar dat hoort er volgens mij bij, als er maar duidelijk is dat het om iets gaat waarvoor we gemeenschappelijk belangstelling hebben. In elk geval mocht ik door elke commentaar iets leren.

Trouwens zijn er inmiddels verschillende tijdschriften aan het experimenteren met andere vormen van peer review en andere redactieprocessen. Een mooi voorbeeld geeft het (bio-)wetenschappelijke tijdschrift eLife met als hoofdredacteur de Nobelprijswinnar Randy Schekman.

Wat is de moraal van dit verhaal? We moeten weer een publicatiestrategie hebben die plezier heeft in debatten en open staat voor riskante bijdragen. De rapporteurs moeten weer een gezicht krijgen en zicht niet verstoppen voor een levendige en beleefde discussie. Ze moeten weer discussiepartners zijn in plaats van geheime dictatoren. Kritiek moet de vertrouwelijke sfeer van peer review achterlaten. Ze moet terug naar de sfeer waar ze in te tijd van de verlichting vandaan kwam: publiciteit. We hebben weer een “cultuur van kritiek” (Hirschi, 2018) nodig, een vorm van discours die anti-dogmatische openheid verbindt met democratische openbaarheid.