Open scientists willen strijd aangaan met slechte tijdschriftpublicaties
In het bedenken van tussentijdse kwaliteitscontroles is de internationale gemeenschap van open scientists al aardig geslaagd: het voorpubliceren van onderzoeksvragen, hypothesen en methoden is inmiddels verschoven van theorie naar praktijk. Het aandoen van deze tussenstations in het onderzoeksproces heeft maar één doel: ervoor zorgen dat het onderzoeksproces van een wetenschapper tot aan publicatie van het eindproduct zo transparant en controleerbaar mogelijk is.
Meld u hier aan voor de ScienceGuide Nieuwsbrief
VU-medewerkers Tomas Knapen en Sander Bosch, de eerste neurowetenschapper en de tweede Open Science Officer bij de VU-bibliotheek, willen met die kwaliteitscontrole echter nog een stap verder. Tijdens het Open Science Festival verkenden ze samen met een vijftiental deelnemers de mogelijkheid om wetenschappelijke artikelen ook ná publicatie aan een grondige controle te onderwerpen.
Peer review wordt een spelletje
Dat er extra controle nodig is, komt volgens Knapen doordat tijdschriftpublicaties een bijna onaantastbare status hebben gekregen, terwijl de weg ernaartoe niet altijd eerlijk verloopt. “Zodra een artikel gepubliceerd is, wordt de inhoud gezien als waarheid en als een onderdeel van de wetenschappelijke canon. De drempel om een artikel na publicatie terug te halen is dan ook erg hoog. Maar als je onderzoekers vraagt naar het publicatiesysteem, is er veel kritiek.”
Zo zorgt de impact factor van een tijdschrift er volgens Knapen voor dat de waarde van iemands publicatie nogal afhankelijk is geworden van het werk van anderen dat in datzelfde tijdschrift is gepubliceerd. Daarnaast heeft de citatie-index een spelletje gemaakt van beoordelingen. “Je hoort regelmatig dat beoordelaars bij een auteur afdwingen dat hun eigen werk ook wordt geciteerd. Als de rollen even later zijn omgedraaid, of er is een conflict van een andere aard, dan wordt er wraak genomen. Daar komt nog eens bij dat het beoordelen van een artikel veel tijd kost waarvoor je niks terugkrijgt”, aldus de neurowetenschapper. Zodoende glippen er soms ook minder goede artikelen langs de kwaliteitscontrole.
Een vind-ik-leuk-knop
Knapen en Bosch zijn daarom voorstanders van een systeem dat wetenschappelijke artikelen ook ná publicatie onderwerpt aan een continue vorm van evaluatie. Om te voorkomen dat gebruikers vastzitten aan de mogelijkheden en beperkingen van zo’n systeem, moet dat volgens hen gebeuren zonder inmenging van commerciële platformen.
Ook is er een kritieke massa van gebruikers nodig om beoordelingen op democratische wijze te kunnen vormgeven. Het systeem moet daarom laagdrempelig zijn. Hoe dat er precies moet gaan uitzien, weten de twee nog niet. “We kunnen enerzijds werken met volledig geschreven reviews”, zegt Knapen, “maar we denken ook aan een paneel met schuifknoppen of een simpele vind-ik-leuk-knop zoals op sociale media.”
Vooroordelen en pestgedrag
“Ik zie die vind-ik-leuk-knop eerlijk gezegd niet echt zitten”, zegt een deelnemer tijdens een breakoutsessie. “Hoe informatief is dat nou eigenlijk? En over sociale media: niet alle wetenschappers houden daarvan, dus je houdt waarschijnlijk een kleine groep over die daar heel enthousiast aan de touwtjes trekt.”
Haar groepsgenoten zijn het met die analyse eens. Ook een Wikipedia-achtige constructie, waarbij iedereen bijdraagt aan de duiding en waardering van een artikel, lijkt de groep geen goed plan: “Wikipedia is open voor iedereen, maar in de praktijk is het ook daar gewoon een kwestie van botsende persoonlijkheden”, aldus één van hen.
De groep maakt zich ook zorgen over diversiteit. De bewuste of onbewuste vooroordelen over vrouwen en ethnische minderheden die reeds in de wetenschap en de maatschappij aanwezig zijn, zou kunnen doorwerken in de reviews die ze krijgen.
Een deelnemer van een andere breakoutsessie vertelt even later dat er in zijn groep werd gesproken over het risico van pestgedrag. “Anonimiteit is een dilemma, we kwamen daar niet uit. Als je de reviews anoniem houdt, kan iedereen van alles spuien. Maar als je de beoordelingen niet anoniem maakt, dan ontstaat er misschien angst om kritiek te geven op het werk van gevestigde onderzoekers.”
Er is dus moderatie nodig, concluderen Knapen en Bosch. Ook het belonen van goede beoordelaars zien ze als mogelijke oplossing. Zo zou een uitgebreide schriftelijke review idealiter moeten kunnen meetellen als eigenstandige publicatie. Ook zouden beoordeelaars co-auteur kunnen worden van een volgende versie van een artikel. “Dat vind ik echt een goede suggestie”, zegt Bosch. “Als een goede review een artikel echt beter maakt, dan is co-auteurschap zeker niet onmogelijk.”
Een ‘record of versions’
Een andere prangende vraag uit de breakoutsessies is daarmee nog niet opgelost: hoelang moet je als auteur blijven reageren op reviews? Hoeveel nieuwe versies moet je maken, en wanneer is het goed genoeg? “Op dit moment is de route van idee naar een eindversie vergelijkbaar met het beklimmen van een ladder”, zegt één van de deelnemers. “Je hebt telkens een duidelijke volgende stap. Maar als die stappen wegvallen, begint de ladder meer op een berg te lijken. De weg naar boven is bezaaid met rotsen en bomen en slingerpaadjes”.
Bosch vraagt zich af of het antwoord niet aan de wetenschapper in kwestie is. “Je zou eigenlijk ook een halfbakken artikel moeten kunnen publiceren, met daarbij de uitgesproken intentie om een betere versie te maken. En onderzoekers die zeggen ‘ik ben er helemaal klaar mee’, geven juist aan dat ze geen nieuwe versie zullen maken.”
“Dan hebben we wel een systeem nodig dat alle versies bijhoudt”, merkt Knapen daarbij op. “Open reviews maken het hele proces veel vloeibaarder, maar dat moet allemaal wel werkbaar blijven.” VU-bibliothecaris Bosch is het daarmee eens. “Ik geloof dat het Bianca Kramer van de UU-bibliotheek was, die eerder al eens zei: een publicatie is een version of record, maar wat we nodig hebben is een record of versions.”
