Opeenstapeling van weeffouten
‘Waar zitten de structurele weeffouten? Er zijn er vele. Op deeerste plaats is vrijwel alles binnen de academische cultuurgericht op het produceren van publicaties waarop jouw naam staatvermeld. Het is niet belangrijk dat die er als enige op staat.Integendeel. Tijdschriften kijken altijd of de publicatie meerderenamen bevat.
Plaats 139, ook goed
Dat wordt gezien als uiting van samenwerking, wat weer wordtgezien als een indicatie voor kwaliteit. Het doet er niet hoeveelnamen er boven staan als het er maar meer dan één is. Iedere auteurkrijgt evenveel credits, ook al staan er vele namen boven. U wilthet geloven of niet, maar er zijn publicaties bekend met honderdennamen er boven. Iedere genoemde krijgt evenveel waardering, of dezenu op plaats 139 staat of op plaats één.
Hofstee, emeritus hoogleraar uit Groningen, heeft eensgeprobeerd een formule te introduceren op auteursvermeldingenwaarbij de eerste genoemde minimaal 50% van de credits krijgt en deoverige krijgen hun credits afhankelijk van het aantal auteurs. Dieformule is nergens toegepast. Jammer. Iedere genoemde is nu watbetreft de waardering even belangrijk. Dat leidt zonneklaar totfrauduleus gedrag. ‘Ik vermeld jou als jij mij er bij zet.’
Het kan niet anders of de Leidse hoogleraar Bax komt op diemanier aan één publicatie per twee werkdagen. En dat tikt lekkeraan op de lengte van je publicatielijst. Want er geldt ook dat hoelanger die lijst is, des te hoger je in aanzien staat en des tehoger je kansen zijn om in aanmerking te komen voor externefondsen. Want subsidiegevers als het NWO gaan voor een groot deelaf op de reputatie van de geldvrager. En wat is gemakkelijk omhiervoor de publicatielijst te nemen? Gemakzuchtig is het wel.
Ons kent ons
Een tweede misstand is de promotiecultuur. Het is zolangzamerhand bon ton geworden te promoveren op een aantalartikelen. Daar is niets op tegen, integendeel. De lat moet hoogzijn. Ik zelf heb in de jaren tachtig een proefschrift geschrevenwaarop ik nu absoluut niet meer zou zijn gepromoveerd.
Niet dat het slecht was, maar omdat het één enkel onderzoekbetrof. Meerdere artikelen betekenen meestal dat er meerdereonderzoeken zijn verricht. Promovendi verrichten meestal onderzoekdat is bedacht door een senior onderzoeker.
Het is gebruikelijk, en verdedigbaar, de bedenker van hetonderzoek ook als auteur te vermelden. In veel gevallen is deseniormedewerker de promotor zelf. Zijn naam komt daarom in hetrijtje auteurs. Niets op tegen. Maar het wordt bedenkelijk wanneerdiezelfde promotor het proefschrift moet goedkeuren en moetbesluiten om het ter verdere beoordeling aan collega hooglerarenvoor te leggen.
Het gebeurt zelden dat deze zogenaamde promotiecommissiesproefschriften afkeuren. Niet omdat de kwaliteit van het productaltijd boven de maat is, maar omdat de ons kent ons cultuur opgelddoet. Er hangt een sfeer van: ‘Keur jij het proefschrift van mijnpromovendus goed, dan keur ik later het proefschrift van jouwpromovendus goed. Op die manier hebben we weer een aantalpublicaties op onze naam staan.’
Afhankelijkheid van de promovendus
Dan heb je de afhankelijkheid van de promovendus met depromotor. Een promovendus wil niets liever dan promoveren. Eenkritische houding tijdens het verrichten van onderzoek ten aanzienvan zijn promotor is onverstandig. Dat kan hopeloos verkeerduitpakken, zoals uit de affaire Stapel blijkt, waar slechts eenhandvol promovendi achter hun oren begon te krabben en naar eenvertrouwenspersoon stapte.
Bovendien is in veel gevallen de promotor ook de beherend baasvan de promovendus. Eventuele verdere carrièrewensen van promovendiin de groep waar ze hun onderzoek verrichten, is afhankelijk van deluimen van de promotor. Dan tel je je knopen wel tweemaal.
Ik heb in Trouw al eens een pleidooi gehouden om depromovendi van Stapel, in de gevallen waarin aantoonbaar isgefraudeerd, hun doctorstitel te ontnemen omdat zij als eersteauteur verantwoordelijk zijn voor het gehele onderzoek, ook hetvergaren van de data. Helaas is dat nog niet gebeurd, om redenenmet een hoog zieligheids karakter: ‘Ze zijn zo afhankelijk van hunpromotor. Je kunt ze hun volgzame houding toch niet kwalijknemen?’
Die redenering snijdt absoluut geen hout. We leiden academicijuist op tot kritische beroepsbeoefenaren, tot jonge mensen diezich altijd vragen moeten stellen als: Waarom? Hoe zit dat? Kan datwel? Zo’n houding moet juist worden gestimuleerd.
Centrale databank niet de sleutel
Zijn er oplossingen te bedenken? Ja, maar ze zijn nieteenvoudig. Er is gesuggereerd een centrale plaats op de richtenwaarin onderzoekers hun onderzoeksgegevens moeten deponeren zodatanderen dat kunnen controleren. Dat is er al, min of meer.Onderzoekgegevens gooi je niet weg. Hoewel er geen bewaartermijnbestaat, is het gebruikelijk dat de onderzoeker tenminste eenaantal jaren de gegevens bewaard. Collega-onderzoekers kunnen diegegevens opvragen voor verder gebruik. In praktijk gebeurt dat al,misschien te weinig.
Toch is een centrale plaats waar onderzoeksgegevens wordenopgeslagen geen oplossing voor het probleem van verzonnen data,zoals Stapel die produceerde. Je kunt heel gemakkelijk zelfbestanden maken en die naar de databank sturen. Ik heb me latenvertellen dat er in Amerika een instituut bestaat waar je tabellennaar toe kunt sturen. Het instituut stuurt je vervolgens, tegenbetaling uiteraard, onderzoeksgegevens waaruit die tabellenzogenaamd zijn ontstaan.
Een databank zou veel meer controleerbare en naspeurbaregegevens moeten gaan bevatten, bijvoorbeeld: Bij welke instantiezijn de data verzameld? Wie was de contactpersoon daar? En meer vandergelijke naspeurbare gegevens die in geval van twijfel, maar ooksteekproefsgewijs, zouden kunnen worden nagetrokken.
KNAW blad voor Replicatie?
In het academisch milieu staat zogenaamd replicatieonderzoekniet in hoog aanzien. Replicatieonderzoek is onderzoek waarin deonderzoeker dezelfde vraagstellingen gaat onderzoeken als eerder isgedaan, maar dan met opnieuw vergaarde gegevens. De repliceerdervoert als het ware het onderzoek opnieuw uit.
Zoals gezegd, replicatie staat niet in hoog aanzien en slechtszeer weinig tijdschriften zullen de uitkomsten publiceren. Daaromzal er geen onderzoeker aan beginnen. Je kunt er immers niet meescoren. Zou het een idee zijn wanneer de KNAW een tijdschrift zouoprichten en onderhouden, waarin uitsluitend replicatieonderzoekwordt gepubliceerd?
Dus meer en gewaardeerd replicatieonderzoek is een deel van deoplossing. Structureel is die niet omdat deze oplossing nog steedsbevattelijk is voor frauderen. Bovendien is het geen oplossing voorhet probleem van de ellenlange publicatielijsten die ten onrechteals enige worden gezien als indicatie voor kwaliteit.
Wat is kwaliteit dan wel? Dat is geen makkelijke vraag, althanshet antwoord is niet eenduidig. In ieder geval is kwaliteit nietsynoniem aan de lengte van een publicatielijst, hoewel je eenonderzoeker die nooit wat publiceert, niet direct vooraanstaandkunt noemen. Kwaliteit moet je bewijzen, of, zoals devooraanstaande psycholoog Adriaan de Groot ooit zei, kwaliteit moetblijken. Het kwaliteitsbegrip is veelomvattend.
Het aantal publicaties is belangrijk, de omvang of reikwijdtevan het onderzoek speelt mee, originaliteit, maar vooral de duw diede publicatie geeft aan de theoretische ontwikkeling van dediscipline waarin het onderzoek is verricht en de praktischetoepasbaarheid. Het aantal citaties, dus het aantal keren dat een(collega-)onderzoeker aan het onderzoek refereert, zou daarom eengoede indicator zijn voor kwalitatief onderzoek, ware het niet datdit criterium in praktijk zeer bevattelijk is gebleken voorbedenkelijk gedrag.
Noem jij mij dan noem ik jou
Er zijn publicaties waar meer dan de helft van de referentiesbestaat uit self citations, dus uit referenties naareigen, eerdere publicaties. Dat tikt lekker aan. Ook sprekenonderzoekers af aan elkaar te refereren,noem jij mij dan noem ikjou. Maar het aantal referenties door andere onderzoekers kun jeniet helemaal ter zijde schuiven bij het geven van een oordeel overde bijdrage van de onderzoeker aan de vooruitgang van dediscipline.
In feite komt het er op neer dat er geen eenduidig criterium isvoor kwaliteit. Of onderzoekers kwaliteit hebben, is een zaak vanoordelen over het geheel van hun onderzoeksprestaties doorvakgenoten. Vakgenoten zijn in staat het belang aan te geven vancollega’s voor de discipline. Zij zouden een holistisch oordeelmoeten geven over de kwaliteit van onderzoek.
Natuurlijk, vakgenoten hebben belangen die vaak parallel lopenaan de belangen van onderzoekers die ze moeten beoordelen. Maar eengevarieerd samengestelde jury bestaande uit vakgenoten die hunsporen hebben verdiend, zijn heus in staat om een onafhankelijkoordeel te geven. Voor een deel bestaat zo’n systeem al.Onderzoekers verenigen zich in zogenaamde onderzoeksscholen waarinzij al hun onderzoek hebben ondergebracht.
Die scholen worden periodiek beoordeeld door een panel bestaandeuit vakgenoten. Zij beoordelen echter niet de individueleonderzoekers, maar de school als geheel. Ook kijken zij uitsluitendnaar de wetenschappelijke merites en niet naar de maatschappelijkeimpact. Die elementen zouden aan hun beoordelingstaak moeten wordentoegevoegd.’
Dr. Henk van Berkel is universitair hoofddocent bij devakgroep Onderwijsontwikkeling & Onderwijsresearch van deFaculty of Health, Medicine and Life Sciences van de UniversiteitMaastricht
Het artikel van ScienceGuide over het rapport-Schuyt van deKNAW over de wetenschapsfraude en de discussie daarover vindt u
