Bij de meting van de kwaliteit van wetenschappelijk onderzoek in
Nederland vormen citatiescores nog altijd de belangrijkste
graadmeter. Er zijn wetenschappen waar dat niet goed werkt, zoals
constructiewetenschappen. In de architectuur is het eindproduct van
vernieuwend onderzoek een gebouw, niet een artikel in een
wetenschappelijk tijdschrift.
Is waarde meetbaar?
Ook wordt in toenemende mate naar de maatschappelijke relevantie
van wetenschappelijk onderzoek gevraagd. Er was daarom genoeg
aanleiding om de evaluatiemethoden van wetenschappelijk onderzoek
onder de loep te nemen. Want, "wie niet meet wat waardevol is,
waardeert wat gemeten wordt", aldus VSNU-voorzitter Sijbolt
Noorda.
8 maart presenteerde het Rathenau-Instituut in de Schouwburg van
Den Haag een handreiking voor de evaluatie van de maatschappelijke
relevantie van wetenschappelijk onderzoek. De handreiking werd
positief ontvangen door bestuurders uit wetenschap en hoger
onderwijs.
Het meten van reputaties
"In het hbo is onderzoek een kakelverse traditie", zo merkte
HBO-raad voorzitter Doekle Terpstra op. "De toegevoegde waarde van
Eric is dat instellingen zich hieraan kunnen spiegelen, zodat ze
niet allemaal zelf het wiel hoeven uitvinden." Voorzitter Jos
Engelen (NWO) roemde Eric als aanvulling op het standaard evaluatie
protocol (SEP). "Het hiermee uitgebreide SEP gaat ook reputatie
meten en dat is erg belangrijk".
Directeur-generaal Renk Roborgh wees erop dat gegevens over
maatschappelijke impact van wetenschappelijk onderzoek op
macroniveau wel bekend zijn, maar op meso- en microniveau veelal
ontbreken, terwijl die gegevens wel hard nodig zijn. "Het gebrek
aan ex ante-gegevens over de maatschappelijke impact van
onderzoek speelt ons bij aanvragen nog wel eens parten."
Volgens Sijbolt Noorda is deze evaluatiemethode niet alleen
nuttig voor verantwoording, maar ook voor het zelfbeeld van
wetenschappers. "Een brede manier van laten zien wat je
wetenschappelijk waard doet je ook inzien dat je werk meer waard is
dan wat in een enge definitie wordt gemeten."
Maatschappelijke impact vooraf formuleren
Eric staat voor 'evaluating research in context.' Nieuw in Eric is
vooral dat onderzoeksgroepen van tevoren gevraagd wordt
hun missie en maatschappelijke relevantie te beschrijven en
indicatoren voor maatschappelijke relevantie te
formuleren die in hun discipline aan de orde zijn en passen
bij hun missie.
Visitatiecommissies kunnen dan achteraf beoordelen in
hoeverre voldaan is aan die criteria en of hoe
reëel missie en criteria waren. Maatschappelijke impact
wordt zo controleerbaar en het creëren ervan een professioneel
onderdeel van het wetenschappelijke werk.
Geen neutrale werkelijkheid
KNAW-directeur Theo Mulder, zelf gezondheidswetenschapper, wees
er bij de presentatie op dat je wel moet oppassen welke
maatschappelijke impact je van onderzoekers vraagt. "De titel van
mijn oratie was 'De zinloosheid van toegepast onderzoek'. Dat had
te maken met zaken waar ik zelf keihard tegenaan gelopen was. U
moet weten: resultaten van wetenschappelijk onderzoek landen niet
in een neutrale werkelijkheid.
Ik was ooit te gast bij Hans Wiegel van de zorgverzekeraars. Die
gaf me om 11 uur 's ochtends een sigaar - waar krijg je die nog?
Vervolgens zei hij tegen mij: Theo, je maakt een grondfout. Jij
redeneert vanuit de inhoud. Maar zorgverzekeraars zijn alleen maar
geïnteresseerd in kostenbeheersing en daar ga jij niet over."
Mulder concludeerde daarom dat je onderzoeksgroepen niet
verantwoordelijk moet maken voor dingen waarvoor ze geen
verantwoordelijkheid kunnen nemen. Niet iedere maatschappelijke
impact is realiseerbaar of wenselijk. Hij miste de benoeming van
dergelijke vraagstukken in de handreiking van Eric.
De impact van detachering
Decaan Ton Backx van de faculteit Electrical Engineering van de
Technische Universiteit Eindhoven vertelde dat het denken over
maatschappelijke impact op zijn faculteit tot een andere werkwijze
had geleid. "Voorheen probeerden we maatschappelijke impact te
bereiken door toelichtingen te geven bij wetenschappelijke
artikelen of proefschriften. We merken dat dat nog maar heel weinig
impact heeft.
De afgelopen jaren heeft de faculteit daarom een wetenschapper
bij een hightech bedrijf in de Eindhovense regio gestationeerd voor
een deel van zijn werktijd. Die samenwerking heeft inmiddels geleid
tot de productie van nieuwe machines die over 2 à 3 jaar op de
markt worden gebracht. "Het functiegebouw van de universiteit laat
dit nauwelijks toe, want normaal gesproken krijgt een medewerker
nauwelijks credit voor dit soort werkzaamheden als je dat niet goed
regelt. Maar het is wel heel nodig dat het gebeurt."
Bureaucratisch?
In het buitenland wordt Eric nog niet overal positief ontvangen.
In een onderzoek van denktank RAND Europe voor de
Higher Education Funding Council for England wordt Eric als 'te
bureaucratisch' weggezet. Rand stelt dat de Australische methode
RQF (Research Quality and Accessibility Framework) de beste basis
biedt voor het ontwikkelen van een impactmeting die aan de
HEFCE-criteria voldoet.
Maar onderzoeksleider Peter van den Besselaar (Rathenau)
zei na afloop van de presentatie tegen ScienceGuide dat
het bewuste onderzoek van Rand is gebaseerd op een voorganger van
Eric, namelijk sci_Quest, zoals onder meer op de Hogeschool Utrecht
gebruikt. "Die methode was inderdaad bewerkelijk. De nieuwe versie
van Eric bewust veel dunner gemaakt, waardoor hun kritiek niet meer
opgaat."