Maatschappelijke impact onderzoek nu meetbaar

Bij de meting van de kwaliteit van wetenschappelijk onderzoek inNederland vormen citatiescores nog altijd de belangrijkstegraadmeter. Er zijn wetenschappen waar dat niet goed werkt, zoalsconstructiewetenschappen. In de architectuur is het eindproduct vanvernieuwend onderzoek een gebouw, niet een artikel in eenwetenschappelijk tijdschrift.

Is waarde meetbaar?

Ook wordt in toenemende mate naar de maatschappelijke relevantievan wetenschappelijk onderzoek gevraagd. Er was daarom genoegaanleiding om de evaluatiemethoden van wetenschappelijk onderzoekonder de loep te nemen. Want, “wie niet meet wat waardevol is,waardeert wat gemeten wordt”, aldus VSNU-voorzitter SijboltNoorda.

8 maart presenteerde het Rathenau-Instituut in de Schouwburg vanDen Haag een handreiking voor de evaluatie van de maatschappelijkerelevantie van wetenschappelijk onderzoek. De handreiking werdpositief ontvangen door bestuurders uit wetenschap en hogeronderwijs.

Het meten van reputaties

“In het hbo is onderzoek een kakelverse traditie”, zo merkteHBO-raad voorzitter Doekle Terpstra op. “De toegevoegde waarde vanEric is dat instellingen zich hieraan kunnen spiegelen, zodat zeniet allemaal zelf het wiel hoeven uitvinden.” Voorzitter JosEngelen (NWO) roemde Eric als aanvulling op het standaard evaluatieprotocol (SEP). “Het hiermee uitgebreide SEP gaat ook reputatiemeten en dat is erg belangrijk”.

Directeur-generaal Renk Roborgh wees erop dat gegevens overmaatschappelijke impact van wetenschappelijk onderzoek opmacroniveau wel bekend zijn, maar op meso- en microniveau veelalontbreken, terwijl die gegevens wel hard nodig zijn. “Het gebrekaan ex ante-­gegevens over de maatschappelijke impact vanonderzoek speelt ons bij aanvragen nog wel eens parten.”

Volgens Sijbolt Noorda is deze evaluatiemethode niet alleennuttig voor verantwoording, maar ook voor het zelfbeeld vanwetenschappers. “Een brede manier van laten zien wat jewetenschappelijk waard doet je ook inzien dat je werk meer waard isdan wat in een enge definitie wordt gemeten.”

Maatschappelijke impact vooraf formuleren

Eric staat voor ‘evaluating research in context.’ Nieuw in Eric isvooral dat onderzoeksgroepen van tevoren gevraagd wordthun missie en maatschappelijke relevantie te beschrijven enindicatoren voor maatschappelijke relevantie teformuleren die in hun discipline aan de orde zijn en passenbij hun missie.

Visitatiecommissies kunnen dan achteraf beoordelen inhoeverre voldaan is aan die criteria en of hoereëel missie en criteria waren. Maatschappelijke impactwordt zo controleerbaar en het creëren ervan een professioneelonderdeel van het wetenschappelijke werk.   

Geen neutrale werkelijkheid

KNAW-directeur Theo Mulder, zelf gezondheidswetenschapper, weeser bij de presentatie op dat je wel moet oppassen welkemaatschappelijke impact je van onderzoekers vraagt. “De titel vanmijn oratie was ‘De zinloosheid van toegepast onderzoek’. Dat hadte maken met zaken waar ik zelf keihard tegenaan gelopen was. Umoet weten: resultaten van wetenschappelijk onderzoek landen nietin een neutrale werkelijkheid.

Ik was ooit te gast bij Hans Wiegel van de zorgverzekeraars. Diegaf me om 11 uur ‘s ochtends een sigaar – waar krijg je die nog?Vervolgens zei hij tegen mij: Theo, je maakt een grondfout. Jijredeneert vanuit de inhoud. Maar zorgverzekeraars zijn alleen maargeïnteresseerd in kostenbeheersing en daar ga jij niet over.”

Mulder concludeerde daarom dat je onderzoeksgroepen nietverantwoordelijk moet maken voor dingen waarvoor ze geenverantwoordelijkheid kunnen nemen. Niet iedere maatschappelijkeimpact is realiseerbaar of wenselijk. Hij miste de benoeming vandergelijke vraagstukken in de handreiking van Eric.


De impact van detachering

Decaan Ton Backx van de faculteit Electrical Engineering van deTechnische Universiteit Eindhoven vertelde dat het denken overmaatschappelijke impact op zijn faculteit tot een andere werkwijzehad geleid. “Voorheen probeerden we maatschappelijke impact tebereiken door toelichtingen te geven bij wetenschappelijkeartikelen of proefschriften. We merken dat dat nog maar heel weinigimpact heeft.

De afgelopen jaren heeft de faculteit daarom een wetenschapperbij een hightech bedrijf in de Eindhovense regio gestationeerd vooreen deel van zijn werktijd. Die samenwerking heeft inmiddels geleidtot de productie van nieuwe machines die over 2 à 3 jaar op demarkt worden gebracht. “Het functiegebouw van de universiteit laatdit nauwelijks toe, want normaal gesproken krijgt een medewerkernauwelijks credit voor dit soort werkzaamheden als je dat niet goedregelt. Maar het is wel heel nodig dat het gebeurt.”

Bureaucratisch?

In het buitenland wordt Eric nog niet overal positief ontvangen.In een onderzoek van denktank RAND Europe voor deHigher Education Funding Council for England wordt Eric als ‘tebureaucratisch’ weggezet. Rand stelt dat de Australische methodeRQF (Research Quality and Accessibility Framework) de beste basisbiedt voor het ontwikkelen van een impactmeting die aan deHEFCE-criteria voldoet.

Maar onderzoeksleider Peter van den Besselaar (Rathenau)zei na afloop van de presentatie tegen ScienceGuide dathet bewuste onderzoek van Rand is gebaseerd op een voorganger vanEric, namelijk sci_Quest, zoals onder meer op de Hogeschool Utrechtgebruikt. “Die methode was inderdaad bewerkelijk. De nieuwe versievan Eric bewust veel dunner gemaakt, waardoor hun kritiek niet meeropgaat.”