Project impact

Nieuws | door Sicco de Knecht
1 november 2016 | De nieuwe evaluatiesystematiek voor onderzoek van het UMC Utrecht kreeg onlangs internationale aandacht. ScienceGuide sprak met een van de ontwikkelaars Rinze Benedictus over de totstandkoming er van en hoe het UMC tot implementatie overgaat.

Het UMC Utrecht heeft de afgelopen tijd twee interventies gepleegd op de gebruikelijke beoordeling van onderzoek en onderzoekers. Hierover schreven decaan Frank Miedema en stafadviseur Rinze Benedictus vorige week op uitnodiging in het tijdschrift Nature. ScienceGuide vroeg Benedictus hoe het gelukt is om de organisatie zo ver te krijgen en wat de eerste ervaringen zijn met de nieuwe methodiek.

In het artikel beschrijven zij twee beleidsinterventies: “Ten eerste vragen we kandidaat-hoogleraren nu om een portfolio in te dienen in plaats van alleen een cv en een brief,. Hierin vragen we ze om hun bredere academische profiel te schetsen, dus ook in termen van onderwijs en bredere betrokkenheid in de redactie van vakbladen of patiëntenverenigingen.”, legt Benedictus uit, “In de meerjarige beoordeling van onze onderzoeksprogramma’s gaat de aandacht nu ook specifiek uit naar de maatschappelijke impact van het onderzoek.”.

Onderzoekers worden betrokken

Het proces waarmee de nieuwe protocollen werden opgesteld werd vanuit de Raad van Bestuur en de Scientific Board afgekondigd, maar vanuit de organisatie zelf vormgegeven en  ingevuld. Benedictus gelooft erg in deze aanpak: “We zijn tot de nieuwe criteria gekomen in overleg met een werkgroep van  onze eigen onderzoekers onder leiding van prof. dr. Marieke Schuurmans.” Deze werkgroep bestond uit een brede delegatie van onderzoekers van het UMC, van promovendi tot hoogleraren. Hen is onder andere gevraagd om te komen met een voorbeeld uit hun eigen praktijk waarvan zij vonden dat het impact had gehad in de echte wereld.

Geïnspireerd door onder andere de artikelenreeks van John Ioannidis (Stanford) en Dough Altman (Oxford) : ‘How to increase value, and reduce waste.’ en het Britse Research Excellency Framework vroegen zij hun onderzoekers na te denken over wat waardevol onderzoek is. “We kwamen er op uit dat onderzoek op verschillende manieren ‘impact’ kan hebben. Het is vooral belangrijk dat je voor ogen hebt voor wíe je het doet.”, aldus Benedictus.

“Dit hoeft niet te betekenen dat onderzoek direct iets oplevert voor de patiënt.”, benadrukt Benedictus. “maar bij het formuleren van de onderzoeksvraag moet er al nagedacht zijn over hoe eventuele positieve resultaten toegepast kunnen worden. Deze manier van denken sluit fundamenteel onderzoek dus absoluut niet uit.” Met deze aanpak formuleert het UMC Utrecht een antwoord op het probleem dat aantallen en impactfactoren maar een beperkt begrip van kwaliteit geven. “We zien dat studies in klinische vakken die op zichzelf heel veel impact hebben niet altijd ‘high impact’ publicaties opleveren. Er is ook minder onderzoeksgeld voor te vinden.”

“In de afgelopen twee jaar hebben we in het UMC Utrecht verschillende debatten en workshops georganiseerd, waardoor de probleemanalyse breed gedeeld wordt.” Benedictus benadrukt het belang daarvan: “Het is belangrijk om onderzoekers uit alle lagen zich hardop, en in breder gezelschap, te laten uitspreken over wat de problemen zijn. Dat heeft de weg bereid om te komen tot de nieuwe evaluatiemethode.”

De resultaten van deze gedachtenoefening zijn goed terug te zien in de ontwikkelde protocollen. Zo wordt bij de aanstelling van nieuwe hoogleraren gevraagd welke studenten en promovendi ze hebben begeleid. Bij de evaluatie van onderzoeksprogramma neemt de reviewcommissie mee op welke manier de mogelijke (eind)gebruiker van de onderzoeksresultaten is betrokken in het project. De indicatoren voor impact zijn helemaal door UMC Utrecht-onderzoekers bedacht.

Implementatie

Alhoewel het om grote interventies gaat staan ze nog maar aan het begin van de invoering. “In deze fase hebben we er voor gekozen om te beginnen bij de aanstelling van hoogleraren en het beoordelen van de zes UMCU brede onderzoeksprogramma’s. We willen het verder door gaan voeren, te beginnen bij de aanstelling van universitair hoofddocenten.”, aldus Benedictus die denkt dat dit mogelijk binnen een jaar al realiteit zal zijn.

“We krijgen nu al de vraag van afdelingen zelf of ze de nieuwe protocollen mogen toepassen. Dat mag uiteraard.”, weet Benedictus te vertellen. “We zetten de nieuwe indicatoren in ieder geval in waar mogelijk, bijvoorbeeld bij de jaarlijkse verantwoording van de begroting.“ Het kwalificatieportfolio is in zijn vorm sterk geïnspireerd op de methodiek van het Zweedse Karolinska instituut en ook andere instellingen kunnen de protocollen gebruiken als ze hier interesse in hebben.

Institutionele vrijheid

Benedictus en Miedema, beiden actief in de beweging Science in Transition, pleiten al jaren voor een andere wijze van beoordelen en waarderen van wetenschap maar kwamen nog niet eerder met zo’n concreet voorbeeld. “Alhoewel er altijd al institutionele bereidheid was om de zaken anders aan te pakken hebben we er lang over gedaan om ons te realiseren waar onze vrijheid ligt om te zeggen: dit vinden we belangrijk en dit minder. Je voelt je al snel beperkt tot de competitieve werkelijkheid van de internationale wetenschap en de verdeling van onderzoeksgelden.”.

Een vaak gehoorde kritiek tegen het afwijken van de getalsmatige benadering van onderzoeksoutput, met name in aantallen artikelen en impactfactoren, is dan ook dat dit inmiddels de internationale standaard is geworden voor het beoordelen van onderzoekers. “We hebben zeker afgewogen of we onze onderzoekers niet op een achterstand brengen door een andere methodiek te gebruiken.”, aldus Benedictus. Hij ziet het nog niet gebeuren dat onderzoekers om die reden het UMC Utrecht zullen gaan mijden: “Het is niet zo dat we de oude indicatoren over de schutting gooien, we breiden het palet juist uit met indicatoren die relateren aan  wat voor de patiënt op kortere termijn belangrijk is.”

Onze verwachting is dat het hele veld gaat bewegen in deze richting.”, zegt Benedictus. “Het feit dat we vanuit de redactie van Nature de vraag hebben gekregen onze evaluaties onder de aandacht te brengen lijkt misschien wat ironisch, maar geeft ook aan dat er iets aan het veranderen is.”, benadrukt hij. Zeer grote organisaties zoals ERC, de Engelse HEFCE en ook NIH in de VS werken aan deze benadering om meer impact te genereren met subsidiegeld. “Ook als je kijkt naar hoe belangrijke nationale partners zoals de Gezondheidsraad, het KWF Kankerfonds of de Hartstichting zich positioneren in de discussie over de waarde van onderzoek, kunnen we ons als UMC gesteund voelen.”.

Subjectieve criteria

De nieuwe evaluatieprotocollen stuiten ook op weerstand: “Een veelgehoorde tegenwerping op onze evaluaties is dat deze aanpak niet objectief genoeg is, het hangt te veel af van reviewcommissies.”, licht Benedictus toe die tegelijkertijd ook de aannames achter een dergelijke gedachtegang bekritiseert: “Het is niet alsof een h-index niet zwaar leunt op een veelvoud van aannames over succes en prestatie. Wat dat betreft bestaan objectieve criteria sowieso niet.”.

De nieuwe methodiek maakt zich door de toename van papierwerk waarschijnlijk niet populair bij de onderzoekers die dit in moeten vullen. “Zo’n portfolio is inderdaad wat meer werk dan alleen een cv en een brief, maar we zien hier toch echt de meerwaarde van in.”, aldus Benedictus. “Het belangrijkste is dat we sinds we de nieuwe protocollen gebruiken veel betere gesprekken voeren over wat we willen bereiken met onderzoekslijnen, en daar is het ons allemaal om te doen geweest.”


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK