Beoordeling onderzoeksaanvraag verbetert door diversiteit commissie
Diversiteit onder commissieleden
In de wetenschap is peer review (beoordeling door gelijken) een gouden standaard. Deze methode wordt niet alleen toegepast bij publicaties, maar ook bij onderzoeksaanvragen. Hierbij is er sprake van twee fasen. In de eerste fase lezen commissieleden de brochures van de aanvragen, waarna zij in de tweede fase als panel discussiëren over hun oordeel. Dit proces is echter niet gestandaardiseerd, waardoor de individuele inbreng van panelleden veel uitmaakt voor de uitkomst.
Onderzoekers van de Universiteit Leiden hebben nu geanalyseerd welke argumenten verschillende panelleden gebruiken. Dit onderzoek vond plaats onder aanvragen voor financiering bij medische financier ZonMw en de Hartstichting. Hierbij waren er vier criteria: wetenschappelijke kwaliteit, maatschappelijke relevantie, rol van de aanvrager en rol van de commissie. In totaal werden tien sessies bestudeerd bij acht onderzoeksprogramma’s, die per keer enkele tientallen aanvragen behandelden.
Niet-wetenschappers verbeteren onderzoeksbeoordeling
In totaal noteerden de onderzoekers meer dan duizend argumenten, met een gemiddelde van zo’n 126 per vergadering of 15 per aanvraag. Opvallend was dat de meeste commissieleden wetenschappers waren en dat wetenschappelijke argumenten dan ook het vaakst voorkwamen. Vooral de haalbaarheid van het onderzoek was hierbij belangrijk. Wetenschappers voerden ook vaker argumenten aan dan niet-wetenschappers. Maatschappelijke relevantie werd net iets minder vaak besproken, terwijl de rollen van aanvrager en commissie nauwelijks aan bod kwamen.
De nieuwsbrief is exclusief toegankelijk voor medewerkers van onze partners.
Daarentegen bespraken niet-wetenschappers zoals zorgprofessionals, patiënten en beleidsmakers vaker de maatschappelijke relevantie van onderzoek. Interesse in de impact van aanvragen kwam sterk vanuit patiënten, die zo’n 10 procent van de argumenten leverden. Beleidsmakers, die slechts zo’n 5 procent van de argumenten aandroegen, waren het beste thuis in beide domeinen. Als geheel waren de argumenten van de niet-academische commissieleden gevarieerder dan die van wetenschappers.
Verschillen tussen publieke organisatie ZonMw en de private Hartstichting waren ook inzichtelijk. Zo selecteert ZonMw standaard niet-academici voor commissies, terwijl dit bij de Hartstichting op ad-hoc basis gebeurt. Bij laatstgenoemde bepaalt de samenstelling van de commissie meer welke argumenten naar voren komen. De onderzoekers concluderen dan ook dat een diverse samenstelling van beoordelingscommissies bijdraagt aan het aanspreken van andere domeinen in onderzoeksfinanciering.
Aanbevelingen voor onderzoekscommissies
Volgens de studie kunnen bij onderzoeksvoorstellen verschillende gebruikers worden geduid, van professionals en patiënten tot de samenleving als geheel. De definities van wetenschappelijke kwaliteit, maatschappelijke relevantie en excellent onderzoek kunnen dus per persoon verschillen. Een panel met wetenschappers en niet-wetenschappers kan op basis van wederzijds respect komen tot conclusies die breder, concreter en toepasbaarder zijn dan onderzoek uit de ivoren toren.
De onderzoekers doen ook nog andere aanbevelingen voor peer review van onderzoeksaanvragen. De brochures op basis waarvan de panels plaatsvinden, moeten betere definities bieden ter sturing van de argumenten. Nu komt behalve de haalbaarheid geen enkel argument consistent terug in een meerderheid van de gesprekken. In die gesprekken zou het beter zijn de voorstellen te beoordelen dan ze te rangschikken. Dit voorkomt ook dat het meer gaat over het aanzien van de aanvragers dan over de aanvraag. Verder moeten patiënten getraind worden ter voorbereiding op de paneldeelname.
Diversiteit in wetenschapscultuur
Ten slotte sluit het onderzoek nog aan bij de ontwikkelingen in wetenschapscultuur die in gang zijn gezet door de San Francisco Declaration On Research Assessment (DORA). Deze verklaring maakt namelijk ook melding van het meenemen van gebruikers ofwel patiënten in het onderzoeksproces. Tevens beamen de onderzoekers dat een bottom-up benadering van wetenschap het draagvlak van academische conclusies in de samenleving verankert. Om deze reden zouden onderzoeksfinanciers peer-reviewpanels moeten diversificeren en openstellen voor niet-wetenschappers.
In de maand april doet ScienceGuide onderzoek naar de ervaringen met en opvattingen over het Erkennen en Waarderen-programma. Alle wetenschappers van universiteiten en kennisinstellingen worden uitgenodigd de enquête in te vullen. Klik hier voor de enquête (en hier voor de Engelstalige versie).
Het idee dat alle achtergronden nodig zijn aan de academie, sluit aan bij de workshop die actiegroep 0.7 organiseerde tijdens het jongstleden Erkennen en Waarderenfestival. Academici met afwijkende achtergronden kunnen niet-archetypische argumenten aandragen, die de wetenschap verder helpen. Tijdens de workshop was het de vraag of deze diversiteit verplicht moet zijn voor iedere commissie, of dat het belangrijker is om diversiteit en bewustzijn daarvan over alle commissies te verspreiden. Vooralsnog is ZonMw voorzichtig in het omarmen van het Erkennen en Waarderen-programma. In medisch onderzoek is diversiteit in ieder geval een meerwaarde voor maatschappelijke relevantie.
