Verdeel onderzoeksgeld deels door loting
Het verdelen van geld is een belangrijke aangelegenheid in de wetenschap; wie een carrière binnen de academie nastreeft, is daarvoor afhankelijk van toegekende onderzoeksbeurzen. Het bepalen welke onderzoeker of onderzoeksgroep meer aanspraak maakt op financiering is echter geen gemakkelijke aangelegenheid, schrijven onderzoekers van de Vrije Universiteit Amsterdam en de Aarhus University uit Denemarken. Zij pleiten voor een model met loting.
Huidige model zorgt voor veel druk
Wetenschapsfinanciers zijn gewend hun beurzen te verdelen via een competitief model dat drijft op peer reviews. Omdat veel onderzoeksvoorstellen daarin worden afgewezen en het percentage dat gehonoreerd wordt daarenboven afneemt, zet dit veel druk op zowel de indieners van een onderzoeksvoorstel, de beoordelaars daarvan en de organisatie zelf.
Daarnaast worden de uiteindelijke beslissingen vaak gekenmerkt door vooroordelen, onbetrouwbaarheid en inefficiëntie, aldus de onderzoekers. Zo krijgen gevestigde namen en instituten sneller onderzoeksfinanciering en worden out-of-the-box onderzoeksvoorstellen zelden gehonoreerd.
Selectie en loting voor verdeling onderzoeksgeld
Gezien deze problematiek zou het traditionele systeem van onderzoeksfinanciering wellicht niet in staat kunnen zijn om op betrouwbare en consistente wijze de beste onderzoeksvoorstellen te honoreren, schrijven de onderzoekers. Daarom stellen zij een ander model van toekenning voor, waarin de methode van peer review wordt aangevuld met en deels vervangen door loting. Met dat model, dat analoog lijkt aan het Klaas Visser-model voor het selecteren van studenten, wordt al geëxperimenteerd. In het Klaas Visser-model wordt de groep laagst gerangschikte aspirant-studenten uitgeloot, de groep hoogst gerangschikte aspirant-studenten ingeloot en de grote groep daartussenin onderworpen aan loting.
In deze opzet wordt middels een eerste ronde van peer review besloten welke van de ingediende voorstellen niet in aanmerkingen komen voor financiering. “Zo wordt het kaf van het koren gescheiden”, aldus de onderzoekers. Uit de bundel voorstellen die wel in aanmerking komt voor financiering worden vervolgens de voorstellen geselecteerd die door de beoordelaars unaniem als toponderzoek worden gezien. Deze voorstellen worden sowieso geselecteerd. De overige voorstellen, die wel in aanmerking komen voor financiering maar niet als de beste voorstellen worden gezien, worden onderworpen aan een loting.
Om de verdeling van onderzoeksgeld zo eerlijk mogelijk te houden wordt geadviseerd om nieuwe voorstellen van onderzoekers wier eerdere voorstel is goedgekeurd in overweging te nemen voordat het reeds goedgekeurde onderzoek is afgerond. Daarnaast adviseren de onderzoekers om het proces zo transparant mogelijk te maken. Dat geeft onderzoekers wier onderzoeksvoorstel niet is gehonoreerd omdat het is uitgeloot de gelegenheid om dit voorstel, dat wel aan de criteria voldeed, toch op hun cv te zetten.
Minder dubieuze onderzoekspraktijken
Een belangrijk gevolg van dit model voor onderzoeksfinanciering zal de verminderde frequentie van dubieuze onderzoekspraktijken zijn, voorspellen de onderzoekers, van wie één promotieonderzoek deed naar frauduleuze onderzoekspraktijken. “We geloven dat indieners in hun onderzoeksaanvraag minder snel geneigd zullen zijn om aan overselling en het verkeerd presenteren van eerder onderzoek te doen. Daarnaast zal deze methode van onderzoeksfinanciering leiden tot minder druk om zoveel mogelijk te publiceren teneinde nieuwe financiering te krijgen; juist die focus op output wordt gezien als een belangrijke aanleiding om er dubieuze onderzoekspraktijken op na te houden.”
Uit reeds ondernomen experimenten blijkt dat dit model van financiering nog meer voordelen met zich meebrengt: het maakt de verdeling eerlijker, efficiënter en diverser. Zo geeft het huidige systeem met haar mankementen ruimte aan het Mattheus-effect, terwijl een ongewogen loting de staat van dienst van een onderzoeker juist niet in overweging neemt. Daarnaast is een loting transparant over de rol die ‘geluk’ speelt in de besluitvorming, terwijl de huidige systemen nog de pretentie hebben dat de besluitvorming puur op verdiensten is gebaseerd. “Men zou kunnen zeggen dat het kans-element, dat nu al inherent is aan de beoordeling en selectie, door dit model met loting slechts wordt geformaliseerd”, schrijven de onderzoekers.
Model met loting sterk tegengif voor Mattheus-effect
Daarnaast zal dit systeem efficiënter zijn omdat het beoordelaars niet opzadelt met de ingewikkelde taak om onderscheid te maken tussen onderzoeksvoorstellen die in kwaliteit weinig tot niet van elkaar verschillen. Ook is in pilots met honorering door loting gebleken dat een veel breder scala aan voorstellen (zowel wat de indiener, het onderwerp, de discipline en de methodologie betreft) werd goedgekeurd. “Loting lijkt dus een krachtig tegengif voor het Mattheus-effect”, aldus de onderzoekers.
Uit diezelfde pilots en experimenten blijkt vooralsnog dat onderzoekers niet geneigd zijn onderzoeksvoorstellen van een lagere kwaliteit te sturen omdat die door het gebruik van loting alsnog gehonoreerd kunnen worden. Zo bestaat de zorg dat indieners zich ertoe beperken niet onder de ondergrens te geraken, wat hun voorstel recht geeft op deelname aan de loting. Het lijkt erop dat onderzoekers echter evenveel tijd aan hun voorstellen besteden als ze doen in het huidige systeem van onderzoeksfinanciering.
Onderzoeksfinanciers, ga hiermee aan de slag
Omdat het huidige systeem stevige mankementen kent en het model met loting beloftevol lijkt, worden onderzoeksfinanciers door de auteurs aangespoord om te experimenteren met het integreren van loting in hun systeem van beoordeling en honorering.
De auteurs zelf zijn vooral benieuwd naar de invloed die dit nieuwe model zal hebben op de frequentie van dubieuze onderzoekspraktijken. Eerder onderzoek geeft namelijk sterke aanleiding te denken dat de procedures van onderzoeksfinanciers van grote invloed zijn op het al dan niet verantwoord uitvoeren van onderzoek. “Het introduceren van modellen met loting biedt een uitstekend kader om dat te bestuderen.”
