Meting impact praktijkgericht onderzoek schiet tekort
Het praktijkgericht onderzoek op hogescholen verschilt in de regel van het onderzoek dat op universiteiten wordt gedaan. Praktijkgericht onderzoek ontstaat namelijk primair vanuit maatschappelijke of regionale vraagstukken, en is gericht op resultaten die praktisch toepasbaar zijn. Zodoende bestaat praktijkgericht onderzoek vaak als multidisciplinaire samenwerking tussen meerdere maatschappelijke partijen, zeggen onderzoekers van de Universiteit Leiden in een recent gepubliceerd artikel.
Aangezien praktijkgericht onderzoek zich op specifieke maatschappelijke vraagstukken richt, is het meten van de maatschappelijke impact ervan bijzonder belangrijk. Het ontbreekt het hbo echter nog aan een optimaal kader om dit te doen, mede doordat het praktijkgericht onderzoek op hogescholen nog relatief jong is. Het praktijkgericht onderzoek heeft dus een beter kader nodig om de maatschappelijke impact ervan te meten. In hun artikel vragen de Leidse onderzoekers waaraan zo’n kader moet voldoen.
Huidige meting van maatschappelijke impact is niet precies genoeg
Het praktijkgericht onderzoek hoeft het nu niet geheel zonder meetkader te doen, maar het huidige Brancheprotocol Kwaliteitszorg Onderzoek (BKO) van de Vereniging Hogescholen schiet tekort. De evaluaties van de maatschappelijke impact die een lectoraat heeft gehad wordt nu namelijk pas na zes jaar gemeten. Een dergelijke meting vindt dus achteraf plaats, en is tevens te breed opgezet, zeggen de onderzoekers.
Om de kwaliteit van het praktijkgericht onderzoek te meten, vraagt het BKO individuele hogescholen om zelf de norm te kiezen voor landelijk vastgestelde indicatoren. Die indicatoren zijn gebaseerd op de drie componenten van praktijkgericht onderzoek, namelijk een gerichtheid op de beroepspraktijk en de brede samenleving, op het onderwijs en docentprofessionalisering, en op kennisontwikkeling. Aan de hand daarvan moeten lectoraten kritisch reflecteren op de vele aspecten van hun onderzoekspraktijk.
Ook op de impact van hun praktijkgericht onderzoek kunnen lectoraten zodoende reflecteren. Volgens de Leidse onderzoekers is het kader van het BKO echter veel te breed om dat uitvoerig te doen. In het BKO wordt bijvoorbeeld niet geëxpliciteerd waarom en hoe de context van praktijkgericht onderzoek van belang is bij het meten van de maatschappelijke impact.
Als eerste aanzet richting een kader dat de maatschappelijke impact van praktijkgericht onderzoek wél goed kan meten, formuleren de onderzoekers een aantal vereisten voor een dergelijk kader. Daarbij baseren ze zich op voorbeelden en reeds bestaande theorie.
Voorwaarden voor een nieuwe manier van meten
Bij het opstellen van een nieuw meetkader moet met eerst kiezen voor een bruikbare filosofische opvatting van de relatie tussen onderzoek en de maatschappelijke impact daarvan, zeggen de onderzoekers. De eerste bruikbare opvatting die zich vooral richt op de context waarbinnen het onderzoek heeft plaatsgevonden. Daarbij gaat men ervan uit dat de impact wordt veroorzaakt door de interactie tussen de belanghebbenden gedurende het onderzoek. Deze opvatting heet ‘realistisch’.
De tweede opvatting meet de impact van onderzoek door te kijken naar de teweeggebrachte veranderingen binnen het netwerk van betrokken actoren. Hierbij richt men zich dus niet alleen op het onderzoeksresultaat, maar ook op het proces waardoor de impact wordt bewerkstelligd. Deze opvatting heet ‘performatief’. Omdat de interactie tussen betrokkenen en belanghebbenden wordt meegenomen in het meten van de impact, moet ook de component ‘co-productie’ worden gemeten. De impact wordt immers door en tussen de gezamenlijke belanghebbenden bewerkstelligd.
Om de co-productie van impact goed te doen, moet die evaluatie ook gericht zijn op het gezamenlijke leren van de betrokken belanghebbenden. Dat leerproces moet steeds real time worden beschouwd. Als laatste moet de meting niet uitgaan van een logisch model waarmee men causale verbanden tussen input en output van het onderzoek wil meten. Dat doet namelijk geen recht aan de beweeglijke en interactieve aard van praktijkgericht onderzoek.
Drie bestaande kaders om op voort te bouwen
Volgens de Leidse onderzoekers staat in elke van de genoemde voorwaarden het proces van impact-creatie centraal. Daaruit volgt dus dat het onderzoeksproces, wat in wezen het proces van impact-creatie is, moet worden geëvalueerd om de maatschappelijke impact van praktijkgericht onderzoek goed te meten.
Hoewel het praktijkgericht onderzoek nog een geschikt kader ontbeert om de maatschappelijke impact ervan te meten, kan er aan de hand van de genoemde voorwaarden al wel worden bekeken welk reeds bestaand kader als basis voor een nieuw kader kan worden gebruikt. De onderzoekers leggen daarom 11 bestaande kaders om wetenschappelijke impact te meten langs de lat van de genoemde voorwaarden. Op basis daarvan identificeren ze er drie die het meest geschikt zijn als basis voor een nieuw kader voor praktijkgericht onderzoek.
ASPIRA
Dit kader is gebaseerd op een realistische opvatting en meet maatschappelijke impact op de lange termijn door de productieve interacties en verschillende bijdragen te beschouwen. Dit kader gebruikt gestandaardiseerde case studies die zowel kwantitatieve als kwalitatieve metingen in een veelvoud van disciplines mogelijk maken. Gezien het interdisciplinaire karakter van praktijkgericht onderzoek is dat een sterk punt. ASPIRA is echter geen real time meetkader; de evaluatie geschiedt pas achteraf. Daarnaast heeft het geen concreet model van co-productie. Om als geschikt meetkader voor de maatschappelijke impact van praktijkgericht onderzoek te dienen, moet het dus op die punten worden aangepast.
Contribution Mapping
Het Contribution Mapping–kader is gebaseerd op een performatieve opvatting en bevat een real time evaluatie van het leerproces gedurende het onderzoek. Het kader richt zich vooral op de verscheidenheid aan bijdrages aan de impact van onderzoek, en niet zozeer op het toekennen van de uiteindelijke impact van het onderzoek. Ook dit meetkader mist echter een concreet model van co-productie. Betrokken actoren en belanghebbenden worden wel geïdentificeerd en geïnterviewd, maar hun bijdrage aan de evaluatie is te beperkt.
PIPA
Dit derde kader is gebaseerd op een realistische opvatting en bevat een real time evaluatie van het gezamenlijke leerproces van betrokkenen bij het onderzoek. Waar de vorige kaders een model van co-productie grotendeels ontbeerden, heeft het PIPA-kader juist wel een sterk model van co-productie.
Van Drooge en Spaapen, de onderzoekers wier afgeleide van het PIPA-kader het hier betreft, pleiten echter voor de constructie van een logisch model om de maatschappelijke impact van praktijkgericht onderzoek te meten. Het betreft daarbij geen reeds bestaand model, maar een model dat wordt gemaakt door de belanghebbenden en betrokkenen bij het onderzoek. De Leidse onderzoekers vinden dat het ontwerpen van een dergelijk logisch model echter te ver gaan. Het zou volgens hen extreem veel tijd kosten, waardoor een standaard gebruik ervan niet haalbaar zou zijn.
Sla een brug tussen BKO en belanghebbenden
ASPIRA, het Contribution Model en PIPA hebben allen een duidelijke gerichtheid op het proces van impact-creatie, oftewel het onderzoeksproces. Ze missen echter allen een concreet of haalbaar model om co-productie te meten; de belanghebbenden en betrokkenen worden niet voldoende meegenomen in de evaluatie van het onderzoek.
Om deze modellen zodanig te bewerken dat ze geschikt zijn voor het meten van de maatschappelijke impact van praktijkgericht onderzoek, moeten die belanghebbenden dus een centrale rol krijgen in de wijze van evalueren. Wanneer dat gebeurt, is zal het gat tussen het huidige Brancheprotocol Kwaliteitszorg Onderzoek en de theoretische funderingen overbrugd, concluderen de Leidse onderzoekers.
