Perverse prikkels: retoriek of realiteit?
Bekostiging op basis van accreditatieoordelen – eenbeschouwing vanuit de accreditatiepraktijk
Kwaliteit en bekostiging
In de Strategische Agenda heeft het kabinet viastaatssecretaris Zijlstra een voorschot genomen op’kwaliteitsbekostiging’. Voortaan wordt het hoger onderwijs vooreen beperkt deel gefinancierd op basis van ‘kwaliteit’. Zo’n zevenprocent van de bekostiging van hogeronderwijsinstellingen moetworden gekoppeld aan indicatoren zoals uitval, rendementen,accreditatieoordelen, contacturen en de docentkwaliteit.
Deze zeven procent gaat de VVD echter niet ver genoeg. In eenuitgebreid betoog op
Door haar bekostigingsvoorstel te presenteren als ‘strijd tegenperverse prikkels’ gebruikt ze slimme retoriek, die ze heeftafgekeken bij partijgenoot en oud-staatssecretaris van OCWMark Rutte. Diens plannen om studentenrechten drastisch in teperken werden verkocht onder de titel ‘leerrechten’. Ook inhet voorstel van Lucas kan de retoriek niet verhullen dat de inhoudrammelt.
Wij denken dat het inbouwen van bekostigingsprikkels opbasis van accreditatieoordelen minstens zo pervers is alsbekostiging op basis van studentenaantallen. Daarnaast leidt hetgebruik van accreditatieoordelen bij selectie of bijcollegegelddifferentiatie[1] totuitholling van het accreditatiesysteem.
Reacties uit het veld
Een keur aan wetenschappers, deskundigen en autoriteiten heeftzich inmiddels gebogen over de (on)zin van bekostiging opkwaliteit. Bestuurskundige en ex-hogeronderwijstopambtenaar prof.Roel in’t Veld
Ook vanuit de instellingen zijn zeer kritische geluiden tehoren. Voorzitter Guusje ter Horst van de HBO-raad waarschuwtóók voor perverse effecten en een mogelijke verlaging van deonderwijskwaliteit, juist door het gebruik vanprestatie-indicatoren bij de bekostiging. Collegevoorzitter MarcelWintels van Fontys noemt in het Financieel Dagblad sturen met geldeen idee-fixe. Volgens hem ontbreken simpelweg criteria enindicatoren om prestaties eenduidig, objectief en eerlijk metelkaar te vergelijken.
Bovendien wijst hij op de nadelige gevolgen van de groterebureaucratie waar dit mee gepaard zal gaan, en op het feit dat eendergelijke vorm van bekostiging geld weghaalt waar het nodig is enbrengt naar waar men zich wel redt. Ook WHW-kenner, onderwijsjuristen specialist op het gebied van geldstromen in het onderwijs PeterKwikkers doet een duit in het zakje: er is geen enkel bewijs dathet werkt, indicatoren als ‘contacttijd’ zeggen niets over dekwaliteit van het onderwijs en het voorstel van Lucas leidt totperverse effecten in de accreditatiesystematiek.
Het perspectief van de kwaliteitszorg
Bovenstaande argumenten zijn valide, in aanvulling daarop zijnvanuit de praktijk van de kwaliteitszorg eveneens ernstige bezwarente maken. Hieronder geven wij er drie. Ten eerste veronderstelt hetbekostigen op basis van accreditatieoordelen dat deze volledigvergelijkbaar zijn. Het is echter de vraag of dat zo is.
Ten tweede legt deze vorm van bekostiging een enormeverantwoordelijkheid bij de panelleden; niet langer gaan zij langsom te controleren of een opleiding voldoet aan de inhoudelijkebasiskwaliteit en daarbij nuttige verbetersuggesties te geven,neen: hun oordeel bepaalt hoeveel geld zo’n opleiding krijgt, ofstudenten geselecteerd mogen worden en/of er een hoger collegegeldgevraagd mag worden. Het is de vraag of je die verantwoordelijkheidbij een panel wil leggen, en het is óók de vraag of panelleden dezeverantwoordelijkheid wel willen.
Last but not leastlegt een dergelijke vorm van bekostiging eenbom onder het accreditatiestelsel. Het is voor de verbeterfunctievan het stelsel namelijk essentieel dat opleidingen zich volledigopenstellen voor een visiterend panel. Alleen als een panel zichtkrijgt op wat er in een opleiding gebeurt, kunnen nuttigeverbetersuggesties worden gegeven waarmee de kwaliteit van hetonderwijs verhoogd kan worden. De vraag is: hoe genegen zijnopleidingen om zichzelf bloot te geven, wanneer hun financieringvan het oordeel afhangt? Hieronder worden deze bezwarenuitgewerkt.
Vergelijkbaarheid van oordelen
Pas sinds ongeveer een jaar[3]krijgen opleidingen een totaaloordeel op een vierpuntsschaal:onvoldoende, voldoende, goed of excellent. In het beoordelingskaderis gekozen voor brede standaarden en breed geformuleerdebeslisregels , die bewust veel ruimte geven aan het timmermansoogvan de panelleden. En dat is maar goed ook, want het alternatief iseen afvinklijstje waar de kwaliteit van een opleiding nooit meegevangen kan worden.[4] Om eenindruk te geven van de breedte van de beslisregels volgen hier dedefinities voor voldoende en goed zoals gedefinieerd door deNVAO:
Voldoende: De opleiding voldoet aan de gangbarebasiskwaliteit en vertoont over de volle breedte een acceptabelniveau.
Goed: De opleiding steekt systematisch en over de vollebreedte uit boven de gangbare basiskwaliteit.
Opleidingen presteren echter nooit op alle punten precies evengoed, of dat nu op het niveau van de basiskwaliteit is of ruimdaarboven. Neen, iedere opleiding heeft sterke en zwakke punten, endus zal een panel altijd de afweging moeten maken tussen eenonvoldoende en voldoende, of tussen een goed en excellent. Soms isdat volstrekt duidelijk, maar soms is het een dubbeltje op zijnkant.
De grens tussen een opleiding die wel of niet aan de maat is, isbovendien veel helderder voor een panel dan de grens tussen eenvoldoende en een goed, of tussen een goed en een excellent. Wat hetnog lastiger maakt is dat het begrip ‘basiskwaliteit’ nooitgedefinieerd is, wat nog meer ruimte geeft aan de panels. Panelsdie ook qua samenstelling per visitatie verschillen
Verantwoordelijkheid van panelleden?
Een visitatiepanel wordt samengesteld uit een aantalpeers. Inhet hbo gaat het meestal om vier personen: één of meerdereexperts uit de beroepspraktijk, iemand met relevanteonderwijsexpertise en een student. Panels bestaan doorgaans uitgedreven mensen die vooral een bijdrage willen leveren aan dekwaliteit van de opleiding die zij bezoeken. De voorgesteldemaatregelen maken de verantwoordelijkheid van het panelechter vele malen groter. Ineens krijgen de leden een hele anderetaak, en bepaalt het oordeel van depeersof een opleiding magselecteren, hogere collegegelden mag vragen en meer of juist minderoverheidsbekostiging krijgt.
Los van de vraag of het verstandig is om dergelijke beslissingenaf te laten hangen van een relatief kleine groep mensen zitten veelpanelleden niet te wachten op deze verantwoordelijkheid. Panelledenwillen de kwaliteit van opleidingen verbeteren, maar zien de focusop kwaliteit verlegd worden naar geld en toegankelijkheid.
Je zult als panellid maar principieel tegenstander zijn vanselectie aan de poort en plots verantwoordelijk wordengemaakt voor de mogelijkheid van een opleiding om te selecteren. Ofer voor verantwoordelijk worden dat een opleiding een vijfvoudigcollegegeld gaat vragen. Het is maar afwachten hoe deze randzaken,die niets met de opleidingskwaliteit te maken hebben, van invloedzullen zijn op de beoordeling.
Recent stelde NVAO-voorzitter Karl
Dat is ook onze ervaring. Als een besluit harde (financiële)gevolgen heeft, kan dat het oordeel van depeersbeïnvloeden. Eenpanel komt in een rare spagaat terecht wanneer het constateert dateen opleiding te weinig docenten heeft en daarom voldoende, maargeen hoogstaand onderwijs aflevert. Een laag oordeel zorgt erimmers voor dat de opleiding juist minder geld krijgt en zichzelfdaardoor niet kan verbeteren.
Pervertering van het accreditatiestelsel
Tot slot komen we dan bij de pervertering van hetaccreditatiestelsel zelf. Want niet alleen het oordeel van depanels kan worden beïnvloed door de extra bagage waar ‘Den Haag’het stelsel mee wil opzadelen. Een nog veel groter gevolg zal hethebben voor de manier waarop opleidingen zich opstellen.
Wanneer de consequenties van een visitatietraject zoingrijpend worden op meer aspecten dan alleen de kwaliteit, zal eenopleiding waar niet alles lekker loopt er veel aan doen om dit teverzwijgen. Een ongewenst oordeel kost in de toekomst immers bakkenmet geld. Geld dat juist nodig is om het onderwijs te verbeteren.Dit leidt onvermijdelijk totwindow dressing, het ophouden vanschone schijn en geslotenheid richting de panels , terwijlaccreditatie juist is gebaat bij openheid.
Het merkwaardige is dat iedereen dat ook weet. Nog geen jaargeleden woedde een discussie over het al dan niet aanhouden van eenherstelperiode bij een onvoldoende oordeel op het onderdeel’examinering en gerealiseerd eindniveau’. Het feit dat zo’n periodeer lange tijd niet was, leidde tot verhullend gedrag bijopleidingen en vlakke oordelen van panels. Na veel discussie is deherstelperiode uiteindelijk gered na een sterkbetoog van de Landelijke Studenten Vakbond hierop ScienceGuide. Deze redding is echter tevergeefs als noggeen jaar later het accreditatieoordeel op een andere manier veelzwaarder wordt, omdat het ministerie het gebruikt bij verdeling vande bekostiging.
Conclusie
Het accreditatiestelsel komt het beste tot zijn recht wanneer ergeen andere zaken in de weg zitten. Panelleden moeten onbevangeneen oordeel kunnen geven over de kwaliteit van de opleiding enverbetersuggesties kunnen aandragen, zonder zich druk temaken of hun oordeel leidt tot minder geld voor de opleiding,selectie aan de poort of hogere collegegelden.
Opleidingen moeten zich onbevreesd kunnen blootgeven aan eenvisitatiepanel, zonder angst dat dit ten koste gaat van hunfinanciering. Alleen dan kan optimaal worden gekeken naar dekwaliteit van de opleiding en kan vervolgens werk gemaakt wordenvan de verbetersuggesties van depeers.
Helaas zijn inmiddels al afspraken gemaakt over de rol vanaccreditatieoordelen in de
Het werkt niet in de praktijk, het heeft een negatieve invloedop de kwaliteit van de visitaties, leidt tot minder verbeteringenop opleidingsniveau en een lagere kwaliteit van ons onderwijs.Komende generaties gaan daar de prijs voor betalen.
János Betkó en Lisa Westerveld
János Betkó is auditor en panelsecretaris bijevaluatiebureau Netherlands Quality Agency. Zijn dagelijksewerkzaamheden bestaan uit het begeleiden van visitaties in hethoger onderwijs. Lisa Westerveld heeft aan meer dan veertigvisitaties deelgenomen als studentpanellid voor de NVAO en diverseevaluatiebureaus. Zij is werkzaam bij de Algemene Onderwijsbond.Beide waren bestuurslid van de LSVb tussen 2007 en 2009 en vanuitdie functie betrokken bij de totstandkoming van het huidigeaccreditatiestelsel.
[1] Dat is een idee uit deStrategische Agenda.
[2] Het risico voor perverseeffecten is precies de reden dat bij de voorloper van deprestatieafspraken van Zijlstra, de Meerjarenafspraken onderPlasterk, studenten en instellingen altijd eensgezind gepleithebben voor een inspanningsverplichting en nadrukkelijk géénresultaatverplichting.
[3] Bij de ingang van het huidigaccreditatiestelsel.
[4] Bij de totstandkoming van hethuidige accreditatiestelsel is er dan ook expliciet gekozen omafvinklijstjes te vermijden en de experts in het panel de ruimte tegeven zich te focussen op de zaken die volgens hen het belangrijkstis.
