Accreditatie kan slimmer en efficiënter
De Inspectie van het Onderwijs, de Wetenschappelijke Raad voor het Regeringsbeleid (WRR), de Nederlandse Algemene Rekenkamer (ARK) samen met het Vlaamse Rekenhof, en de Nederlands-Vlaamse Accreditatieorganisatie (NVAO) hebben het accreditatiestelsel geëvalueerd. De NVAO zelf is beoordeeld door European Association for Quality Assurance (ENQA). Hieronder leest u de reactie Peter Kwikkers op deze evaluaties.
Algemene Rekenkamer
De ARK stelt onder meer dat aparte instellingstoetsen, beperkte opleidingstoetsen en de focus op afstudeerwerken, meer ruimte bieden voor inhoudelijke belichting van het onderwijs. In theorie dan. De ARK vroeg secretarissen van visitatiecommissies of er nu meer aandacht is voor de inhoudelijke kwaliteit van de opleiding. 63% vond van wel, maar de opleidingen waren daarvan minder overtuigd. En bij de instellingstoets is inhoudelijke onderwijskwaliteit helemaal geen object van beoordeling.
De Rekenkamer verwacht dat invoering van clustergewijze visitatie in ook het hbo, de oordelen beter vergelijkbaar maakt. In het wo zien we echter al tien jaar dat die verwachting overtrokken is. De ARK vreest vervlakking van de beoordeling door het kleine aantal formele beoordelingsstandaarden, omdat hierdoor zaken worden onderbelicht. De Inspectie vindt dit ook, maar de NVAO nuanceert dit.
De ‘eigendomsverdeling’ van de onderdelen van de accreditatiemethode is cruciaal. Het wetsvoorstel Versterking kwaliteitswaarborgen hoger onderwijs (Kamerstukken 33 472) zou de bevoegdheid om de leden van de visitatiecommissie te benoemen bij de NVAO leggen. Dit moest onzuivere relaties tussen beoordelaar en beoordeelde voorkomen, want die schaden de onafhankelijkheid van het panel en de geloofwaardigheid van het oordeel.
Het risico is echter dat dit de gezamenlijke verantwoordelijkheid van de instellingen uitholt, en een overpowered NVAO gaat putten uit een beperkte kring. De gezamenlijke instellingen kunnen rekruteren uit een wereldwijd netwerk en zo een hoge graad van effectieve en onafhankelijke peer-review borgen.
Zo’n netwerk heeft de NVAO niet en uit de evaluaties blijkt dat het met de onafhankelijkheid van leden en secretarissen van visitatiecommissies wel snor zit. Minister Bussemaker beperkt dan ook terecht, via nota van wijziging, de benoeming van commissieleden door de NVAO tot gevallen waarin de betrokken instellingen niet tot overeenstemming over de leden komen. Zij volgt daarmee niet de Rekenkamer zoals ze zegt, maar – ere wie ere toekomt – de betogen over eigenaarschap en onafhankelijkheid in het boek Accreditatie en Kwaliteitzorg.
Tussen haakjes: de ondersteuning van visitatiecommissies, hun ‘secretarissen’, doen veel sturend werk en voeren de pen. Hun positie en wijze van rekrutering komt in de evaluaties eigenlijk niet aan de orde, terwijl zij het meest kwetsbare gewricht van de hele visitatiemethodiek zijn.
Inspectie
De Inspectie meent dat de NVAO in samenspraak met de evaluatiebureaus, onderzoek moet doen naar de betrouwbaarheid, de validiteit van de beoordelingen verbeteren, en compliance assistance moet bieden. Het verminderen van de uitvoeringslasten, en het verbeteren van de vergelijkbaarheid van de uitkomsten zijn zelfs “een uitdaging die een gezamenlijke aanpak van alle actoren vereist”. De Inspectie apprecieert dat “het stelsel is voortgekomen uit het visitatiestelsel van de koepels, die herkomst nog altijd merkbaar is, en het nog altijd deel ervan uitmaakt. Dit maakt dat de beoordelingen doorgaans geaccepteerd worden en dat de grote lasten gedragen worden”. Daarmee in tegenspraak is deze, erg voorzichtige, conclusie: “De toegenomen scherpte van de beoordeling leidt tot teleurstelling en weerstand bij instellingen, mede gevoed door de hoge kosten en vragen rond betrouwbaarheid. Dit geeft druk op het draagvlak”.
De Inspectie roemt de verbetercapaciteit van het vernieuwde stelsel die wordt afgeleid uit de idee dat “recent de lat hoger is komen te liggen, de panels beter worden samengesteld, het meer om de inhoud gaat, en de NVAO-rapporten leesbaarder (!) zijn geworden”. Dit komt volgens de Inspectie dus door de kwaliteit van de panelleden die men kennelijk hoger inschat dan 10 jaar geleden.
Dat professionals met een timmermansoog kijken naar de kwaliteit van het onderwijs blijft kennelijk een verborgen hangijzer. De Inspectie verstaat onder professionals blijkbaar een andere groep dan de minister en het veld: namelijk niet alleen peers. In de praktijk blijkt onduidelijk wie eigenlijk tot peers worden gerekend en waarom. In instellingstoetsen bijvoorbeeld, zien we vooral voormalige ho-bestuurders die door de NVAO-bestuurders (voortkomend uit dezelfde groep) zijn uitverkoren.
De Inspectie vindt het accreditatiestelsel wel van voldoende kwaliteit: “een doeltreffend, deugdelijk, krachtig, breed gedragen stelsel met duidelijk kwaliteitbevorderend effect”, “waarvan stimulerende werking uitgaat”, met “een “heel behoorlijk leervermogen”, en ziet voldoende perspectief voor verdere versteviging van deze “mede dankzij de evaluatiebureaus een zorgvuldige, goed geoliede machine, met een groot aantal kwaliteitswaarborgen”. Dat de Inspectie de evaluatiebureaus deze pluim geeft, is niet alleen interessant. Het tekent ook de onderhuids nerveuze verhoudingen tussen Inspectie en NVAO – beleidsconcurrenten op de weidse vlaktes van toezicht en controle – die zijn opgesloten in de wettelijke structuur waaraan de minister nog wat zal moeten repareren.
NVAO
De NVAO zelf evalueerde uitvoerig maar hield zich rustig onder het kennelijke motto: “Wie op de foto gaat moet zich mooi maken, maar verder even stilzitten”. De NVAO memoreert handig dat het nieuwe stelsel goed functioneert, omdat dit blijkt uit de internationale erkenning van het stelsel, want zij is in 2007 als een van de eerste kwaliteitszorgorganisaties opgenomen in het onafhankelijke European Quality Assurance Register for Higher Education (EQAR). Dat toont aan dat NVAO instaat voor toepassing van de Europese principes en uitgangspunten om de ho-kwaliteit te verzekeren en dat het Nederlandse stelsel aan (overigens niet bestaande) Europese eisen voldoet.
De NVAO is het eens met minister Bussemaker dat het stelsel sterkte ontleent aan zijn basis in de peer review en aan het timmermansoog van de professional als leidend mantra. De NVAO wenst wel betere spreiding van accreditatieprocedures in de tijd, en het verlengen van maximale hersteltermijn en de accreditatie onder voorwaarden: meer maatwerk van het principe ‘verdiend vertrouwen’. Ook moet het inhoudelijke gesprek tussen peers bij de beperkte opleidingsbeoordeling beter in visitatierapporten tot uitdrukking komen. Dat laatste moet de NVAO zelf bewaken; het andere moet worden bereikt via het wetsvoorstel Versterking Kwaliteitswaarborgen.
De NVAO wilde graag zelf de bevoegdheid tot tussentijds intrekken van accreditatie en toets nieuwe opleiding en de bevoegdheid tot het zelfstandig initiëren van onderzoek bij ‘signalen’. Gelukkig, want het is toch al een oneigenlijk middel, vindt ook de minister dit haar bevoegdheid. Ook zal zij de zogenaamde bestuurlijke afspraken tussen NVAO en instelling niet in de wet verankeren. Terecht wijst zij de NVAO erop om dit instrument enkel te benutten als zich een uitzonderlijke situatie voordoet waarvoor het stelsel geen voorziening biedt. De vraag is of dit gaat lukken; juist instellingen in de penarie willen dit vaak maar al te graag.
De NVAO zal haar reacties op de aanbevelingen uit de rapporten betrekken bij haar nieuwe strategienota die dit najaar verschijnt. De NVAO-voorzitter liet weten dat het nieuwe bestuur al meteen aan de slag gaat met de verbeterpunten. Hij vindt het gunstig dat veel aanbevelingen in dezelfde richting wijzen. Logisch, maar er is nog veel ongemak onderbelicht. Overigens: ondanks alle structuurfouten in het “accreditatierecht”, doet de NVAO het in de uitvoering helemaal niet slecht. Maar wat de eigen beleidsambities betreft kan zij wel wat helpen minderen.
Minister
Het meest interessant is de beleidsreactie van minister Bussemaker van 12 september 2013 (TK 32 210, nr. 24) waarmee zij alle evaluaties, inclusief de hare, overkoepelt. Belangrijk is deze brief omdat het lijnen bevat van een nota van wijziging op het wetsvoorstel Versterking kwaliteitswaarborgen waarop nogal wat kritiek was. Ook de minister vindt belangrijk dat accreditatie de inhoudelijke opleidingskwaliteit centraal stelt.
Best nieuw want in de accreditatiemethodiek 2003-2011 lagen veel randvoorwaardelijke en procedurele aspecten besloten, mede waardoor het proces in de loop der jaren sterk mechanistische trekken ging vertonen. Dit was kernkritiek in literatuur en praktijk en die treft nu trouwens de vormgeving van de instellingstoets kwaliteitzorg. Hieraan storen de instellingsbestuurders zich inmiddels aanzienlijk, maar dat hadden zij voorkomen als zij hun literatuur hadden bijhouden.
Regeringsdoelen
Accreditatiemethode 2011 beoogde volgens minister 2013 acht doelen te realiseren. Ik loop die langs met kort commentaar:
1. Stimuleren van kwaliteitscultuur op instellingsniveau. Eigenlijk gek dat dit moet, maar er is geen houvast voor de stelling dat de instellingstoets dit in den brede verbetert. De aandacht is beperkt tot formele beoordelingscriteria. De tevredenheid van de ENQA is hier onterecht.
2. Meer focus op kwaliteit, inhoud en resultaten van de opleiding. Er is een verschuiving naar inhoudelijke kwaliteit geconstateerd en dat is goed. Maar de herbeoordeling van scripties schoot zodanig door, dat de NVAO zelfs haar richtlijn daarvoor moest aanpassen. Bovendien heeft de wet het studierendement tot kwaliteitscriterium gepromoveerd. Maar wat studievoortgang van studenten of het aantal diploma’s met onderwijskwaliteit te maken heeft, heeft nog niemand kunnen uitleggen. Rendement is op zichzelf geen foute doelstelling, maar als kwaliteitscriterium eerder schadelijk. Het leidt gemakkelijk tot perverse effecten.
3. Zichtbaar maken van kwaliteitverschillen. Zorgen voor vergelijkbare rapportages in een clustergewijze organisatie van visitaties is goed. Maar rankingachtige visitatie zal de kwaliteit en oprechtheid ervan aantasten en onnodige dilemma’s veroorzaken. Als dat timmermansoog serieus is bedoeld, dan blijft de vraag waarom beleidmakers het speeltje van kwaliteitsverschillen belangrijker vinden dan de verschillen èn de kwaliteit.
4. Meer maatwerk. Profilering als doel van kwaliteitsbeoordeling is onnatuurlijk en even onzinnig als wanneer de NVAO ook de efficiency of de macrodoelmatigheid zou beoordelen. Maatwerk is bovendien gevaarlijk vanuit rechtsstatelijk èn (grond)wettelijk oogpunt. Instellingen en opleidingen moeten op grond van dezelfde maatstaven worden beoordeeld, bekostigd en bejegend. Het moet essentieel worden gevonden om dat in het accreditatieproces te borgen. Niemand echter die dat al heeft opgepikt.
5. Behoud van externe onafhankelijke beoordeling van kwaliteit. Versterking ware beter geweest en is mogelijk. Dit blijven altijd kwetsbare elementen.
6. Internationale acceptatie van het stelsel zal geen probleem zijn, maar als hiermee op navolging wordt gehoopt, is dat – en dat is spijtig – om goede redenen voorlopig tot mislukken gedoemd.
7. Vermindering van interne en externe lasten en kosten. Eeuwige belofte, erkend mislukt. Wij berekenden al in 2010 dat de verwachte lagere kosten – volgens jaarlijks ACTAL € 2.047.726,– tot op de cent als de helft van de instellingen de instellingstoets haalt – niet waar te maken was. En dat was nog maar -10%, terwijl -25% de regeringsdoelstelling was. Harde cijfers zijn eigenlijk niet maakbaar; het is vooral gevoelstemperatuur. De minister bestempelt de kosten tot het ergste euvel, maar dat is overdreven. Een efficiënt èn effectief systeem, daaraan schort het juist, mag wat kosten.
Maar dan moet men de manco’s op de goede plek zoeken, want daar liggen de oplossingen. Instellingen en evaluatiebureaus wijten het niet halen van de lastenvermindering met name aan extra visitatie- en accreditatiewerk aan de “Inhollandproblematiek”. Leuk gevonden maar onwaar, en zo wordt opnieuw valse hoop gewekt. De minister wil reductie bereiken met quick wins: NVAO en evaluatiebureaus gaan bezien hoe administratieve lasten kunnen worden beperkt en beoordelingskaders kunnen worden aangepast. Ik stel dan voor om het bij twee criteria te laten: “goed onderwijs en behoorlijke behandeling van studenten”.
8. Effect op het functioneren van het stelsel. Een onbestemd gevoel maakt zich meester. Bijvoorbeeld: dat docenten (zeer) tevreden zijn over de inhoudelijke focus van de beperkte opleidingsbeoordeling, zou juist vragen moeten oproepen. Accreditatie is het juridisch sluitstuk van een proces waarin kwaliteitscriteria tevens juridische criteria zijn als de sanctie (herstelopdracht of onthouden van accreditatie) wordt opgelegd. Kwaliteitzorg en –beoordeling zijn alleen correct als dit stelsel- en beleidsneutraal geschiedt. Het moet daarom eenvoudiger wat de structuur betreft, en dieper geconcentreerd op onderwijskwaliteit en onderwijsinhoud.
Aanhoudende zorgen
Diplomatieke dienst. Dat, om excellentie te stimuleren, een gedifferentieerde beoordeling is geïntroduceerd en dit niet functioneert, was al voorspeld. Oordelen als ‘goed’ en ‘excellent’ over de kwaliteit van het onderwijs (!) kunnen best worden toevertrouwd aan echte peers. Wat ongerust maakt is dat bestuurders en beleidmakers er met dat oordeel vandoor plegen te gaan en er gevolgen aan verbinden waarvan maar de vraag is of die de toets der wijsheid doorstaan. Daarom is te hopen dat de peers vooral diplomaat blijven en alleen het onderwijs beoordelen.
Herstel. Sinds – terecht – reparatie van onvoldoendes beter mogelijk is, zien we fors gebruik van accreditatie onder voorwaarden en hertoets op instellingsniveau. Het lijkt dat commissies door die verbrede hersteloptie kritischer oordelen en eerder geneigd zijn om onvoldoendes te geven. Maar de mate van gebruik is geen maatstaf. Is niet beter – en sneller – als visitatiecommissies weer hun vaderlijke of moederlijke peer-adviesrol krijgen?
Worden zij dan niet beter geïnformeerd en zouden zijn dan niet sneller, met minder administratieve last, goedkoper èn effectiever invloed uitoefenen? Het tegelijk optreden als peer en controleur is innerlijk tegenstrijdig en zo schiet ook het herstelsysteem het doel voorbij. Vreemd dat dit in de evaluaties niet is opgemerkt.
Intrekking. Sinds 2011 is als ultimum remedium tussentijdse intrekking van accreditatie mogelijk. Zoals uitgelegd in ‘Accreditatie en Kwaliteitzorg’, is dit een moeilijk, tijdrovend, en juridisch dubieus middel, waarvan de noodzaak niet is aangetoond, of het moet zijn dat de autoriteiten een instrument willen om eigen feilen eerder te corrigeren.
Het instrument is nog niet gebruikt, evenmin als de ‘rode kaart’ in het eerste decennium de WHW. Het kan weg. Herstel en zesjaarstermijn zijn voldoende. Tussentijdse intrekking is hooguit te overwegen als de accreditatietermijn wordt verlengd tot acht of tien jaar. Daar zou ik overigens voor zijn; niet alleen omdat het veel geld bespaart.
Prestatiebekostiging. Het fenomeen prestatieafspraken gekoppeld aan prestatiebekostiging, ondermijnt effectieve en eerlijke werking van alle kwaliteitszorgmethodes, maar dit is nog geen gespreksthema. De minister heeft de Kamer wel toegezegd zich te beraden op de samenhang, overlap en afbakening van taken tussen Inspectie, NVAO en Reviewcommissie Hoger Onderwijs.
Dat wil zeggen: zij heeft deze drie gremia verzocht om na te gaan hoe de verschillende processen en bijbehorende dataverzameling op elkaar worden afgestemd. Die hebben nu afspraken gemaakt over eenmalige bevraging en hergebruik van data, transparantie in gebruikte definities en kengetallen en ‘afstemming van overstijgende publicaties’. Mooi, maar onvoldoende.
Ontbrekende criteria. Het ernstigste gebrek is misschien dat kwaliteitsaspecten die voor samenleving of student echt relevant zijn, standaard achterwege blijven. Er is reden voor beoordeling van de feitelijke toegankelijkheid van het onderwijs, gezien de vele illegale en illegitieme rendementsmaatregelen zoals beperking van het recht op herkansing, uitbreiding van bsa en andere obstakels in de doorstroming.
Ook zou er een standaard voor het (vak-)ethische en -filosofische gehalte van de opleiding moeten zijn; voor excellente opleidingen als harde eis. Er is een methode waarbij in overleg ‘laterale’ criteria worden toegevoegd om dergelijke gebreken te repareren (ANTRE), maar er is geen stimulans om die bescheiden investering interessant te maken. Er is alleen stimulans om het visitatieterrein zo klein mogelijk te maken. Dat impliceert grote onderbenutting van de potentie van de kwaliteitscyclus; zonde van al dat werk dat toch moet worden verzet.
Niet erg diepgravende analyses en veel herhalingen in slow motion
Diepte. Alle evaluaties ervaren het gereviseerde stelsel als positief. Dat is fijn, maar erg snel. Structurele zwakheden – als ze al zijn benoemd – heten ‘verbeterpunten’. De consistentie van beoordelingen moet beter omdat de verbreding van de standaarden zonder precisering van de criteria, tot onzekerheid dus tot meer werk leidt. De instellingen wensen verduidelijking van wat een goed functionerend kwaliteitszorgsysteem inhoudt (compliance assistance). In de procesvoering en doorlooptijd denkt de minister te kunnen winnen, maar dat lijkt een druppel op een gloeiende plaat.
Bovendien hebben visitaties alleen nut als niet alles wat visitatiecommissies doen voorspelbaar is. Dat de tussentijdse toets nieuwe opleiding alleen wordt ingevoerd bij die instellingen die geen instellingstoets kwaliteitszorg hebben, zet al helemaal geen zoden aan de dijk. Tot slot wil de minister nieuwe lasten voorkomen: een lastige hypotheek op haar aangekondigde nota van wijziging want de minister denkt nog steeds de doelstelling van -25% lastendruk te kunnen halen.
Niets in de evaluaties is nieuw. Het valt op dat de evaluaties zijn gebaseerd op dezelfde stukken, vooral uit eigen gelederen, en bestaande ambtelijke teksten herschikken en herformuleren. De evaluaties herhalen elkaar en zichzelf. Rekenkamer en Rekenhof kwamen evenmin verder en navelstaarden harmonieus mee.
Maar instellingsbestuurders schrokken inmiddels wakker omdat zij op hun niveau (niet alleen bij een opleiding) geconfronteerd werden met deze derde generatie kwaliteitzorg en aan den lijve ondervonden hoe duur dat is. Het beeld uit de evaluaties is helemaal niet zo evenwichtig; eerder eenzijdig, algemeen en applaudisserend. Er is niet geput uit een rijke hoeveelheid onafhankelijke kritische publicaties, zoals te vinden is in (inter-)nationale tijdschriften zoals Higher Education Policy, Thema, ScienceGuide, en boeken zoals Accreditatie en Kwaliteitzorg.
Scherper keuze noodzaak
De minister wil een stelsel waarin verdiend vertrouwen wordt beloond, maar hoe dat kan zonder een vorm van risicogericht (proportioneel) toezicht en beperking van de focus van visitaties, is onduidelijk. De beleidsreactie biedt weinig geen aanknopingspunten, maar vooral doorverwijzingen. De accreditatiemethodiek is dus nog lang niet af en neigt steeds naar vetzucht. Er heeft zich een moeilijk in toom te houden (inter-)nationale accreditatie- en kwaliteitszorgindustrie ontwikkeld. Kenmerkend is ook dat de Inspectie alweer in 2015 het effect van haar aanbevelingen wil onderzoeken. Eén daarvan is boeiend: “Bestrijd samen actief de administratieve lasten”. De minister citeert dit met instemming. Maar denk er eens goed over na.
De accreditatiestructuur kan slimmer, slanker en efficiënter, zonder aan effect in te boeten. Dat eist echter een scherpe keuze tussen twee opties:
– Instellingsaccreditatie waarbij commissies ‘willekeurig’ ook doorsteken naar het niveau van de onderwijseenheid. Of:
– Opleidingsaccreditatie die werkelijk is gericht op de kwaliteit van het onderwijs en niet op de kwaliteit van de student, en dus niet wordt geleund op herbeoordelen van scripties en eindwerken want daar zijn examencommissies en examinatoren voor.
Als de besproken stukken de toekomst schetsen, blijft het bij wat accessoires in de marge en een vrijblijvend verzoek aan stakeholders om iets te verzinnen. De conclusie die de Raad van State trok in zijn advies over het wetsvoorstel Versterking kwaliteitswaarborgen – “onvoldoende aanleiding om tot wetgeving over te gaan” – geldt dan na de aangekondigde nota van wijziging nog steeds.
Voor inzicht in de functies en doelen van accreditatie en kwaliteitszorg en hoe die beter worden gediend, moeten we maar eens wat literatuur erover lezen. Het is te wensen dat de wettenmakers in het ministerie en de leden der Staten-Generaal die op tijd vinden.
Peter Kwikkers is oprichter/partner van TriasNet Consultants, www.triasnet.nl, maar ook ‘NVAO-gecertificeerd’ secretaris-projectleider voor opleidingsvisitaties. Hij schreef twee boeken[i] over kwaliteitszorg in het hoger onderwijs.
[i] Kwikkers, Van Damme, Douma. Accreditatie in het hoger onderwijs. Sdu Uitgevers, Den Haag, 2003.
Kwikkers, Vercruysse, Westerheijden, Schalkwijk, Peels, Frederik. Accreditatie en Kwaliteitzorg, Sdu Uitgevers, Den Haag, 2011.
