Wijnen: “De ene kwaliteit is de andere niet”

Nieuws | de redactie
30 mei 2006 | Professor Wynand Wijnen, de grondlegger van belangrijke HO-vernieuwingen, sprak recent bij de Onderwijsresearchdagen van de VU. Zijn betoog over de vragen die van belang zijn bij het bepalen van kwaliteit in het onderwijs publiceert ScienceGuide om de discussie daarover een impuls te geven. Wijnen stelt onder meer over de accreditatiesystematiek: "Het is eigenlijk niet verwonderlijk dat de verbeterfunctie in het gedrang lijkt te komen. Allereerst zijn de sancties binnen het accreditatiestelsel niet gering. Het niet meer mogen inschrijven van nieuwe studenten en het op termijn stop zetten van de financiering zijn nu niet bepaald geringe maatregelen. Vraag is of instellingen tegen deze achtergrond nog worden uitgenodigd om sterke en vooral zwakke punten zo nauwkeurig mogelijk te beschrijven. Denkbaar – en ook begrijpelijk – is het wanneer vooral de sterke punten in een zelfevaluatierapport worden beschreven en uitgewerkt. Onverwacht kan dit overigens niet zijn."



De kwaliteit van kwaliteitsbepalingen in het onderwijs


Het begrip onderwijskwaliteit behoort zonder enige twijfel tot de begrippen met een positieve lading. Kwaliteit is immers iets waar niemand tegen kan zijn. Graaft men iets dieper dan kan men ook over kwaliteit van het onderwijs verschillen van inzicht op het spoor komen. Discussies en verschillen van mening ontstaan vooral dan wanneer men probeert onderwijskwaliteit te specificeren en te operationaliseren. Dan blijkt dat het begrip kwaliteit meerdere interpretaties toelaat en dat de éne onderwijskwaliteit de andere niet is.

Ook op andere punten zijn er verschillende opvattingen over de kwaliteit van onderwijs: Wie is er verantwoordelijk voor de kwaliteit van onderwijs? Op welke informatie moet een kwaliteitsbepaling in het onderwijs worden gebaseerd? Welke criteria moeten worden aangelegd? Hoe moeten meningsverschillen over kwaliteitsbepalingen worden beslecht? Dit soort vragen kan jammer genoeg niet op een eenvoudige manier worden beantwoord.

Deze bijdrage vraagt aandacht voor de volgende vragen:

Welke ontwikkelingen zien we bij kwaliteitsbepalingen in het onderwijs? Wat vinden we van de kwaliteit van kwaliteitsbepalingen in het onderwijs? Welke punten over kwaliteitsbepaling verdienen aandacht? Deze bijdrage zal zich beperken tot twee voorbeelden van kwaliteitsbepaling: de kwaliteit van de prestaties van de studenten en de kwaliteit van de prestaties van de opleidingen.

Daaraan voorafgaand wordt eerst even stil gestaan bij het begrip “kwaliteit”.


Wat is “kwaliteit” eigenlijk?

Wanneer het gaat over de kwaliteit van het onderwijs wordt nog wel eens de indruk gewekt dat iedereen wel zo’n beetje weet waar het eigenlijk over gaat. Toch blijkt de vlag van de onderwijskwaliteit verschillende ladingen te dekken: de bereikte leerresultaten, de professionaliteit van de docenten, de nadruk op normen en waarden,  de tevredenheid van betrokkenen, het oordeel van werkveld en samenleving, zijn slechts enkele van de vele voorbeelden die worden gezien als aspecten van onderwijskwaliteit.

Onderwijskwaliteit kan dus moeilijk worden gezien als een begrip met een voor iedereen eenduidige betekenis. Tegelijkertijd kan worden vastgesteld, dat genoemde specificaties elkaar nog wel eens in de weg kunnen zitten: een strakke en stevige onderwijsorganisatie leidt niet altijd tot tevredenheid van betrokkenen en hoge onderwijsrendementen worden niet altijd gezien als een indicator van hoge prestaties van de studenten.

Voor overheid, docenten, studenten, samenleving, enz. kan onderwijskwaliteit een andere inhoud hebben. Waar de een vooral let op de bereikte studieresultaten kijkt een ander vooral naar successen op de arbeidsmarkt. Waar de een vooral aandacht heeft voor het welbevinden van de studenten, is een ander misschien belangstellend voor de hoeveelheid kennis die feitelijk werd opgedaan. Waar de een het bereiken van een hoog theoretisch niveau belangrijk vindt, is een ander wellicht meer gericht op verworvenheden voor de praktijk. En zo zijn er nog wel meer accentverschillen aan te geven.

Misschien moeten we op grond van het voorgaande wel vaststellen dat dé kwaliteit van het onderwijs niet bestaat. Het gaat veeleer over onderwijskwaliteiten die door iedereen op een eigen manier worden beoordeeld en gewaardeerd. De Groot (1983) zegt over het begrip “kwaliteit”: “Het begrip ‘kwaliteit’ kan werken als een soort vluchthaven voor wie de discussie in open water over meer concrete zaken te moeilijk en te onbevredigend is geworden”. En ook: “het woord is geschikt om onzekerheid en verschillen van opvatting over wat eigenlijk bedoeld wordt, toe te dekken”. En even verder: “Ieder kan intussen bij “kwaliteit” het zijne blijven denken”. Misschien is dat dan wel wat we eigenlijk willen. Misschien vinden we het belangrijk dat ieder van ons bij “kwaliteit” het zijne kan blijven denken.

Op zichzelf is het geen probleem wanneer het begrip onderwijskwaliteit door verschillende groeperingen verschillend wordt ingevuld. Problematisch wordt het pas wanneer die verschillende interpretaties niet worden geëxpliciteerd. In dat geval kan men immers eindeloos discussiëren zonder precies te weten wat over en weer wordt bedoeld. Het is dan ook zinvol de vraagstelling van deze bijdrage iets verder te specificeren.

Beperken we ons tot de leerresultaten of leereffecten dan nog is het probleem ingewikkeld genoeg. Immers: welke leerresultaten bedoelen we? Bedoelen we het reproduceren van kennis, het kunnen toepassen van kennis, het kunnen vinden van kennis, het kunnen uitbreiden van kennis? Bedoelen we dit misschien allemaal? En dan zijn vaardigheden, attitudes, competenties en andere leerresultaten nog niet eens vermeld. Ook het begrip leerresultaten is blijkbaar een begrip dat verschillende leerinhouden en verschillende competenties kan omvatten.

Toch bevinden we ons met de beperking tot leerresultaten of leereffecten in het goede gezelschap van De Groot (1983). Hij stelt: “Wat ons interesseert is immers de output van dat proces: wat leerlingen ervan leren. Gaan we daarvan uit, dan geldt dat kwaliteit moet blijken. Dat leert ons zowel ons gezond verstand als de onderwijskunde” (De Groot, 1983). Gewezen wordt nog weer eens op het onderscheid tussen onafhankelijke en afhankelijke variabelen om duidelijk te maken dat onafhankelijk variabelen als motivatie, onderwijsconcept, kwaliteit van docenten, materiële voorzieningen, enz. er alleen maar toe doen voorzover ze een positief effect hebben op de bereikte leerresultaten. Zo’n positief effect is in veel gevallen ongetwijfeld te verwachten maar het dient dan wel aangetoond of op zijn minst aannemelijk gemaakt te worden.

Bij positieve leerresultaten of leereffecten blijft dan nog de vraag wie daarvoor geprezen zou moeten worden. Gaat het om de kwaliteit van de opleiding of gaat het om de kwaliteit van de studenten. Ook hier is het geven en onderbouwen van het juiste antwoord niet zo eenvoudig.

Een eerste conclusie mag wellicht zijn dat het bij onderwijskwaliteit gaat over een veelvoud van kwaliteiten, dat zich niet zo gemakkelijk laat samenvatten in een en dezelfde kwaliteitsbepaling.
Leerresultaten en onderwijsresultaten

Niet ten onrechte wordt verondersteld dat er een causale relatie is tussen de onderwijsresultaten van de onderwijsinstellingen en de leerresultaten van de studenten. Die veronderstelling is zelfs de bestaansgrond van onderwijs. Toch is het zinvol beide begrippen van elkaar te onderscheiden. Uit de toenemende aandacht voor het erkennen van verworven competenties (EVC) en uit de groei van duale leertrajecten mag worden afgeleid dat er ook zonder tussenkomst van onderwijsinstellingen relevante leerresultaten kunnen worden bereikt. Daarnaast illustreert de relatief hoge uitval in het onderwijs dat goede opleidingen niet vanzelfsprekend leiden tot goede leerresultaten. Voor het bereiken van die goede leerresultaten is blijkbaar meer nodig.

Onder leerresultaten verstaan we de prestaties van studenten zoals die worden beoordeeld bij examens of equivalenten daarvan. Deze prestaties worden gezien als een belangrijke onderwijskwaliteit. Prestaties van studenten worden binnen het onderwijs op vele manieren beoordeeld: bij de formele examens, met vrijstellende toetsen, op basis van werkstukken en scripties, tijdens practica en stages, in de vorm van portfolio’s, naar aanleiding van presentaties, enz. Het ene, allesomvattende examen aan het einde van een opleiding komt niet zo vaak meer voor. Op basis van de geleverde prestaties wordt beoordeeld of het examen(onderdeel) al dan niet succesvol werd afgesloten.

Onder onderwijsresultaten verstaan we de prestaties van instellingen voor hoger onderwijs zoals die worden beoordeeld bij een accreditatie of equivalenten daarvan. Prestaties van onderwijsinstellingen worden ook op vele manieren beoordeeld: bij de formele accreditatie, bij de vroegere visitatie, door bevragingen bij studenten, op basis van bereikte rendementscijfers, door rangordes in dag- of weekbladen, enz. Het oordeel over een aantal aspecten wordt in de gegeven voorbeelden veelal omgezet in één oordeel – of een reeks van oordelen – over de kwaliteit van de betreffende opleiding.

Wanneer het gaat over de kwaliteit van het onderwijs wordt ook door de inspectie van het onderwijs de nadruk gelegd op onderwijsprestaties. In het onderwijsverslag 2004/2005 staat: “In de grotere autonomie past dat scholen tonen waartoe zij jongeren gebracht hebben en hoe zij dat gedaan hebben, met andere woorden welke onderwijsprestaties zij hebben geleverd. Onderwijsprestaties zullen het centrale punt worden waarop scholen beoordeeld gaan worden” (Inspectie van het Onderwijs, 2006). Onduidelijk blijft echter wat er in dit verband precies bedoeld wordt met onderwijsprestaties. Gaat het uitsluitend over de bereikte studieresultaten? Gaat het misschien ook over vorming, goed burgerschap, enz.   Kwaliteitskenmerken die door de inspectie van het onderwijs worden gehanteerd in het voortgezet onderwijs omvatten meer dan de opbrengsten. Het gaat daar ook over kwaliteitszorg, toetsing, leerstofaanbod, tijd, onderwijsleerproces, schoolklimaat en zorg en begeleiding. Onduidelijk is wel of aan deze criteria harde en controleerbare feiten ten grondslag liggen.
Over prestaties van studenten (leerresultaten)

Dit jaar is het 40 jaar geleden dat A.D. de Groot een boek publiceerde onder de titel: “Vijven en Zessen”. Het boek zou kunnen worden getypeerd als een kruistocht tegen beoordelingspraktijken in het onderwijs. De openingszinnen in het woord vooraf zijn wat dit betreft illustratief: “Het Nederlandse onderwijs- systeem heeft vele kwaliteiten en vele fouten. Dit boek gaat voornamelijk over de fouten”. De kwaal die aan het “willekeurig, ondemocratisch en inefficiënt” beoordelen en selecteren van leerlingen ten grondslag ligt wordt als volgt omschreven: “De kwaal is, wat eenzijdig maar dan ook kort samengevat, dat wij in ons denken over onderwijs aan één stuk door gericht zijn op discrimineren tussen leerlingen, terwijl wij onvoldoende denken over en nooit behoorlijk definiëren wat we eigenlijk met hen willen bereiken”. (De Groot, 1966, p. v).

Het lijkt zinvol om – veertig jaar na datum – nog eens na te gaan hoever we zijn gevorderd met het remediëren van de door De Groot aangeduide kwaal. Zijn we nog steeds gericht op het discrimineren tussen leerlingen? Denken we nog steeds onvoldoende over wat we eigenlijk met leerlingen willen bereiken? Het nog eens lezen van de voorbeelden die De Groot geeft om de “onvrede met het bestaande systeem” te illustreren leidt ook in 2006 tot herkenning: het onoverkomelijke bijvak, de administratieve vergissing, de bijgestelde examen-normen, het cijfer met de vele betekenissen, het compenseren van cijfers, enz., het is er nog allemaal. Ook nog in 2006.

Een citaat uit het onderwijsverslag 2004/2005 van de inspectie van het onderwijs over het corrigeren van eindexamens meldt onder meer, dat is: “…… afgeweken van de correctievoorschriften met per saldo een voor de kandidaten gunstig resultaat, of dat de (eerste) corrector het werk slordig heeft nagekeken, fouten over het hoofd zag, de correctievoorschriften verkeerd interpreteerde, telfouten maakte of de correctievoorschriften te streng toepaste (met voor de kandidaten een ongunstig resultaat)” (Inspectie van het Onderwijs, 2006). Het gaat hierbij overigens niet over uitzonderingen. Het gaat over ruim 200 tweede correctoren die van een of meer van deze zaken melding maken.

Meer in het algemeen lezen we bij Kessels (2005): “De prijs die we op het ogenblik betalen voor een onderwijspiramide van excellentie, geslaagden en voldoendes aan de top, bestaat aan haar brede basis uit herkansingen, misgelopen waardering, voortijdige schoolverlaters, gekwetst zelfrespect en een verstoord geloof in eigen kunnen” (Kessels & Grotendorst, 2003). En even verder: “Hier wreekt zich dat we in de afgelopen decennia onbewust een kennisinfrastructuur in stand hebben gehouden, die, door middel van voortdurend meten, gestandaardiseerde toetsen en examineren ten behoeve van uniforme leerstof en diplomawaardering, vooral gebaseerd is op selectie en uitsluiting” (Kessels, 2005). Blijkbaar zijn de kritische kanttekeningen van De Groot uit 1966 ook in de huidige situatie nog actueel.

Nu is het natuurlijk niet alleen maar kommer en kwel. Feit is immers dat er met betrekking tot cijfers en beoordelingen een grotere openheid is ontstaan, waardoor inzage in gecorrigeerde examens en beroepsprocedures tot de mogelijkheden zijn gaan behoren. Feit is ook dat die grotere openheid er toe leidt dat de effecten van vergissingen en misverstanden kunnen worden gecorrigeerd. In de praktijk wil dit er nog wel eens toe leiden dat alle betrokkenen vrede hebben met het resultaat van het gevoerde overleg, maar vrede hebben met een uitkomst van overleg wil natuurlijk nog niet zeggen dat de kwaliteit van een prestatie ook op een juiste en verantwoorde manier is vastgesteld.

Feit is immers, dat er over de bepaling van de slaag/zak-grens, over mogelijke compensatie tussen examenonderdelen, over het al dan niet meetellen van eerdere leerresultaten, over de noodzaak van meer dan één beoordelaar duidelijke verschillen van mening bestaan tussen “deskundigen”. Nu kan men die verschillen van mening door procedures en regelingen buiten werking stellen maar daarmee zijn ze natuurlijk niet verdwenen.
Ontwikkelingen bij het beoordelen van prestaties van studenten 

 Bij de beoordeling van de prestaties van studenten ligt de nadruk niet meer uitsluitend op een examen in de meer traditionele zin. Bedoeld wordt: een in de tijd geconcentreerd onderzoek – aan het einde van een opleiding – naar de leerresultaten van de studenten. Een dergelijk onderzoek beoogt de bereikte leerresultaten af te meten aan de geldende eisen. In de oorspronkelijk bedoelde uniformiteit of op zijn minst gelijkwaardigheid van examens is geleidelijk enige verandering gekomen. De gelijkwaardigheid van examens wordt natuurlijk nog altijd nagestreefd maar het wordt steeds moeilijker om die gelijkwaardigheid hard te maken, omdat de verschillen tussen het ene “examen” en het andere eerder toenemen dan afnemen:

a. van uniformiteit naar differentiatie

Globaal genomen kan worden gesteld dat de differentiatie van studieprogramma’s binnen het hoger onderwijs gedurende de afgelopen decennia is toegenomen. De omvang van het keuzeonderwijs binnen de meeste programma’s is heel duidelijk toegenomen. Was de keuzeruimte in de zestiger jaren amper 10 %, dan kan nu worden vastgesteld, dat percentages van 30% of meer geen uitzondering meer zijn. Deze ontwikkeling is natuurlijk toe te juichen omdat het studenten in staat stelt hun meer specifieke talenten te ontwikkelen. Een gevolg is wel dat het moeilijker wordt om de gelijkwaardigheid van gelijknamige diploma’s met harde empirische argumenten te onderbouwen. Hoe kan men hard maken dat keuzevakken, scriptieonderwerpen, afstudeeropdrachten, stages, enz. mogen worden beschouwd als gelijkwaardig, wanneer ze inhoudelijk nogal van elkaar verschillen?

b. van eindmetingen naar permanente evaluatie

Het éne afsluitende examen vindt binnen een groot aantal opleidingen niet meer plaats.   In plaats daarvan wordt het diploma in veel gevallen toegekend op basis van een aantal met succes afgelegde tentamens of andere studieprestaties. Ook deze ontwikkeling moet positief worden beoordeeld al was het alleen maar omdat de samenhang tussen het onderwijzen en het toetsen hierdoor beter tot zijn recht komt. De soms grote afstand tussen het onderwijzen en het toetsen, die vijftig jaar geleden niet ongebruikelijk was is daarmee aanmerkelijk verminderd. Opnieuw geldt echter ook hier dat het empirisch onderbouwen van de gelijkwaardigheid door deze ontwikkeling – die alleszins positief is – niet wordt vereenvoudigd.

c. van standaardeisen naar individualisering

Een verdere ontwikkeling kan worden geïllustreerd aan de hand van de invoering van portfolio’s. Bij portfolio’s documenteert de student de eigen leerresultaten in dialoog met de docenten of  begeleiders. Ook hier is het positieve dat er ruimte wordt gegeven aan de ontwikkeling van individuele talenten binnen duidelijke kaders die door de docenten en begeleiders worden ingebracht. De onderwijsinstelling behoudt dus een duidelijk zicht op de te stellen eisen, zelfs meer dan in de vroegere situatie omdat in de portfolio’s alles zwart op wit is gezet en in principe door iedereen kan worden gecontroleerd. Bij de individueel afgenomen mondelinge tentamens was dat nog wel eens anders. Controle was daarbij eigenlijk uitgesloten.

Een voorlopige conclusie zou kunnen zijn, dat het ene oordeel van het afsluitende examen – geslaagd: ja of nee – meer en meer wordt uiteengelegd in een groter aantal elementen, dat de te leveren prestaties meer en meer worden gespreid in de tijd en dat de te stellen eisen meer en meer worden geïndividualiseerd. Voor een samenleving op weg naar een kenniseconomie zijn dat alleen maar voordelen. Zo wordt het talent dat beschikbaar is immers zo goed mogelijk ontwikkeld. Of in de woorden van Kessels (2005): “Als het waar is dat we toe groeien naar een kennismaatschappij waarin van elke burger een bijdrage gevraagd wordt in het proces van waardetoevoeging door middel van kennisontwikkeling – sociaal, betrokken, creatief, dienstverlenend, praktisch, wetenschappelijk – dan is elk talent noodzakelijk en kunnen we ons geen enkele uitvaller veroorloven”. (Kessels, 2005)
Over prestaties van instellingen (onderwijsresultaten)  

Op basis van de nota: “Hoger Onderwijs; Autonomie en Kwaliteit” (OC&W, 1985) werden afspraken gemaakt tussen de minister en de instellingen voor hoger onderwijs: Grotere autonomie voor de instellingen, maar dat gepaard aan een eerste verantwoordelijkheid voor de kwaliteit van proces en product, en verantwoording over die kwaliteit. Op basis van deze afspraak ging in 1988 een stelsel van visitaties van start. Doelen waren: onderwijsverbetering enerzijds, openheid en maatschappelijke verantwoording door het hoger onderwijs anderzijds. Over de zinvolheid van deze combinatie later meer. Vanaf het begin was duidelijk dat een brede voorbereiding van de zelfstudie een aanzienlijk deel opleverde van diagnose en remedie en dus van het nuttig effect van de operatie (Hörmann, 1992).

In 2003 werd het visitatiestelsel vervangen door het accreditatiestelsel. Sommigen vonden het bezwaarlijk dat in het visitatiestelsel “de sector in feite zichzelf beoordeelt. Daarom is gepoogd om een combinatie te maken van de erkende verbeterfunctie van het visitatiestelsel en een onafhankelijke toezichtorganisatie die de accreditatiebesluiten moet nemen”   (Dittrich & Frederiks, 2005). Als doelen van de accreditatie worden genoemd: het afleggen van verantwoording door de instellingen, het rechtvaardigen van de financiering door de overheid, vergroting van de mobiliteit door programma- vergelijking en het verstrekken van informatie aan studenten en aan het publiek.

Een centrale vraag lijkt te zijn of het is gelukt een goede en verantwoorde combinatie te maken van de verbeterfunctie van het visitatiestelsel en de accreditatiebesluiten van de onafhankelijke toezichtorganisatie. Onduidelijk is immers of instellingen voor hoger onderwijs bereid zullen zijn hun zwakke punten zichtbaar te maken wanneer ze daarmee het risico lopen dat het toelaten van studenten niet langer mogelijk is en dat de financiering van de opleiding op termijn stopgezet zou kunnen worden. Ook door Hörmann (1992) werd de relatie tussen onderwijsverbetering en maatschappelijke verantwoording getypeerd als: “Een delicate balans, omdat er omstandigheden zijn waarin het ene doel het andere kan hinderen”.

In het onderwijsverslag van de inspectie van het onderwijs staat: “De meeste instellingen vinden dat de verbeterfunctie van de externe kwaliteitszorg in het gedrang komt; het gaat bij de accreditatie vooral om verantwoording. Voorheen kreeg de opleiding bij een negatief oordeel twee jaar de tijd om te verbeteren, nu is het ja of nee”.

Het is eigenlijk niet verwonderlijk dat de verbeterfunctie in het gedrang lijkt te komen. Allereerst zijn de sancties binnen het accreditatiestelsel niet gering. Het niet meer mogen inschrijven van nieuwe studenten en het op termijn stop zetten van de financiering zijn nu niet bepaald geringe maatregelen. Vraag is of instellingen tegen deze achtergrond nog worden uitgenodigd om sterke en vooral zwakke punten zo nauwkeurig mogelijk te beschrijven. Denkbaar – en ook begrijpelijk – is het wanneer vooral de sterke punten in een zelfevaluatierapport worden beschreven en uitgewerkt. Onverwacht kan dit overigens niet zijn. Vroeijenstijn schreef in 1995 een boek met als titel: “Improvement and accountability: navigating between Scylla and Charybdis”. Aanbevolen wordt onder meer om de externe kwaliteitsbepaling niet te overvragen door zowel formatieve als summatieve functies toe te kennen. Bepleit wordt om de onderwijsinstellingen eigenaar te laten zijn van de kwaliteitsbepaling, geen financiering te koppelen aan deze kwaliteitsbepaling en niet te streven naar een rangordening van de instellingen. Geconstateerd mag worden dat bij het nu bestaande accreditatiestelsel is gekozen voor een andere koers.
Ontwikkelingen bij het beoordelen van prestaties van onderwijsinstellingen 

Bij het beoordelen van prestaties van onderwijsinstellingen kan de volgende ontwikkeling worden beschreven. Tot het midden van de tachtiger jaren was er van een formele beoordeling eigenlijk geen sprake. Dat gold in ieder geval voor het wetenschappelijk onderwijs aan de universiteiten. Het hoger beroepsonderwijs had te maken met een inspectie die van tijd tot tijd oordeelde over de prestaties die door het hoger beroepsonderwijs werden geleverd. Een verrassende invoering van de inspectie voor het wetenschappelijk onderwijs in het begin van de tachtiger jaren richtte de aandacht op het beoordelen van de prestaties van ook het wetenschappelijk onderwijs. En ook hier kunnen enkele ontwikkelingen worden beschreven:

a. van inspectie naar visitatie

De min of meer bij verrassing ingestelde inspectie voor het wetenschappelijk onderwijs leidde tot een discussie over de vraag of een inspectie wel de aangewezen instantie zou kunnen zijn om de kwaliteit van de prestaties van universiteiten te beoordelen. Gesteld werd dat de professionaliteit in deze bij uitstek berustte bij de universiteiten. In onderhandelingen werd dan ook overeen gekomen dat er vanuit het wetenschappelijk onderwijs een systeem van kwaliteitszorg zou worden opgesteld, dat in 1988 als visitatiestelsel van start ging. Hoofdlijnen waren dat de opleidingen een zelfevaluatierapport zouden opstellen, dat een onafhankelijke visitatiecommissie in gesprekken met betrokkenen de realiteitswaarde van de zelfevaluatie zou toetsen, dat over die toetsing een openbaar rapport beschikbaar zou komen en dat de inspectie in een metaevaluatie haar oordeel over de gang van zaken zou vastleggen.

b. van visitatie naar accreditatie

In 2003 werd het visitatiestelsel vervangen door een accreditatiestelsel. Een gevolg hiervan was dat een onafhankelijke instantie – de NVAO (de Nederlands-Vlaamse Accreditatie Organisatie) – met een sanctionerende werking uitspraken kon doen over de kwaliteit van opleidingen. Sancties zouden kunnen zijn: het niet meer mogen inschrijven van nieuwe studenten tot het stop zetten van de financiering. Bij het oordeel zou de NVAO een rapport van een visitatiecommissie betrekken, dat onder verantwoordelijkheid van een erkende VBI (= een Visiterende en Beoordelende Instantie) tot stand zou zijn gekomen. Onvrede over het feit, dat de universiteiten zichzelf beoordeelden lagen  aan deze wijziging ten grondslag.

c. van verbetering naar verantwoording

De concrete overgang van visitatie naar accreditatie probeerde de voordelen van beide stelsels te verenigen. De verbeterfunctie die blijkbaar goed gewerkt had binnen het visitatiestelsel wilde men aanvullen met een verantwoordingsfunctie waaraan sancties verbonden zouden kunnen worden. Het was immers een overheidstaak om de kwaliteit van het onderwijs te bewaken. Vraag is of men in redelijkheid mag verwachten dat beide functies combineerbaar zijn (Vroeijenstijn, 1995).  Een student die weet, dat het stellen van een minder goede vraag een doorwerking kan hebben op de beoordeling van zijn prestatie zal terughoudend zijn in het stellen van vragen. Een instelling die weet, dat een beschreven zwak punt een negatief accreditatiebesluit tot gevolg kan hebben zal terughoudend zijn in het beschrijven van zwakke punten.En dit laatste leidt er dan weer toe dat er voor de zo geprezen verbeterfunctie nog maar heel weinig aanknopingspunten zijn.

Een voorlopige conclusie zou kunnen zijn dat het combineren van een verbeter-functie met een verantwoordingsfunctie misschien toch niet zo’n goede gedachte is, zeker niet wanneer aan die verantwoording belangrijke sancties verbonden kunnen zijn. Bij studenten wisten we dit al langer en het is niet zo goed te begrijpen waarom dit bij instellingen fundamenteel anders zou zijn. Beide functies zijn overigens alleszins legitiem en belangrijk maar het is de combinatie van beide functies die gemakkelijk tot problemen kan leiden. De verantwoordingsfunctie kan en mag zich concentreren op een beperkt aantal indicatoren en hoeft niet zo kostbaar te zijn als een verbeterfunctie die binnen een vrij complex stelsel moet zoeken naar mogelijkheden om het bestaande te verbeteren.
Kwaliteitsbepaling van leerresultaten en onderwijsresultaten vergeleken

Vergelijken we de kwaliteitsbepalingen zoals die bij leerresultaten van studenten en onderwijsresultaten van instellingen gangbaar zijn dan kunnen we zowel overeenkomsten als verschillen zien:

Overeenkomsten:

Geen sluitende omschrijvingen
Er worden veel inspanningen verricht om de leerresultaten en onderwijsresultaten die worden nagestreefd zo duidelijk mogelijk te omschrijven. Toch moet worden vastgesteld dat er tussen doelstellingen, eindtermen en kwalificatiestructuren altijd wel een zekere interpretatieruimte zit. Hierdoor kunnen – ook bij de beste bedoelingen van de beoordelaars – verschillen ontstaan bij het bepalen van de kwaliteit. Zo is er met betrekking tot begrippen als   “basiskwaliteit”   en “minimumniveau” geen eenduidige definitie die verschillende interpretaties uitsluit.

Complexiteit van de begrippen
Beoogde leerresultaten en onderwijsresultaten staan voor multidimensionele en complexe werkelijkheden. In beide gevallen zijn er bijna altijd sterke én zwakke punten te ontdekken. Over het relatieve belang van kennen en kunnen, over de waarde van praktijk ten opzicht van theorie, over de betekenis van leerinhouden in vergelijking met leermethoden, enz. kan men gemakkelijk van mening verschillen. Keuzen zijn dus noodzakelijk. Het standpunt dat alle genoemde zaken  belangrijk zijn leidt al snel tot grote organisatorische (en financiële) problemen.

Verschraling door “ja- nee”-beslissing
De “ja-nee”- beslissing die veelal aan het einde staat bij de kwaliteitsbepaling van leerresultaten en onderwijsresultaten is eigenlijk altijd onbevredigend. Het gaat meestal over graduele verschillen waarbij een cesuurbepaling toch altijd iets willekeurigs heeft. Natuurlijk kan men over die cesuurbepaling afspraken maken of regels opstellen maar daarmee is het minimale verschil tussen juist wel of juist niet boven de streep natuurlijk niet ongedaan gemaakt. Vraag is ook of de wenselijkheid van een “ja- nee”-beslissing nog steeds zo groot is nu de techniek een grote mate van flexibiliteit mogelijk maakt.

Variatie in consequenties
De kwaliteitsbepaling van leerresultaten en onderwijsresultaten heeft niet altijd consequenties van een gelijke zwaarte. Soms leidt een kwaliteitsbepaling tot een aantal adviezen, soms kunnen kwaliteitsbepalingen leiden tot ingrepen in de beoordeelde opleiding of tot studievertragingen voor de beoordeelde studenten. Het is niet uit te sluiten dat kwaliteitsbepalingen worden beïnvloed door de zwaarte van de gevolgen die daaraan verbonden zijn: een lage beoordeling zal gemakkelijker worden gegeven wanneer ze niet onmiddellijk leidt tot negatieve beslissingen voor de beoordeelde.

Verschillen:

Onafhankelijkheid van beslissing (intern of extern oordeel)
Een verschil is, dat de persoon of instantie die de beslissingen neemt niet in beide gevallen – bij leerresultaten en onderwijsresultaten – de persoon of instantie is die de vereiste informatie verzamelt. Bij leerresultaten is het gebruikelijk dat de beoordelaar ook de informatie verzamelt die voor de beoordeling gewenst is. Bij onderwijsresultaten is er een VBI (een Visiterende en Beoordelende Instantie) die de vereiste informatie verzamelt, terwijl de NVAO (de Nederlands-Vlaamse Accreditatie Organisatie) verantwoordelijk is voor de uiteindelijke beslissing. Nu zijn er goede redenen om de functies van begeleider en beoordelaar te scheiden, maar dan zou men wel consequent moeten zijn.

Tijdstip van meetmomenten (formatief of summatief)
Een belangrijk verschil is dat de ontwikkeling van de kwaliteitsbepaling zich bij leerresultaten en onderwijsresultaten in tegengestelde richting lijkt te bewegen. Waar het éne examen met beslissende werking bij leerresultaten meer en meer wordt vervangen door een reeks van toetsen en afsluitingen die gezamenlijk leiden tot een beslissing, heeft de accreditatie bij de bepaling van de kwaliteit van onderwijsresultaten vorm gekregen door een beslissende uitspraak op één en hetzelfde moment. Bij de kwaliteitsbepaling van leerresultaten krijgt het afgelegde traject in vergelijking met het eindpunt meer aandacht, terwijl bij de bepaling van de kwaliteit van onderwijsresultaten een verschuiving heeft plaats gevonden van  trajectbegeleiding in de richting van eindpuntbeoordeling.
Traditie of innovatie
Bij het bepalen van de kwaliteit van leerresultaten en onderwijsresultaten speelt de traditie een niet onbelangrijke rol. Leerlingen zijn niet meer zo goed als vroeger, opleidingen hebben een te eenzijdige taakopvatting, de samenhang tussen onderwijs en samenleving is verzwakt, “ze kunnen geen hamer meer vasthouden”, enz. zijn klachten die regelmatig worden geformuleerd. Richt het onderwijs zich op een integratie van vakken dan is de klacht dat de aparte vakken niet meer te zien zijn. Worden meer flexibele leermethoden worden aangeleerd om de kennisexplosie te kunnen opvangen dan is de klacht dat de kennis van feitelijkheden niet meer is wat het vroeger was. Ook van visitatiecommissies wordt wel gemeld dat ze niet zoveel oog hebben voor vernieuwingen in het onderwijs. De eigen onderwijshistorie wordt te gemakkelijk als criterium aangelegd bij het beoordelen van vernieuwingen in het onderwijs. 

Verbetering of verantwoording
Ook de functie die aan kwaliteitsbepaling wordt toegekend ontwikkelt zich bij leerresultaten en onderwijsresultaten in tegengestelde richting. Bij de bepaling van de kwaliteit van leerresultaten wordt steeds meer ruimte gegeven aan de verbeterfunctie ten koste van de verantwoordingsfunctie – denk hierbij aan de verschillende toepassingen van portfolio’s – terwijl bij het bepalen van de kwaliteit van de onderwijsresultaten de verbeterfunctie verdrongen lijkt te worden door de verantwoordingsfunctie. De inspectie van het onderwijs schrijft hierover: “De meeste instellingen vinden dat de verbeterfunctie van de externe kwaliteitszorg in het gedrang komt; het gaat bij de accreditatie vooral om de verantwoording. Voorheen kreeg de opleiding bij een negatief oordeel twee jaar de tijd om te verbeteren, nu is het ja of nee”. (Inspectie van het Onderwijs, 2006).

Aandachtspunten

Het beklagenswaardige cijfer
In 1966 stelt De Groot: “één van de meest gemaakte fouten bij het gebruik van cijfers is, dat men ze vaak men allerlei andere dingen belast: aansporingen, verwachtingen, pedagogische maatregelen, zelfs wel eens disciplinaire maatregelen. Het arme, ééndimensionele cijfer kan dat alles niet goed verwerken – maar men mag het getal zelf niet de schuld geven voor het feit dat velen het verkeerd gebruiken” (De Groot, 1966).

Ook met betrekking tot de “ja-nee”-beslissing die bij traditionele examens en accrediatie- besluiten gebruikelijk is kan men zich afvragen, of er niet te veel ongelijksoortige elementen achter die éne “ja-nee”-beslissing schuil gaan. Weliswaar worden de “ja-nee”-beslissingen in beide gevallen zo goed mogelijk gespecificeerd maar de criteria die aan deze beslissingen ten grondslag liggen zijn zeker niet eenduidig en laten nogal eens interpretatieverschillen toe.

Vraag is dan op grond van welke overwegingen de “ja-nee”- beslissingen feitelijk nodig zijn. Bij een klassikale benadering van onderwijs en bij de noodzaak om gelijksoortige opleidingen in te perken is er begrip voor de noodzaak van “ja- nee”-beslissingen. Bij een toenemende flexibiliteit van het onderwijs, bij het centraal stellen van leren boven onderwijzen, enz. zijn er wellicht mogelijkheden om de “ja-nee”- beslissingen ofwel uit te sluiten ofwel aanmerkelijk minder zware gevolgen te laten hebben. De mogelijkheid van het inkorten van verbeterperiodes, het vervangen van algemene beslissingen door deel-beslissingen, het toekennen van deel- kwalificaties, enz. zou het onderwijsrendement kunnen verhogen en de uitval in het onderwijs aanmerkelijk kunnen terugdringen.
Faire trajectontwikkeling
Bekend is dat veranderingen op het gebied van maatschappelijke instituties in veel gevallen leiden tot tijdrovende processen. Ook veranderingen in het onderwijs vragen tijd. De indruk is echter dat nieuwe ontwikkelingen in het onderwijs amper de tijd krijgen om hun eventuele positieve eigenschappen aan te tonen. Ieder incident wordt breed uitgemeten, kamervragen zijn betrekkelijk snel gesteld en ook het overheidsingrijpen is niet altijd gekenmerkt door geduld.

Toch zou men zich moeten realiseren dat het bestaande, klassikale onderwijs ruim 150 jaar oud is, terwijl er nog steeds tekorten kunnen worden aangewezen in de zin van: aansluiting op de arbeidsmarkt, aansluiting op het vervolgonderwijs, motivatie van studerenden. Ook wordt geconstateerd dat er sprake is van nieuwe leerpsychologische en onderwijskundige inzichten die nog maar zeer beperkt een vertaling hebben gekregen in het onderwijs (Inspectie van het onderwijs, 2006).

Veranderingen die zouden kunnen leiden tot een vermindering van aansluitings- en motivatieproblemen zouden misschien meer aandacht moeten krijgen. Daarbij is dan nodig dat expliciet wordt aangegeven welke gevolgen van de voorgestelde veranderingen worden verwacht en op welke manier dat te zijner tijd zou kunnen worden vastgesteld. Het is irreëel te verwachten dat onderwijsveranderingen na een één- à tweejarige toepassing de beoogde resultaten zouden kunnen bereiken.

Het onvoldoende expliciteren van het doel van de veranderingen, een te hoog verwachtingspatroon op te korte termijn, een onvoldoende doorwerking in alle relevante onderwijsaspecten (b.v. andere onderwijsvormen bij onveranderde toetsen), onvoldoende aandacht voor het creëren van een draagvlak, enz. kunnen hoopvolle ontwikkelingen in het onderwijs nog wel eens vroegtijdig blokkeren.

Nadruk op verbeterfunctie
We herhalen een citaat van de Inspectie van het Onderwijs (2006): ” De    instellingen vinden dat de verbeterfunctie van de externe kwaliteitszorg in het gedrang komt; het gaat bij accreditatie vooral om verantwoording. Voorheen kreeg de opleiding bij een negatief oordeel twee jaar de tijd om te verbeteren, nu is het ja of nee”. Eigenlijk wordt hier gewezen op een slechte ontwikkeling, waarop al in 1995 door Vroeijenstijn werd gewezen: het combineren van de verbeterfunctie en de verantwoordingsfunctie in één en dezelfde procedure is niet zo’n goed idee. De open communicatie over de kwaliteiten van het onderwijs die door het visitatiestelsel tot stand was gebracht wordt door het terugdringen van de verbeterfunctie als het ware weer ongedaan gemaakt.

De inspectie: “Geaccrediteerd zijn zegt niets over de zwakke en sterke punten van een opleiding”. En verder: “Analyse van een aantal rapporten door de inspectie wees uit dat de rapporten weliswaar veel informatie bevatten over de verschillende facetten, maar weinig inzicht bieden in sterke en zwakke punten.” (Inspectie van het onderwijs, 2006)

Achteraf bezien is het in het gedrang komen van de verbeterfunctie misschien toch niet zo verwonderlijk. De zware sancties die het gevolg zijn van het uitblijven van een accreditatie maakt beoordelingspanels extra voorzichtig in het uitspreken van negatieve of twijfelachtige beoordelingen. Wanneer daarnaast een VBI aan de panels kenbaar maakt dat het opnemen van verbeterpunten in rapporten niet zo verstandig is omdat dat kan leiden tot het oordeel “onvoldoende” bij de NVAO, kan ook dat worden gezien als een verklaring voor een terugdringen van de verbeterfunctie. Het zou een aanzienlijke verbetering zijn wanneer de door de visitatie in gang gezette verbeterfunctie weer in ere zou kunnen worden hersteld.
Ruimte voor innovatie
Een zorg die meer en meer in relatie tot de kwaliteitsbepaling wordt geuit betreft het conserverende karakter. Het beoordelen van de onderwijskwaliteit zou minder oog hebben voor vernieuwingen die in het (hoger) onderwijs worden doorgevoerd. Wanneer men kiest voor integrerende onderwijsonderdelen is de vraag, waar de traditionele vakken zich in het curriculum bevinden. Wanneer meer aandacht wordt besteed aan leermethoden in verhouding tot leerinhouden wordt het tekort aan leerinhouden zwaar gewogen en het surplus van de nadruk op leermethoden nauwelijks meegeteld. Wanneer duale leertrajecten worden ingericht wordt gevraagd of de theorie toch niet vooraf zou moeten gaan aan de praktijk.

Dat veranderingen zich moeten bewijzen is evident, maar daar is tijd voor nodig. Al te snelle oordelen op basis van globale informatie zijn in dit opzicht contraproductief. Dit geldt temeer wanneer veranderingsvoorstellen rechtstreeks aansluiten op tekorten die met regelmaat in het huidige onderwijs worden gesignaleerd: een te hoge uitval, aansluitingsproblemen, motivatieproblemen, een te grote versnippering, een toenemende overladenheid, de eenzijdige cognitieve oriëntatie, enz.

De noodzaak van een goede voorbereiding op een kennissamenleving is ook een krachtig argument om de bakens te verzetten. Niet het verleden moet worden gezien als richtinggevend voor de inrichting van het onderwijs, maar de toekomst. Die toekomst vraagt: “een rijk en gevarieerd cultureel klimaat waarin tolerantie, ruimte voor passie, werken aan wederzijdse aantrekkelijkheid, en de ontwikkeling van sociaal kapitaal belangrijke kenmerken zijn” (Kessels, 2005). Of, zoals eerder geciteerd:

“Als het waar is dat we toegroeien naar een kennismaatschappij waarin van elke burger een bijdrage gevraagd wordt in het proces van waardetoevoeging door middel van kennisontwikkeling – sociaal, betrokken, creatief, dienstverlenend, praktisch, wetenschappelijk – dan is elk talent noodzakelijk en kunnen we ons geen enkele uitvaller permitteren” (Kessels, 2005)

Tot slot 

De vooruitgang op het gebied van de bepaling van de kwaliteit(en) van onderwijs in een periode van 40 jaar is niet indrukwekkend. Veel tegengestelde opvattingen zijn er nog steeds. Veel tegengestelde oplossingen worden ook nog steeds gepropageerd. Dat zal ook na vandaag niet anders zijn. De kern van deze bijdrage is, dat we voorrang zouden moeten geven aan verbeteren, innoveren en begeleiden en dat de aandacht voor controleren, accrediteren en sanctioneren misschien weer op een lager pitje zou moeten worden gezet.
De meer uniforme samenleving van de twintigste eeuw hebben we achter ons gelaten, een meer dynamische eenentwintigste eeuw zorgt voor een nieuwe uitdaging. Innovatie, flexibiliteit, differentiatie, creativiteit en integratie zullen daarbij voor de nodige uitdagingen zorgen.

W.H.F.W. Wijnen

[deze rede verschijnt tevens in het Vlaamse tijdschrift ‘Persoon en Gemeenschap’] 
Literatuur:

Dittrich, K. & Frederiks, M. (2005): Accreditatie in Nederland en Vlaanderen: een eerste balans. Tijdschrift voor Hoger Onderwijs. 23(1) 2-16.

Groot, A.D. de (1966): Vijven en Zessen. Groningen: Wolters.

Groot, A.D. de (1983): Is kwaliteit van onderwijs te beoordelen?

In: Creemers e.a. (red.): De kwaliteit van het onderwijs. Groningen: RION Wolters-Noordhoff.

Inspectie van het Onderwijs (2006): De staat van het onderwijs. Onderwijsverslag 2004/2005. Utrecht: Inspectie van het Onderwijs. 2006.

Hörmann, F.A. (1992): Visitaties… en dan stilte na de storm?

In: Jochems, W & Pilot, A. (red.) (2003): Visitaties: Geen stilte na de storm. Groningen: Wolters- Noordhoff.

Kessels, J.W.M. (2005): Opleiden en leren in een kennissamenleving. Een essay ten behoeve van NIVOZ.

Kessels, J.W.M. & Grotendorst, A. (2003): EVC: selectie of aanmoediging van talent? Leren is meer dan weten en meten. Opleiding & Ontwikkeling. 16 (11) 19-23.

Ministerie Onderwijs, Cuiltuur en Wetenschappen (1985): Hoger Onderwijs: autonomie en kwaliteit. ’s Gravenhage: Staatsuitgeverij.

Vroeijenstijn, A.I. (1995): Improvement and Accountability: navigating between Scylla and Charibdis. London and Bristol, Pennsylvania : Jessica Kingsley Publishers.


























«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK