Institutional Research in het HO

Nieuws | de redactie

27 januari 2006 |

De aandacht voor het institutioneel onderzoek in het hoger onderwijs zelf is de voorbije jaren duidelijk opgebloeid. In 2000 werd de ‘beroepsvereniging’ DAIR hiervoor opgericht, waarin de informatiemakelaars van het HO hun professionaliteit ontwikkelen. Vanuit DAIR is inmiddels een eigen begrippenkader ontwikkeld en veel hierover gepubliceerd. Met een nieuwe publicatie wordt dat begrippenkader uitgediept: ‘Institutional Research in het HO, een abecedarium’. Van A (administratie) tot Z (ziekteverzuim) worden de actuele begrippen en discussies voor het voetlicht gebracht.
Ter kennismaking brengt ScienceGuide hier het artikel ‘B, Benchmarking’ van Vincent Vendel van de UvA, aangezien de discussie daarover rond ranking en kwaliteit steeds weer oplaait. Meer over het boek vindt u hier.

---

Benchmarking, door Vincent Vendel

Inleiding Van oorsprong staat het Engelse woord benchmark voor een standaard of referentiepunt. Het organisatiekundige concept ‘benchmarken’, waar het hier om gaat, staat voor een specifieke vorm van meten en vergelijken van bedrijfsprocessen en -prestaties, waarbij gezocht wordt naar best practices. Dit concept is ruim twintig jaar geleden ontwikkeld in het bedrijfsleven in de USA en Japan, waar de eerste benchmarks in het begin van de jaren tachtig plaatsvonden. In de jaren daarna heeft benchmarking zich ontwikkeld tot een over de gehele wereld toegepaste praktijk. Het is ook doorgedrongen in de not-for- profit sector, bij de overheid en in het hoger onderwijs. Het wordt daar nu zoveel en zo makkelijk gebruikt dat het lijkt of iedereen er hetzelfde onder verstaat. Toch bestaat er geen geaccepteerde enkelvoudige definitie van benchmarken. Benchmarken is tegenwoordig een breed begrip waaronder veel verschillende praktijken schuil gaan, “encompassing the simplest comparison of performance data to complex strategic exercises examining how the world’s best companies are run”. 1 Al deze vormen kunnen op verschillende manieren ingedeeld worden. Voor het hoger onderwijs zijn de belangrijkste vormen altijd performance benchmarking en process benchmarking. Essentieel in beide vormen, of ze nu gericht zijn op een proces of op een prestatie, is dat het moet gaan om een leerproces. De doelstelling van benchmarken is het verbeteren van een bepaald proces of een activiteit binnen de organisatie door te leren van andere organisaties of processen. Tot de kenmerken van benchmarken behoren daarom “the elaboration of one or more desired goals, the identification by comparison of best practice as the recommended means to achieve those goals, and some form of measurement to co-ordinate and evaluate progress. Benchmarking […] is therefore seen as a dynamic process of target setting, measurement and evaluation”. 2 In de praktijk blijkt echter dat het begrip benchmarken – zeker in het hoger onderwijs – vaak gebruikt wordt waar het enkel gaat om eenvoudige statistische vergelijkingen, zonder de expliciete bedoeling om dit te zien als een begin van een verbeterproces. Het behoort inmiddels tot het standaardrepertoire van institutional research om antwoord te geven op de vraag van bestuurders en managers hoe andere hogescholen of universiteiten ‘het doen’ en hoe de eigen instelling zich daartoe verhoudt. Vormen van benchmarking Voor een beschrijving van de praktijk van benchmarken in het hoger onderwijs wordt hier aangesloten bij de indeling die Matters en Evans 3 geven. Zij onderscheiden interne en externe benchmarking als vormen van performance benchmarking en functionele en generieke benchmarking als vormen van process benchmarking. In de praktijk van het hoger onderwijs in Nederland hebben institutional researchers vooral te maken met interne en externe benchmarking. Onder interne benchmarking wordt verstaan het vergelijken van gelijke functies bij verschillende onderdelen van de instelling. Doel is om op deze wijze interne best practices te identificeren. Organisaties kunnen daarmee dan een interne performance standaard voor de eigen instelling ontwikkelen. Voordeel van intern benchmarken is dat veel informatie over de instelling op tafel komt en wordt gedeeld. Als nadeel geldt dat het de blik naar binnen richt. Interne benchmarking is een activiteit die institutional researchers vaak toepassen. Voorbeelden zijn overzichten van het rendement van de opleidingen van de eigen instelling, van de leeftijdsopbouw van de faculteiten en van de onderzoeksproductiviteit van de onderzoeksinstituten. Benadrukt moet echter worden dat deze activiteit pas benchmarken genoemd kan worden als het om zaken gaat die binnen de instelling als prestaties of performances gelden. Leeftijdsopbouw is bijvoorbeeld geen performance en dus geen onderwerp voor een benchmark wanneer het de toevallige uitkomst van een proces van in- en externe mobiliteit betreft. Het is wel een onderwerp voor een benchmark als het het resultaat is van bewust HRM-beleid. Externe (of competitieve) benchmarking vindt plaats wanneer de performance van de eigen instelling wordt vergeleken met die van de directe concurrenten. Het gaat hier bijvoorbeeld over de ontwikkeling van het marktaandeel onder eerstejaarsstudenten, over de verhouding tussen onderwijzend en ondersteunend personeel bij verschillende hogescholen of het rendement van vergelijkbare opleidingen van verschillen universiteiten. Voordeel van externe benchmarking is dat een instelling kan zien hoe haar performance zich verhoudt tot die van de concurrenten. Nadeel is dat, zeker in de for-profit sector, goede informatie over de prestaties van de concurrentie vaak moeilijk te vergaren is. In het hoger onderwijs vormen (de projecten om te komen tot) landelijke verzameling en ontsluiting van gegevens de meest bekende voorbeelden van externe benchmarking. Binnen het WO gaat het bijvoorbeeld om de Kengetallen Universitair Onderwijs (KUO), de Kengetallen Universitair Onderzoek (KUOZ) en Wetenschappelijk Onderwijs Personeels Informatie (WOPI). Binnen het HBO gaat het om kengetallen op de gebieden financiën, personeel en studenten. En voor zowel HBO als WO is er een landelijke arbeidsmarktmonitor waarin via een enquête onder alumni verzamelde gegevens over de arbeidsmarktpositie van recent afgestudeerden worden ontsloten. Via de websites van VSNU (www.vsnu.nl) en HBO-Raad (www.hbo.nl) is een groot deel van deze externe benchmarks te raadplegen. Externe benchmarking vindt niet alleen plaats in landelijke projecten, maar kan ook plaatsvinden in samenwerking tussen enkele hogescholen en universiteiten. Het tot stand brengen van een goede en geaccepteerde externe benchmark is geen sinecure. Als concurrenten al bereid zijn gegevens onderling uit te wisselen, is het proces om tot goed vergelijkbare informatie te komen vaak nog complex. Functionele benchmarking is het vergelijken van specifieke functies van instellingen die bepaalde producten en diensten gemeen hebben maar geen directe concurrenten van elkaar zijn. Een voorbeeld hiervan is het Europese benchmarkproject van ESMU, de European Centre for Strategic Management of Universities. Sinds 1999 organiseert ESMU jaarlijks een benchmark over vier voor universiteiten relevante activiteiten of processen. Inmiddels hebben zesentwintig universiteiten, waaronder enkele uit Nederland, aan deze vorm van benchmarken deelgenomen. In 2005 waren de benchmarkonderwerpen van ESMU: internationalisation, strategic partnerships, governance and structures en designing new masters and doctorates. In 2003 was IR onderwerp van deze Europese benchmark; de Universiteit van Amsterdam en de Universiteit Maastricht behoorden tot de deelnemers. Voorbeelden van dit functionele benchmarken zijn ook de benchmarks die in de jaren negentig gehouden werden tussen de Universiteit van Lissabon en de Vrije Universiteit Amsterdam of die van de Universiteit van Helsinki en de Universiteit van Amsterdam. Generieke benchmarking betreft het vergelijken van processen van de eigen instelling met die van een volstrekt andere organisatie. Bij sommige functies (bijvoorbeeld de salarisadministratie) maakt het immers niet veel uit binnen welke bedrijfsomgeving deze worden uitgeoefend. Bovendien kan een studentenadministratie waarschijnlijk veel leren van een goed gevoerde patiëntenadministratie van een ziekenhuis. Deze vorm van benchmarking is in potentie de rijkste, maar in de praktijk ook vaak de moeilijkste, omdat het een goed begrip van verschillendsoortige organisaties veronderstelt. Het benchmarkproces Matters en Evans geven ook een beschrijving hoe een benchmarkproject uitgevoerd moet worden. Zij onderscheiden daarbij vijf stappen. De eerste stap is de planning van het project: wat is het onderwerp van benchmarking, wat zijn de belangrijkste performance indicators daarvan, welke organisaties zijn geschikt als benchmarkpartners. Dan volgt het samenstellen van een benchmarkteam, waarbij drie rollen worden onderscheiden: zorgen voor commitment binnen de organisatie, organiseren en uitvoeren van de benchmark en afleggen van site visits bij de benchmarkpartners. Waar IR niet zelf de eerste betrokkene is, ligt het niet in de rede IR teamleider te maken. De betrokkenheid van de IRfunctie in het team is echter vrijwel onvermijdelijk. De derde stap is het verzamelen van informatie door analyseren van het proces of de activiteit binnen de eigen instelling, door verzamelen van gegevens over benchmarkpartners en door site visits. Als vierde stap noemen zij het analyseren van de data met als doel het vaststellen van de ‘performance gap’ tussen de eigen processen en de best practice. De laatste stap is het ontwikkelen van strategieën en actieplannen om de kloof met de best practice te dichten. Zij noemen ook enkele kritische succesfactoren voor een succesvolle benchmark: kies de juiste processen of prestaties om te benchmarken, schakel de juiste personen in, verwerf een goed begrip van de eigen situatie, kies geschikte partners, zet ideeën en informatie van site visits om in praktische verbeterprojecten en manage het verbetertraject. Benadrukt wordt dat benchmarking een continu proces is: “striving for best practice is like running in a race without a finish line”. Een zo gestructureerde aanpak van benchmarken is in het hoger onderwijs – en waarschijnlijk ook daarbuiten – eerder uitzondering dan gangbare praktijk. In werkelijkheid komt vaak een engere praktijk van benchmarken voor, die vooral bestaat uit het verzamelen en analyseren van informatie, waarin weinig ruimte is voor een gedegen voorbereiding. Ook het gebruik van resultaten van benchmarkactiviteiten om gericht verbeteringen in de eigen organisatie te bewerkstelligen, blijft vaak achterwege. Omgeving Ranking en benchmarking worden vaak in één adem genoemd en zijn vaak, zeker als het om prestaties in plaats van processen gaat, ook op soortgelijk materiaal gebaseerd. Toch zijn het zeer verschillende activiteiten. De één leidt tot zelfbenoemde best practices en tot intern ontwikkelde leermogelijkheden, de ander tot top-10- lijstjes en veelal tot strategisch, op scores gericht gedrag. Belangrijke kenmerken van benchmarken zijn dat een instelling er zelf voor kiest om mee te doen, het onderwerp van benchmarken zelf bepaalt en zelf de relevante performance-indicatoren benoemt. Ook kiest de instelling zelf de benchmarkpartners en gaat op zoek naar best practices. Dit alles vanuit de gedachte dat er verbetering binnen de eigen organisatie plaats kan vinden. Ranking kent geheel andere kenmerken. Het initiatief tot ranking ligt zelden bij (één van) de gerankte instellingen zelf, maar bij een externe organisatie die ook bepaalt welke onderwerpen en welke instellingen in de ranking betrokken worden. Het primaire doel van deze externe organisatie lijkt het zichtbaar maken van verschillen tussen instellingen en het opstellen en publiceren van een lijst van instellingen die op één of meer aspecten een hoge en lage score hebben. Waar het doel van externe partijen wel ligt in het verbeteren van prestaties is dit door middel van druk. Gedacht wordt dan dat universiteiten en hogescholen wel met verbeteringen moeten reageren op een plaats onderin een invloedrijke ranking. De bekendste rankingen over het hoger onderwijs in Nederland zijn die van het weekblad Elsevier en die van de door het ministerie OCW gesubsidieerde Choice, de uitgever van de Keuzegids Hoger Onderwijs. Beide rankings hebben betrekking op het onderwijs, zijn deels gebaseerd op eigen onderzoek onder studenten en deels op door de instellingen zelf geproduceerde benchmarkgegevens. Ook in het buitenland, in Engeland, Australië, Azië en de VS worden vaak door media (Times, US News) uitgevoerde rankings gepubliceerd. Er bestaan ook internationale rankings van de onderzoeksreputatie van instellingen en van de reputatie van instellingen als geheel. Op extern opgestelde top-10-lijstjes wordt altijd verdeeld gereageerd. Instellingen die bovenaan in de ranking staan maken daar gebruik van in voorlichtings- en advertentiecampagnes, instellingen die laag scoren hebben kritiek op de gebruikte methoden. Voor IR is het belangrijk zich te realiseren dat veel van de gegevens die ook IR verzamelt openbaar zijn en dus te gebruiken door buitenstaanders. Dat is iets waar ook het hoger onderwijs mee moet leren leven. De (externe) rankings zullen niet meer verdwijnen. Daarbij moet erkend worden dat het feit dat externe organisaties rankings van het hoger onderwijs zijn gaan maken, wel effect heeft gehad. Veel hogescholen en universiteiten in Nederland hebben zich mede onder invloed van de Elsevierenquête en de Keuzegids Hoger Onderwijs gerealiseerd dat het belangrijk is de mening van studenten te kennen. Veel instellingen zijn overgegaan tot het doen van tevredenheidsonderzoek onder de eigen studenten. Prof. mr. P.F. van der Heijden, rector magnificus van de Universiteit van Amsterdam, gaat een stap verder. In zijn rede tijdens de Dies Natalis in 2005 bepleit hij een actieve opstelling van universiteiten: “… door gezamenlijk de verantwoordelijkheid te nemen voor het benchmarken van opleidingen per discipline. Kiezende ouders en aankomende studenten hebben daar behoefte aan. Het zou de Nederlandse academische wereld sieren als zij, behalve met dikwijls gerechtvaardigde kritiek op de bestaande lijstjes, zelf jaarlijks met betrouwbare en verantwoorde informatie het echte inzicht in de kwaliteit van wetenschappelijke opleidingen en van wetenschappelijk onderzoek zou geven”. Internationale benchmarking Tot op heden heeft benchmarking binnen het hoger onderwijs zich, met een aantal uitzonderingen, vooral afgespeeld binnen de grenzen van Nederland. Verwacht mag worden dat dit de komende jaren zal veranderen en dat benchmarking een bredere, internationale dimensie gaat krijgen. Internationalisering staat op universiteiten en hogescholen hoog op de agenda. Het vergroten van de instroom van buitenlandse studenten, met name bij de masteropleidingen, is bij veel instellingen een belangrijke doelstelling, evenals het vergroten van de deelname aan internationale uitwisselingsprogramma’s. Bestaande samenwerkingsverbanden met buitenlandse instellingen worden geïntensiveerd en nieuwe vormen van samenwerking met nieuwe partners ontwikkeld. Internationalisering is de komende jaren een van de centrale thema’s in het hoger onderwijs. De bestuurlijke vraag naar informatie op het terrein van internationalisering zal sterk toenemen, onder andere op basis van benchmarking van de performance van de eigen instelling met internationale partners. Deze ontwikkeling gaat een grote impact hebben voor institutional researchers en vormt een geweldige uitdaging. Uit: Institutional Research in het Hoger Onderwijs, een uitgave van DAIR.