Creatief en effectief datagebruik in HO
Bastiaan van der Wulp werkt bij de Vereniging Hogescholen als Coördinator Informatie en volgde deze zomer via MOOC-platform Coursera de MOOC Executive Data Science Specialization van Johns Hopkins University. Een serie van vier cursussen en een afsluitend ‘capstone project’ over het management van afdelingen of teams die zich bezighouden met ‘data science’. ScienceGuide vroeg wat dat opleverde.
U leest hier zijn reactie.
Data science is een vakgebied dat zich snel ontwikkelt en in vele gedaantes voorkomt. Het omvat allerlei activiteiten gericht op decision support op basis van data. Traditionele statistische analyse valt eronder, maar ook modieuzer termen als ‘machine learning’ en ‘big data’. Het succes van internetgiganten als Google, Amazon, Facebook en LinkedIn wordt voor een belangrijk deel toegeschreven aan creatief datagebruik en dát is de kern van data science. Niet verwonderlijk, want de aanduiding is afkomstig van de analyseteams van Facebook en LinkedIn.
De cursusreeks wordt aangeboden door Johns Hopkins University. Niet de minste universiteit, getuige de notering als nummer elf in de World University Rankings 2016 van Times Higher Education. Twee professoren en een associate professor ontwikkelden de specialisatie en verzorgen de videocolleges.
De Data Science Executive Specialization leek inhoudelijk goed aan te sluiten bij mijn werk aan het hoofd van het informatie-team van de Vereniging Hogescholen, wordt aangeboden door een prestigieuze universiteit én leek een goed middel voor verdieping en reflectie in de zomerperiode. Genoeg reden dus om me aan te melden.
Wat leverde het op?
Mijn beeld dat data science in veel opzichten nauw verwant is aan business intelligence en institutional research werd bevestigd. Institutional research is de internationale benaming van de beslissingsondersteuning op basis van feiten en cijfers in het hoger onderwijs. Ook bij Nederlandse hogescholen en universiteiten werkt een flink aantal mensen aan institutional research. DAIR, de Nederlandse beroepsvereniging op dit terrein, viert dit jaar haar twintigjarig bestaan.
Een prettig gevolg van de nauwe verwantschap tussen data science en institutional research is dat de cursusreeks inderdaad aardige inzichten opleverde voor mijn eigen werk, waarvan een deel ook breder relevant is voor de verdere ontwikkeling van institutional research in het Nederlandse hoger onderwijs. Je kan zeggen dat veel eigenlijk al bekend was, maar collegereeksen waarin alles netjes wordt geordend, leveren toch extra helderheid en betere reflectie op gangbare praktijken. Hieronder zal ik op drie hoofdpunten ingaan.
Domeinen combineren
Creatief en innovatief datagebruik wordt pas echt mogelijk en waardevol als gegevens uit verschillende domeinen met elkaar gecombineerd worden. Traditioneel wordt informatievoorziening echter opgezet rond functiegebieden (bv. financiën of personeelszaken) en processen (bv. het inschrijfproces). In het hoger onderwijs zie je ook inrichting rond een bepaald onderzoek (bv. de HBO-Monitor of de Nationale Studenten Enquête).
Het grote nadeel van de ordening rond afzonderlijke functiegebieden, processen en onderzoeken is dat het lastig wordt om dwarsverbanden te leggen. En die zijn wel nodig om beleid en besluitvorming beter te ondersteunen. Gelukkig hebben veel instellingen dashboardomgevingen waarin indicatoren uit verschillende domeinen bij elkaar worden gebracht. Maar om ook analytisch slimme combinaties te kunnen maken is meer nodig. Daarvoor dienen institutional researchers over de onderliggende detaildata te beschikken (vanzelfsprekend met oog voor de privacy van betrokkenen) en liefst worden ook de onderzoeken en administraties inhoudelijk op elkaar afgestemd.
Een voorbeeld van een interessante combinatievraag waar we eigenlijk veel te weinig van weten: leidt een docententeam dat tevredener is, hoger opgeleid is, of meer (actuele) praktijkervaring heeft, tot tevredener studenten, hoger studierendement en groter succes op de arbeidsmarkt? Als alle gegevens die nodig zijn voor de beantwoording van deze relevante vraag al beschikbaar zijn, dan doorgaans in verschillende bronnen die niet of moeilijk met elkaar te combineren zijn. In dit geval zowel de personeels- als studentenadministratie én de onderzoeken onder studenten, medewerkers en afgestudeerden.
Organisatie en communicatie
Samenhangend met de ordening van de informatievoorziening rond afzonderlijke functiegebieden, processen en onderzoeken, zijn institutional researchers (lang niet altijd expliciet zo aangeduid) in het hoger onderwijs te vinden in veel verschillende afdelingen. Vaak bij afdelingen die zich bezighouden met onderwijsbeleid en kwaliteitszorg, maar bijvoorbeeld ook bij financiën, HRM en communicatie.
Na beschouwing van voor- en nadelen van verschillende organisatievarianten wordt in de collegereeks van Johns Hopkins University echter de conclusie getrokken dat een geconcentreerd team de voorkeur verdient. In feite gaat het om het vinden van een goede balans tussen het faciliteren van onderlinge uitwisseling tussen institutional researchers enerzijds, en communicatie met de rest van de organisatie anderzijds. Beide zijn nodig om hoge kwaliteit te leveren, maar het advies luidt dus één organisatorisch team of afdeling te vormen zodat expertise en gedachten sneller uitgewisseld kunnen worden en verbindingen tussen domeinen gemakkelijker tot stand komen.
Daarbij is natuurlijk van belang dat de communicatie met de rest van de organisatie (en daarbuiten) steeds op gang blijft. Dat kan onder andere bevorderd worden door in de taakstelling aandacht te besteden aan elk van de drie varianten die op dat gebied globaal worden onderscheiden:
1. Informeren en adviseren, zowel proactief als reactief naar aanleiding van een vraag, bijvoorbeeld met een statistisch overzicht of een uitgebreide analyse en advies over mogelijke interpretaties daarvan.
2. Samenwerken, bijvoorbeeld in een project waarin veel kwantitatieve informatie nodig is, of waarin een administratief systeem vernieuwd wordt.
3. Kennisdeling, ter bevordering van een feitenbewuste cultuur, bijvoorbeeld over de mogelijkheden met beschikbare informatie, over analyseresultaten met bredere relevantie of over de manier waarop iedereen zélf met de gegevens kan werken.
Machine learning
Velen zijn bekend met regressiemodellen uit de statistiek, waarmee de samenhang tussen variabelen geanalyseerd wordt. Ze kunnen echter ook gebruikt worden om uitkomsten in nieuwe situaties te voorspellen. Zodra daarvoor ingewikkelder modellen en algoritmen worden gebruikt, valt het al snel onder ‘machine learning’. In de statistiek staat de verklarende kracht van een model centraal; op basis van gevonden causale verbanden kunnen eventueel daarna voorspellingen worden gedaan. Bij machine learning draait het juist primair om de voorspellende kracht van een model, terwijl de mechanismen daarachter van secundair belang zijn. Deze moderne denkwijze blijkt regelmatig verbazend effectief.
Ook in het hoger onderwijs zou het goed zijn (meer) met machine learning te experimenteren. Bijvoorbeeld om hoge uitvalkansen vroegtijdig te signaleren. Als dat lukt, dient vervolgens zorgvuldig afgewogen te worden welk gevolg eraan verbonden wordt. In theorie kan zo’n bijtijdse waarschuwing namelijk zowel de basis vormen voor een negatief BSA als voor een gericht ondersteuningsaanbod om uitval te voorkomen. Idealiter kan vanuit de data-analyse ook aangegeven worden bij wie zulke hulp (nog) effect kan hebben.
Een specifiek toepassingsgebied van machine learning zijn zogenaamde recommender systems, waarbij op basis van patronen in data aanbevelingen worden gedaan. Voorbeelden hiervan zijn de suggesties onder ‘anderen bekeken/kochten’ bij BOL en Amazon, ‘mensen die je misschien kent’ bij Facebook en LinkedIn, ‘wie te volgen’ op Twitter en ga zo maar door. Zoiets zou bijvoorbeeld Studiekeuze123 ook kunnen doen onder de noemer ‘anderen bekeken/kozen ook’, op basis van hun eigen webstatistieken, data over (dubbele) aanmeldingen bij Studielink en/of patronen in studiewisseling. Ook na een negatieve uitkomst van de studiekeuzecheck kan op zo’n manier een alternatief gesuggereerd worden, liefst met zo hoog mogelijke kans op een succesvol studieverloop.
Tot slot
Veel draait dus om het leggen van verbindingen, zowel tussen data uit verschillende domeinen als tussen institutional researchers onderling en met anderen in en rond het onderwijs. Dat geldt vervolgens zowel binnen als tussen afzonderlijke hogescholen en universiteiten, maar ook met bijvoorbeeld vo en mbo. Veel van deze verbindingen zijn in de basis al aanwezig, zowel lokaal, regionaal als landelijk, maar kunnen zeker verder op- en uitgebouwd worden. Gecombineerd met continue aandacht voor nieuwe benaderingen, zoals bijvoorbeeld in experimenten met machine learning, zal dat leiden tot nog creatiever en effectiever datagebruik in het hoger onderwijs en daarmee tot nog betere beslissingsondersteuning.
