Studentevaluaties steeds minder betrouwbaar door dalende respons

Nieuws | de redactie
21 april 2021 | Door de stroom aan enquêtes waarmee studenten te maken krijgen, nemen steeds minder studenten daaraan deel. Dat verlaagt de validiteit van de enquête-resultaten en bemoeilijkt het evalueren van cursussen, waarschuwen Tilburgse onderzoekers. Zij onderzochten hoe de participatiegraad bij online enquêtes kan worden verhoogd, en ontdekten dat een Nederlandse uitnodiging en een latere deadline een positieve invloed hebben op de participatie.
“Evenals de onderwerp-regel van de uitnodigingsmail heeft ook het al dan niet communiceren van een deadline geen significante invloed op de participatiegraad, schrijven de Tilburgse onderzoekers.” Beeld: Flickr.

In de afgelopen jaren is het steeds makkelijker en goedkoper geworden om online enquêtes onder studenten te houden. Dit gebeurt niet alleen om cursussen te evalueren, ook voor onderzoeksenquêtes zijn studenten een populaire doelgroep. Er is echter een trend van over-enquêtering en enquêtemoeheid zichtbaar, stellen onderzoekers van de Universiteit van Tilburg (UvT). Vanwege het hoge aantal uitnodigingen voor enquêtes nemen steeds minder studenten eraan deel. Als gevolg daarvan wordt de validiteit van de enquête-resultaten lager, waardoor het moeilijker is om de kwaliteit van een cursus te beoordelen op basis van een enquête onder studenten.  

Enquête-onderzoek onder Tilburgse studenten 

De Tilburgse onderzoekers hebben daarom onderzocht hoe de deelname aan online enquêtes kan worden verhoogd middels aanpassingen aan de onderwerp-regel van de uitnodigingsmail voor de enquête, de communicatie betreffende deadlines, en de intervallen tussen contactmomenten. Het onderzoek bestond uit een enquête over de internationalisering van het hoger onderwijs die in 2019 onder alle studenten van de Universiteit van Tilburg werd uitgezet. Daarbij ontvingen alle studenten één uitnodiging en drie herinneringen. Vanwege het hoge aantal internationale bachelorstudenten (17,9 procent) aan de UvT was de enquête beschikbaar in het Nederlands en het Engels. De enquête werd per e-mail uitgezet onder 14.493 studenten. 

Meld u hier aan voor de ScienceGuide Nieuwsbrief

 

Om de effecten te meten van de verschillende benaderingen wat betreft de onderwerp-regel van de gemailde uitnodiging, de deadline en de contactmomenten, werd de studentenpopulatie van de UvT willekeurig verdeeld over 128 groepen die aan verschillende benaderingen werden onderworpen. Zo gebruikten de onderzoekers acht verschillende intervallen tussen de uitnodiging en de eerste herinnering, gebruikten ze eveneens acht verschillende intervallen (variërend van 2 tot 14 dagen) tussen de verschillende herinneringen en de uiteindelijke deadline, en kregen slechts de helft van de studenten te horen dat er überhaupt een deadline voor de enquête was.  

Voor de onderwerp-regel van de uitnodigingsmail gebruikten de onderzoekers vier varianten: ‘de internationalisering van het hoger onderwijs’ in het Nederlands zowel als in het Nederlands en het Engels, en ‘internationalisering op de Universiteit van Tilburg’ in het Nederlands zowel als in het Nederlands en het Engels. 

Nederlandstalige uitnodiging verhoogt participatiegraad 

Uiteindelijk namen 1249 Tilburgse studenten deel aan de enquête, wat neerkomt op 8,6 procent van de uitnodigde studenten. Veertig procent van de respondenten reageerde op de Engelse versie van de enquête, en de helft van de respondenten vulde de enquête binnen 6 dagen na de uitnodiging in. Daarnaast bleek elke van de drie herinneringen, hoewel in afnemende mate, bij te dragen aan de participatiegraad. 

Wat betreft de onderwerp-regel van de uitnodigingsmail lijkt het niet uit te maken of de onderwijsinstelling bij naam wordt genoemd, concluderen de onderzoekers. Wel lijkt de gebruikte taal een verschil te maken. Wanneer de uitnodiging alleen in het Nederlands werd verzonden, leverde dat namelijk een significant hogere participatie op dan het gebruik van een tweetalige uitnodiging. Ook bleek de tweetalige uitnodiging niet meer internationale studenten te trekken dan de eentalige Nederlandse uitnodiging 

Intervallen en bekendheid deadline niet van invloed 

Evenals de onderwerp-regel van de uitnodigingsmail heeft ook het al dan niet communiceren van een deadline geen significante invloed op de participatiegraad, schrijven de Tilburgse onderzoekers. Indien de deadline bekend was, bleek een langere tijd tot de deadline wel een significant positief effect te hebben op de participatiegraad 

Tevens blijken de intervallen tussen de herinneringen niet van significante invloed op de participatiegraad, ook niet wanneer de deadline bekend is. Volgens de onderzoekers tonen de onderzoeksresultaten dus aan dat noch de intervallen tussen de herinneringen noch het al dan niet communiceren van de deadline invloed heeft op de participatiegraad 

Nederlandstalige uitnodiging, latere deadline 

Wanneer een Nederlandse hoger onderwijsinstelling of een onderzoeksgroep met een Nederlandse doelgroep een hogere participatiegraad bij online enquêtering wil bereiken, doet die er dus goed aan om de onderwerp-regel van de uitnodigingsmail in het Nederlands op te stellen. Ook een langere tijd tot de deadline van de enquête lijkt daaraan bij te dragen, concluderen de onderzoekers 


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK