“Kritiek op evaluatie studentpromovendi ongefundeerd en voortijdig”

Opinie | door Ben Jongbloed & Frans Kaiser
15 juli 2019 | Kort geleden presenteerde onderzoeksinstituut CHEPS de tussentijdse evaluatie van het experiment studentpromovendi. Nog voor het rapport uit was, kwam er felle kritiek vanuit het Promovendi Netwerk Nederland. Nu ook de minister heeft gereageerd vinden onderzoekers Ben Jongbloed en Frans Kaiser (CHEPS) het tijd om hen van repliek te dienen.
Een wetenschappelijke conferentie – Foto: deepcarbonobservatory (CC BY-SA).

Minister Van Engelshoven heeft besloten het experiment promotieonderwijs niet te gaan stoppen en – sterker nog – het zelfs mogelijk te maken voor andere universiteiten om er alsnog bij aan te haken. Dit staat in haar recente beleidsreactie. Met deze beslissing geeft ze gehoor aan een motie vanuit de Tweede Kamer.

In de weken voorafgaand aan de publicatie van het CHEPS onderzoek naar de tussenstand van het experiment met beurspromovendi zijn in de pers door – vooral – PNN al meningen geventileerd en oordelen geveld – zelfs al ruim voor het onderzoeksrapport (eind juni) naar buiten kwam. Nu het rapport uit is lijkt het ons nu de tijd om wat meer duidelijkheid te scheppen en de PNN kritiek in perspectief te plaatsen.

De onderzoeksopdracht

Promovendi zijn belangrijk voor Nederland. Ze dragen sterk bij aan de wetenschappelijke productie, vernieuwingen in het onderzoek en het innovatieklimaat. Het vergroten van het aantal promovendi is een van de vier doelstellingen van het promotieonderwijs experiment. De andere drie zijn: (1) het vergroten van de variëteit in het Nederlandse promotiestelsel; (2) het bieden van mogelijkheden voor promovendi om een eigen onderzoeksvoorstel te maken, en (3) het verbeteren van de opleidingscomponent in het promotietraject. Bij het laatste gaat het dan met name om cursussen die promovendi voorbereiden op een carrière na de promotie.

In het Besluit experiment promotieonderwijs (artikel 14) is vastgelegd dat de minister het experiment, dat plaatsvindt bij de Rijkuniversiteit Groningen (RUG) en het International Institute of Social Studies (ISS) van de Erasmus Universiteit (EUR), geheel of gedeeltelijk kan stoppen als de tussenevaluatie laat zien dat er ernstige nadelige gevolgen zijn voor het onderzoeksklimaat. De tussenevaluatie vond plaats binnen dit kader. Ze had niet als doel na te gaan of de doelstellingen van het experiment zijn behaald (dat kan pas als de eerste promotiestudenten zijn gepromoveerd), maar moet enkel inzicht geven in de effecten die het experiment tot nu heeft op het onderzoeksklimaat.

Dimensies van het onderzoeksklimaat zijn de beschikbaarheid en inhoudelijke steun van promotoren en de tevredenheid van de promovendus met zijn begeleiding, onderzoeksbudget en inkomen. Even belangrijk is of de promovendus zich verbonden voelt met de onderzoeksgroep en hoe hij zijn status binnen de universiteit ervaart. Verder wil de minister weten of promotieonderwijs door de universiteit wordt ingezet als kostenbesparend middel.

Is het nou een kostenbesparing?

Promotiestudenten ontvangen geen periodieken, vakantiegeld of dertiende maand en ze bouwen geen pensioen op. Daarmee zijn ze voor de universiteit ongeveer 40% goedkoper De alternatieve kostenberekeningen die PNN heeft gemaakt van de kosten van een promotiestudent zijn vanwege de talloze (betwistbare) assumpties niet met onze berekening te vergelijken. dan werknemerpromovendi (vroeger aio’s geheten). Dit stelt de universiteit in staat voor hetzelfde geld meer promovendi aan te trekken. Om de vraag vanuit de faculteiten en van geïnteresseerde masterstudenten te accommoderen investeert de RUG vanuit centrale en facultaire reserves juist meer middelen in promotieplaatsen. Besparing op de kosten van promoveren was niet de hoofdreden voor de RUG om mee te doen aan het experiment. Het kunnen bieden van meer promotieplekken en het naar Groningen kunnen halen van promovendi gaf de doorslag voor de medezeggenschapsorganen.

De RUG besloot hun internationale beurspromovendi een aanvulling (een top up) op de beurs van hun eigen land te geven en ze ook mee te nemen in het promotieonderwijsexperiment. Daarmee krijgen top-uppers niet alleen hetzelfde inkomen als andere promotiestudenten, maar zijn ze ook volledig ingebed in het Nederlandse sociale zekerheidsstelsel De minister riep in haar beleidsreactie andere universiteiten op dit voorbeeld te volgen. .

Is er sprake van verdringing?

Op de vraag van de minister of het experiment leidt tot verdringing van werknemerpromovendi door promotiestudenten antwoorden we dat er uiteraard sprake is van vervanging van (eerste geldstroom-) werknemerpromovendi door promotiestudenten, maar niet van verdringing. Vervanging is de directe consequentie van het meedoen aan het experiment. Immers, you cannot have your cake and eat it too. Desalniettemin blijft PNN volhouden dat er sprake is van verdringing.

Van verdringing is sprake als er ongewenste en onbedoelde vervanging is van het een door het ander. Het eerstegeldstroom budget dat de RUG beschikbaar maakt voor het aantrekken van promovendi is in het kader van het experiment aangewend voor een groter aantal promotieplaatsen dan het geval zou zijn geweest als er werknemerpromovendi zouden zijn aangesteld. Dat wil zeggen dat als de RUG een deel van dit budget zou gebruiken voor werknemerpromovendi en het andere deel voor promotiestudenten dit zou betekenen dat de ene promovendus anders zou worden behandeld (qua inkomen; arbeidsrechtelijke status) dan de andere.

Daarom koos ze ervoor om gedurende de looptijd van het experiment de promovendi in de eerste geldstroom promotiestudent te laten zijn. Deze keuze kwam tot stand in samenspraak met alle medezeggenschapsorganen. Gezien dit draagvlak kan de vervanging van werknemerpromovendi door promotiestudenten niet als ongewenst worden beschouwd en is er ook vanuit dit perspectief geen sprake van verdringing.

Waarom geen eigen enquête?

Om een goed beeld van het onderzoeksklimaat voor promotiestudenten te krijgen en dit te kunnen vergelijken met dat voor andere promovendi hebben we gebruikgemaakt van data verkregen uit vragenlijsten en interviews. De RUG doet onder haar promovendi (promotiestudenten en werknemerpromovendi) en supervisors zelf ook onderzoek naar alles wat rond promotietrajecten algemeen) speelt. Dit wordt uitgevoerd door onafhankelijke wetenschappers van de faculteit Gedrag- en Maatschappijwetenschappen van de RUG.

We hebben bekeken of de gebruikte vragenlijsten in voldoende mate de vraagstukken (naar ervaringen, status, onderzoeksklimaat, tevredenheid van promotiestudenten en opvattingen van promotoren) afdekken die centraal staan in ons onderzoek en of ze op een wetenschappelijk verantwoorde wijze zijn opgezet. Omdat dit het geval was en de meest recente RUG enquête stamde uit het najaar van 2018, is besloten geen nieuwe survey bij de RUG te doen, maar de gegevens van de recente enquêtes te benutten Over de ruwe data uit de RUG surveys konden we niet beschikken, omdat de respondenten alleen informed consent hebben gegeven voor het gebruik van hun data voor wetenschappelijk onderzoek. .

PNN is van mening dat CHEPS desondanks in de eerste maanden van 2019 een eigen enquête had moeten uitzetten omdat de RUG-enquête gebreken zou vertonen. De PNN bewering dat die RUG-enquête geen open vragen bevat en sommige vragen verkeerd zijn geformuleerd is echter onjuist en stelt de RUG onderzoekers onterecht in een verkeerd daglicht. Daarnaast gaat PNN voorbij aan het haalbaarheidsaspect van een replicatie van het RUG onderzoek: het zou niet op een hoge respons kunnen rekenen.

De uitkomsten van de Groningse PhD surveys (uit 2017 en 2018) en de PhD supervisor survey (uit 2018) zijn aan CHEPS beschikbaar gesteld, inclusief een meer op de vergelijking van promotiestudenten met werknemerpromovendi toegespitste analyse. We hebben van de surveygegevens dwarsdoorsnedes gemaakt, de oorspronkelijke data met toetsen nader onderzocht en ook kritische geluiden (uit de open vragen) meegewogen.

De bewering van het PNN dat wij geen eigen onderzoek hebben gedaan is dus incorrect. Bovendien zijn semigestructureerde interviews gehouden met een representatieve selectie van betrokkenen: 20 interviews op de RUG, 10 bij het ISS, en zes met andere partijen (de Jonge Akademie, KNAW, PNN, VSNU, LSVB, ISO). Bij het plannen van de afspraken en het uitnodigen van de betrokkenen bij de RUG hebben we gebruik gemaakt van bemiddeling door de RUG. De keuze van de gesprekspartners Interviews bij de RUG zijn gehouden met PhD verenigingen (drie stuks: GOPHER, GRIN en een Gronings bestuurslid van PNN), decanen van faculteiten (2), de Dean en verschillende directeuren van Graduate Schools (6), College van Bestuur (1), leden van de Universiteitsraad (4), beleidsmedewerkers (3, waaronder de PhD Scholarship Desk), research master studenten (1). is op basis van onze criteria (o.a. evenwichtige representatie vanuit Graduate schools en fracties in Universiteitsraad, betrokken PhD organisaties en PhD helpdeskmedewerkers) gemaakt. Deze is niet, zoals PNN heeft gesuggereerd, gestuurd door de RUG om ons alleen maar positieve verhalen voor te schotelen.

Na de interviews bleek dat de uitnodigingsmail van de RUG aan gesprekspartners op een enkel punt onzorgvuldig was geformuleerd In de email is het lijstje met gespreksonderwerpen bij sommige respondenten wel en andere niet vooraf meegestuurd. Verder stond aan het eind van de email een zin waarin de RUG de hoop uitsprak dat de evaluatie positief zou uitvallen. , maar dat heeft geen aantoonbare invloed gehad op de gesprekken. Een interviewer kan immers doorvragen, toelichten en bewijsstukken opvragen. PNN accepteerde destijds onze aanpak en gaf aan dat zorgen over sturing door de RUG waren weggenomen Een email van de Groningse vertegenwoordiger van PNN aan de onderzoekers kort na de interviews bevestigt dit beeld. .

Naast face-to-face interviews zijn telefonische interviews gehouden – ook met verklaarde tegenstanders van het experiment, en is met een groep van twaalf promotiestudenten een rondetafelgesprek gevoerd. Bij de selectie en uitnodiging van deelnemers aan deze ronde tafel hebben we gebruik gemaakt van de diensten van PNN, waarbij onze criteria (evenwichtige representatie vanuit faculteiten, verdeling nationaal-internationaal, top-uppers versus volledige RUG beurs) als uitgangspunt zijn gebruikt.

Gevolgen voor het onderzoeksklimaat

Promotiestudenten zijn, net als werknemerpromovendi, goed ingebed in de onderzoeksgroep en voelen zich verbonden met de collega’s – zowel in academische als sociale zin. Significante verschillen met werknemerpromovendi zijn niet geconstateerd. Ze ervaren een grotere keuzevrijheid ten aanzien van het onderwerp van hun promotie dan werknemerpromovendi. Promotiestudenten krijgen van hun promotoren dezelfde behandeling als andere promovendi wat betreft supervisie en onderzoeksfaciliteiten. En ze zijn daar ook zeer tevreden over. Er zijn op dit moment geen aanwijzingen voor een lagere kwaliteit van de proefschriften van promotiestudenten ten opzichte van die van andere (werknemer-) promovendi. Promotiestudenten zijn lid van Graduate Schools, hun voortgang wordt gemonitord (in go/no go gesprekken) en ze volgen een onderwijsprogramma dat speciaal voor hen is opgezet.

Daar staat tegenover dat promotiestudenten tamelijk verdeeld zijn over de stelling dat ze even waardevol zijn als werknemerpromovendi. Voelen ze zich tweederangspromovendi? PNN en de Jonge Akademie waarschuwen hier immers voor. Welnu, er is sprake van aanzienlijke verdeeldheid: meer dan de helft van de RUG promotiestudenten bij de Graduate School Science & Engineering geeft aan zich minder waardevol te voelen dan werknemerpromovendi. In het alfa/gamma en het medische domein daarentegen voelt de helft zich wel even waardevol. Van de Nederlandse promotiestudenten is 45% ontevreden tot zeer ontevreden; 45% is tevreden tot zeer tevreden. Van de buitenlandse promotiestudenten aan de RUG (vooral die met een top-up beurs) geeft de meerderheid te kennen dat ze zich even waardevol voelen.

Een punt van zorg is dat 40% van de promotoren nog niet goed op de hoogte is van wat ze wel en niet van hun promotiestudenten kunnen vragen. Ook de promotiestudenten zelf zijn nog steeds niet (volledig) op de hoogte van hun arbeidsrechtelijke status. Zo kan het geven van onderwijs door promotiestudenten alleen op vrijwillige basis, en sommige promotiestudenten voelen soms (informele) druk als een beroep op hen wordt gedaan. Aanwijzingen voor stelselmatige misstanden op dit gebied zijn niet door ons aangetroffen; misverstanden wel Deze conclusie is gebaseerd op de (open vragen in de) Groningse PhD survey, op interviews met directeuren van Graduate Schools, de coördinator van de PhD Scholarship Desk en het ronde tafel gesprek met promotiestudenten. .

Driekwart van de Nederlandse promotiestudenten aan de RUG is tevreden tot zeer tevreden over hun promotietraject. Ter vergelijking: 85% van de Nederlandse werknemerpromovendi is tevreden tot zeer tevreden over hun promotietraject. Als ze vooraf bekend waren geweest met de arbeidsvoorwaarden zou meer dan de helft van de promotiestudenten met een volledige beurs opnieuw kiezen voor een promotiestudentplaats.

Ten slotte

Als we alle positieve en negatieve effecten meenemen en afwegen is onze conclusie dat het experiment geen ernstige nadelige effecten heeft op het onderzoeksklimaat. Dat ons beeld niet overal strookt met het eigen beeld zoals sommige belanghebbenden dat in hun achterban menen te zien is niet verrassend. Wel verrassend was de wijze waarop dat eigen beeld al ruim voor de definitieve publicatie van ons rapport via de media werd geventileerd. De wijze waarop de belangenvereniging van promovendi via de media haar gelijk wil halen lijkt meer op hoe de Amerikaanse president te werk gaat dan mag worden verwacht van de volgende generatie van academische onderzoekers.


Reactie Promovendi Netwerk Nederland

“PNN waardeert het dat de onderzoekers reageren op de door ons aangekaarte problemen met de tussenevaluatie. Aan veel kritiekpunten gaan zij echter volledig voorbij en waar wel wordt gereageerd, overtuigt het in onze ogen niet. Om herhaling te voorkomen, verwijzen we naar de twaalf onderbouwde kritiekpunten in onze reactie op het rapport. Daar onderbouwen wij de belangrijkste feitelijke onjuistheden, hiaten, het selectief omspringen met resultaten en ongefundeerde conclusies in de tussenevaluatie. Dat PNN al ruim voor de publicatie van het rapport aan de bel trok – eerst uitgebreid intern bij de onderzoekers en de opdrachtgever, daarna publiekelijk – laat zien dat er, nog los van de eindresultaten, al vanaf het begin zorgen waren over de kwaliteit van het onderzoek.

Los van het standpunt van PNN over het experiment met studentpromovendi, vindt PNN het belangrijk dat de evaluatie goed uitgevoerd wordt. Zeker als de uitkomsten zo bepalend zijn voor de toekomst van promovendi, in Groningen en mogelijk op termijn in heel Nederland, dan moeten die uitkomsten op een juiste manier tot stand gekomen zijn. Als organisatie die opkomt voor de belangen van promovendi, én als wetenschappers, is het onze plicht te voorkomen dat beleid wordt gebaseerd op onjuiste cijfers.”


«
Schrijf je in voor onze nieuwsbrief
ScienceGuide is bij wet verplicht je toestemming te vragen voor het gebruik van cookies.
Lees hier over ons cookiebeleid en klik op OK om akkoord te gaan
OK