Rolverdeling van onderzoeksteam beïnvloedt betrouwbaarheid

Onderzoekers van het UMC Utrecht en de VU Amsterdam werken aan een grote database met klinische studies. Tijdens het bestuderen van de data stuitten zij op een bijzondere correlatie tussen de samenstelling van een onderzoeksteam, en de betrouwbaarheid van het onderzoek. Joeri Tijdink is psychiater en onderzoeker bij de VU en werkte mee aan dit onderzoek van Wim Otte (UMC) dat kortgeleden in eLife werd gepubliceerd. ScienceGuide stelde Tijdink wat vragen.

Hoe kwamen jullie op het idee om dit te onderzoeken?

“Dit artikel komt voort uit een exploratief onderzoek binnen een groter onderzoeksproject. We zijn bezig met het opzetten van een grote database en doen op grotere schaal onderzoek naar allerlei vraagstukken rond verantwoorde onderzoekspraktijken. Herm Lamberink [UMC Utrecht, red], de postdoc op dit project, heeft fantastisch werk gedaan door variabelen van meer dan 300.000 klinische studies te verzamelen. In die dataset zit een aantal variabelen, waaronder de statistische power van de studies, en de gender van de wetenschappers, en we wilden kijken of er man-vrouw verschillen waren.

We hebben gekeken of studies met een man of een vrouw als eerste of laatste auteur anders scoorden wat betreft statistische power. Dat bleek niet het geval, wat doet vermoeden dat alleen de sekse van de onderzoeker geen invloed heeft. De combinatie van de genders van de eerste en laatste auteur had echter wel invloed; in klinische studies met een vrouwelijke laatste auteurs en mannelijke eerste auteurs is er een groter percentage studies met een goede studiepower.”

Dus als een vrouw bij klinische onderzoeken de leiding heeft wordt het onderzoek betrouwbaarder, of is het niet zo simpel?

“Nee, zo simpel is het niet. En enkel studie power is ook niet de heilige graal. Het is niet zo dat als een vrouw leidinggevende is op een project, dat het dan automatisch een geweldig onderzoek wordt. We kunnen eigenlijk alleen concluderen dat artikelen met de specifieke combinatie tussen een man als eerste auteur en een vrouw als laatste auteur minder vaak een lage power oplevert. En dat laatste is nog wel een ding, want eigenlijk is onze conclusie dat maar rond de 12-13% van de studies genoeg power heeft, en dat alleen deze specifieke auteurscombinatie daar met 20% positief tegen afsteekt…”

Wat betreft die auteurscombinaties. Is deze aanpak eigenlijk wel zo vanzelfsprekend? Weet je zeker dat de laatste auteur automatisch de eindverantwoordelijkheid draagt?

“Hier in Nederland is het vaak zo dat de eerste auteur het onderzoek heeft uitgevoerd en ook het manuscript heeft geschreven. De laatste auteur is meestal de leidinggevende. Daar tussenin zitten allemaal andere mensen die ook hebben meegewerkt maar die hebben niet de belangrijkste rollen in het geheel.

Maar natuurlijk zijn er uitzonderingen. Het verschilt per land, en per vakgebied. In Italië bijvoorbeeld wil de superviserende hoogleraar vaak als eerste genoemd worden op een artikel. Deze regels zijn ongeschreven dus dat maakt het zeker lastiger om de data te interpreteren. Het is wel zo dat we van een vrij aanzienlijke set artikelen spreken die we hebben kunnen includeren, zo’n 30.000 artikelen.”

En waarom kiezen jullie statistische power als maat? Je zou toch ook kunnen kijken naar de effectgrootte of de vraag of mensen vals hebben zitten spelen?

“Dat hangt ervan af wat je precies wilt weten natuurlijk. Effectgrootte is een onderdeel van power, maar los daarvan heeft een kleine effectgrootte misschien wel helemaal geen klinische relevantie. Dan wordt het ook niet altijd gerapporteerd. Het is onjuist om statistische power alleen te nemen als gouden standaard van kwaliteit. Ook de power van een studie is slechts een onderdeel van de verschillende manieren waar op je studiekwaliteit kan meten. In de grotere database gaan we ook naar andere aspecten kijken, zoals pre-registratie en het risico op bias.

Hier waren we specifiek op zoek naar de betrouwbaarheid van de uitspraken in het onderzoek. Een goede studiepower geeft bij studies aan of er eigenlijk wel genoeg proefpersonen zijn geïncludeerd in het onderzoek, bij klinisch onderzoek is dat erg belangrijk. Hoe meer patiënten je includeert hoe betrouwbaarder het effect dat je vindt – en hoe kleiner de kans dat je een eventueel effect over het hoofd ziet – en hoe minder de bevinding berust op toeval.”

Hadden jullie een bepaalde verwachting bij deze analyse wat betreft de sekseverschillen?

“We weten uit de literatuur dat diversiteit een goede invloed kan hebben op een onderzoeksgroep. Ook zijn er aanwijzingen dat vrouwen zorgvuldiger zijn dan mannen in hun werk. Dus wat wij vervolgens dachten is dat als dat verschil er echt is, dat dit ook terug te vinden zou moeten zijn in de statistische power van een onderzoek.

Die gedachte wordt als zodanig niet ondersteund door onze bevindingen. We vonden namelijk geen verschillen tussen mannen en vrouwen an sich. De uitzondering zit hem in de combinatie tussen een mannelijke eerste en een vrouwelijke laatste auteur. De andere combinaties waaronder een vrouwelijke eerste en laatste auteur scoren niet beter.

Hoe interpreteren jullie dit?

“Dat doen we eigenlijk zo min mogelijk, juist omdat het zo exploratief is. Je hebt natuurlijk wel een soort onderbuikgevoel, bijvoorbeeld dat een vrouw in deze rol meer geduld heeft. Misschien wachten zij langer, tot er genoeg proefpersonen zijn geïncludeerd in de studie, voordat ze overgaan tot publicatie. Maar goed, echt weten doen we het niet en daarvoor is dit onderzoek ook te exploratief om zulke conclusies uit te trekken.”

Wat nu als jullie het tegenovergestelde hadden gevonden. Dat de combinatie van een mannelijke laatste auteur en vrouwelijke eerste auteur vaker een goede power heeft. Had je het dan ook nog met evenveel plezier willen publiceren?

“Ik denk het wel, maar dan hadden we nog wat voorzichtiger moeten zijn. Wij realiseren ons dat dit een gevoelig onderwerp is. En we hebben ook gesproken over hoe een dergelijk type onderzoek kan landen. Daarom houden we ons in het artikel ook strikt bij de data en laten we het interpreteren aan anderen over. We stellen het in zekere zin heel voorzichtig: het is misschien beter om meer diversiteit te hebben in een team, en vrouwen lijken in deze constructie een positieve invloed te hebben op het onderzoek.

Eigenlijk gaan we nu ook nog onvoldoende in op de aanname die we hadden dat vrouwen zorgvuldiger zouden zijn en wat onze bevindingen daarover laten zien. Dat zou een nieuw artikel kunnen zijn. Daarom is het goed dat we nog wel wat herkansingen krijgen als we verder gaan met deze database. Bij het vervolg van het project is het misschien verstandig om samen te werken met iemand vanuit Gender Studies. Daarnaast, onze onderzoeksgroep bestond alleen maar uit mannen en we zijn blij dat we onze onderzoeksgroep recent hebben uitgebreid met een meer divers team.”