“Onderzoek is fouten maken en verbeteren”
“Ik wil een manier creëren waar verschillende van die methoden gemakkelijk met elkaar kunnen worden vergeleken.” Bron wil daarvoor een webplatform opzetten waar onderzoekers hun dataset kunnen laten analyseren door verschillende bekende algoritmes. Ze ontvangt daarvoor een fors bedrag van €40.000 – in de vorm van professionele ondersteuning – om haar project te verwezenlijken. Een bijzondere aanpak die hoort bij de filosofie van het Netherlands eScience Center dat de prijs uitreikt. “Ik ben gekoppeld aan Adrienne Mendrik, zij is eScience coördinator en ik ken haar nog van haar postdoc in bio-imaging die ze hier deed op het Erasmus MC. Wij gaan dit project samen uitwerken tot een operationeel platform.”
Van huis uit is Bron geschoold in de natuurkunde. Begonnen vanuit medische natuurwetenschappen stroomde ze door naar een master medische natuurkunde en deed een promotie in de biomedical image analysis, specifiek op verschillende methoden om meer informatie uit MRI scans te halen. Kort geleden is ze begonnen aan haar tweede postdoc waarin ze onderzoek doet naar de relatie tussen bloedvataandoeningen en dementie.
Een complex patroon van voorspellers
Een vraag waar Alzheimer-onderzoekers zich al tijden over buigen is wat nu de beste voorspellers zijn voor het verloop van de ziekte in een patiënt. “Het ideale beeld is dat je een of meerdere markers – een indicator van biologische aard of uit het gedrag – kunt vinden die als voorspeller kan dienen voor hoe de ziekte verder verloopt in de tijd.” Vele verschillende markers waaronder geheugentests, MRI scans en eiwitconcentraties in de hersenen worden daarvoor onderzocht.
De combinaties van verschillende markers, en de ontwikkeling ervan over de tijd vormen samen een complex patroon. Zo complex dat speciale algoritmes worden ingezet om een voorspelling te maken van het ziekteverloop. Het zijn deze algoritmen die ze graag met elkaar zou willen kunnen vergelijken om te kijken welke de beste prognoses opleveren. “Wat we nu voor ons zien is een online programma waarin je verschillende algoritmes los kunt laten op een dataset. Dat kan je eigen dataset zijn of die van een ander.”
“Door combinaties van datasets en algoritmen uit te proberen kun je dan vaststellen welke methoden het meest betrouwbare resultaat opleveren.” In feite komt het neer op de vraag hoe goed een bepaalde formule een voorspelling doet over het ziekteverloop. Omdat de datasets die in het veld in omloop zijn vaak bestaan uit meerdere metingen over een langere periode kan een voorspelde waarde ook naast een ‘werkelijke’ waarde worden gelegd.
Het is geen eenvoudige klus om tientallen algoritmes met elkaar te vergelijken. Alleen al omdat veel van de geprogrammeerde code niet in dezelfde taal geschreven is. Bron heeft daarnaast ook een specifiek wensenlijstje waaraan het platform moet voldoen. “Datasets zijn dan wel vergelijkbaar van opzet, maar nooit exact hetzelfde van opzet. Daar moet een vergelijkingsplatform rekening mee houden. Idealiter kan een onderzoeker straks, zonder al te veel tegenslagen, een Excel-achtig bestand uploaden op de site, en vervolgens aanvinken welke algoritmen deze toe wil passen en de uitkomsten vergelijken.”
Onderzoek is fouten maken en verbeteren
Naast de technische aspecten is er natuurlijk ook een heel menselijke kant aan het verhaal. Krijgt Bron de verschillende onderzoekers uit de hele wereld bijvoorbeeld zo ver om hun algoritmes met haar te delen? “Over het algemeen staan onderzoekers daar best voor open. Ik zou het bovendien al mooi vinden als ik twintig algoritmes op kan nemen in het platform.” Juist een grote diversiteit aan benaderingen kan laten zien welke tactieken het beste werken, voor verschillende datasets.
Een mogelijk punt van twist bij het samenvoegen en vergelijken van algoritmes is natuurlijk ook dat onderzoekers ‘foutjes’ kunnen vinden in het werk van hun collega’s. Dat die mogelijkheid er is vindt ze juist alleen maar goed. “Dat gaat natuurlijk gebeuren, maar dat is helemaal niet erg lijkt me zo. Onderzoek is fouten maken en verbeteren. Bovendien willen we toch dat we als wetenschappers kritisch kijken naar elkaars werk?”
Overigens verwacht Bron geen ‘domme fouten’ te ontdekken in de code van haar collega’s, het ligt subtieler. “Wat je vaak tegenkomt is dat een algoritme heel goed werkt voor een bepaalde dataset, maar weer niet op een andere.” Datasets worden immers altijd op een specifieke wijze en met een specifiek doel opgesteld, en juist in de vergelijking komen die impliciete aannames naar boven. Het is in die generaliseerbaarheid dat ik de meeste ‘foutjes’ verwacht.”
Een stap richting volwassenheid
De trend richting generaliseerbaarheid en samenwerking is er een die steeds sterker wordt binnen het veld van Bron. “In het medische veld zijn er steeds meer initiatieven om methoden en analyses met elkaar te vergelijken.” Op de website www.grand-challenge.org is een overzicht te vinden van deze initiatieven om beelddata en inzichten samen proberen te brengen om de geneeskunde te verbeteren. Bron: “Het eScience Center kijkt nu ook of dit breder getrokken kan worden dan alleen de geneeskunde.”
Onderdeel van die beweging is dat er steeds meer een cultuur ontstaat waarin onderzoekers elkaars geprogrammeerde code ook gaan lezen en gebruiken. Bron vindt dat een gezonde ontwikkeling en een goede stap richting volwassenheid. “Zodra het platform draait hoop ik dat het een voorbeeld kan zijn voor meer van dit soort projecten.”
