Er wordt nogal eens lacherig gedaan over wetenschappelijk onderzoek in de psychologie, omdat keer op keer blijkt dat veel onderzoek niet valt te reproduceren, maar in de geneeskunde is die reproduceerbaarheid al niet veel beter. Binnen het reproduceerbaarheidsproject van de Amerikaanse immunoloog Tim Errington hebben wetenschappers sedert 2011 inmiddels tientallen kankerexperimenten proberen te repliceren. In gevallen bleek dat niet te lukken. De jongste uitkomsten stemmen niet optimistisch.
Je zou zeggen dat onder dezelfde omstandigheden proeven eenzelfde uitkomst moeten hebben. We hebben het dan over reproduceerbaarheid. Veel onderzoek is echter niet te reproduceren en daarmee komen de conclusies die op basis van dat onderzoek worden getrokken op losse schroeven te staan. Reproduceerbaarheid is een belangrijke bouwsteen van het wetenschapsgebouw.
Tim Errington leidt het project vanuit het centrum voor open wetenschap in Virginia (VS). Een paar weken geleden werden de resultaten bekend van het overdoen van vijf kankerstudies. “Het idee is dat we een stel experimenten precies proberen na te doen om te kijken of we dezelfde resultaten krijgen.”
Appeltje eitje, zou je denken. De onderzoekers zullen het zelf al gedaan hebben en het enige wat je moet doen de proefopzet te nemen en de instructies volgen. Helaas. De onderzoekers konden maar in twee gevallen de resultaten bevestigen, twee waren twijfelachtig en in het vijfde geval was het helemaal mis.
Betrouwbaarheid
De laatste jaren is gebleken dat de betrouwbaarheid van de uitkomsten van wetenschappelijk onderzoek nogal eens wankel zijn. Volgens een artikel in het blad Nature vorig jaar zou meer dan 70% van de onderzoeken die werden overgedaan niet dezelfde resultaten hebben opgeleverd als het oorspronkelijke onderzoek.
De wetenschappelijke carrière van de biologisch psycholoog Marcus Munafo sneefde bijna in een pril stadium door een, naar hij dacht, mislukte replicatiepoging van een bekend onderzoek naar angsten. “Ik raakte mijn zelfvertrouwen kwijt. Misschien lag het aan mij en deed ik het niet goed of was ik niet geschikt als wetenschapper.”
Uiteindelijk bleek dat het probleem niet bij Munafo lag. Het onderzoek was ‘bijgewerkt’ om een helderder en steviger resultaat te kunnen presenteren. “Wat we in de publicaties zien is een sterk aangepaste versie van wat er werkelijk is gebeurd. Het vervelende is dat daardoor een rozegetint beeld wordt geschetst op basis van nieuwe, opmerkelijke en onverwachte resultaten.”
We hebben het hier niet over regelrechte fraude, stelt genetica Ottoline Leyser van de universiteit van Cambridge. Fraude zou volgens haar snel onschadelijk worden gemaakt (hetgeen ik betwijfel; as). “Het gaat om een cultuur die het effect stelt boven de substantie, flitsende resultaten boven saaie bevestigingen zoals het meeste in de wetenschap.”
Alle deelnemers aan het bedrijf dat wetenschap heet zijn van diezelfde cultuur doortrokken: de geldschieters die waar voor hun geld willen, de wetenschappelijke tijdschriften die graag doorbraken publiceren, de instellingen en universiteiten die het succes afmeten aan de toegekende subsidies en het aantal publicaties en uiteraard ook de wetenschappers zelf met hun ambities. Leyser: “Iedereen heeft zijn aandeel in die schande. Het systeem moedigt die minder optimale resultaten aan.”
Nature
Het Britse wetenschappelijke tijdschrift Nature wil daar iets aan gaan doen. Het blad komt met een vinklijst voor reproduceerbaarheid voor zijn auteurs. Die lijst moet de betrouwbaarheid en de soliditeit van het gepubliceerde vergroten. “Wetenschappers moeten over replicatie nadenken voordat ze een artikel schrijven”, zegt hoofdredacteur Ritu Dhand van Nature. “Dit is een groot probleem, dat de tijdschriften niet alleen kunnen oplossen.
Neurowetenschapper Malcolm MacLeod van de universiteit van Edingburgh vindt dat we de koe bij de horens moeten vatten. “Replicatie is een wezenlijk onderdeel van het wetenschappelijke proces.” Hij schreef met Jeffrey Mogil een artikel in Nature waarin het tweetal de aanpak van dieronderzoek schetst waarmee een zo betrouwbaar mogelijk uitkomst kan worden verkregen. Er moet een onafhankelijke en statistisch gedegen bevestiging komen van de belangrijkste hypothese voordat er gepubliceerd wordt, vinden ze.
“Zonder replicatie door anderen weten we niet of wat daar gepresenteerd wordt weergeven wat er in de biologie gebeurt.” Dat is een verkwisting van tijd en geld. “We zouden misschien al veel verder zijn met de ontwikkeling van nieuwe geneeswijzen en behandelingen. Dat is droevig, maar ik vrees dat dat de situatie op het ogenblik is.”
Bron: BBC