Sociologisch onderzoek op de pijnbank: 62% klopt

Brian Nosek

Brian Nosek, leider reproduceerbaarheidsproject

Wetenschap is nog geen wetenschap als dat in een befaamd wetenschappelijk tijdschrift is gepubliceerd, maar pas als andere onderzoekers die experimenten kunnen herhalen en tot dezelfde conclusie moeten/kunnen komen. Reproduceerbaarheid is de laatste jaren een ‘heet’ thema en het blijkt nogal eens dat er nogal wat onderzoek wordt gepubliceerd in (ook) vooraanstaande tijdschriften, die, op zijn zachtst gezegd, niet helemaal kunnen kloppen. Na psychologie en economie werden nu sociaalwetenschappelijke studies onder de loep gelegd door een groep wetenschappers onder aanvoering van Brian Nosek van de universiteit van Virginië en verbonden aan het Centrum voor Open Wetenschap in Charlottesville (COS). Van de 21 studies waarvan tussen 2010 en 2015 een verslag was verschenen in Science en Nature, bleek 62% de herhaling te doorstaan. Dat lijkt mooi, maar het betekent nog steeds dat ruim eenderde van de, vooraf beoordeelde, artikelen op dit terrein niet (helemaal) deugt. Dat is overigens een stuk beter dan de psychologen het er vanaf hebben gebracht (al lijkt het dat Nosek en de zijnen nu wat milder hebben geoordeeld). Lees verder

Economie en zijn magere wetenschappelijke status

 

Edwrad Leamer en het deplorabele economische onderzoek

Edward Leamer begon zich in de jaren 80 druk te maken over het ‘bedrog’ in het economisch onderzoek (afb: UCLA)

Het is toch opmerkelijk dat een vak met zo’n armoedige status als economie toch zo veel invloed heeft op ons dagelijks leven. Keer op keer beweren politici en andere praatjesmakers dat dit  of dat op economische gronden noodzakelijk is, terwijl die gronden vaak nogal drassig zijn. Luis in de pels van die wetenschapsarme economen is nota bene een Griek, geboren in een land waar economisch zo’n beetje alles misloopt wat er mis kan gaan: Hristos Doucouliagos. Al sedert de jaren 90 gaat hij te keer tegen de armoedige wetenschappelijke status van de staathuishoudkunde met zijn vooroordelen, ondermaatse onderzoek en statistisch geklungel. Destijds wilde men dat niet horen, nu toont hij maar weer eens, mijns inziens ten overvloede, aan dat er nogal wat mis is met veel economisch onderzoek. Er schijnt langzaam iets te veranderen. Lees verder

Door terugtrekking is een artikel niet verdwenen

Haruko Obokata

Haruko Obokata

Stel je voor dat je een wetenschapper bent. Je hebt het voor elkaar: je staat in een vooraanstaand wetenschappelijk tijdschrift zoals Nature of Science. Het artikel in dat tijdschrift heeft nogal wat losgemaakt in jouw vakgebied. Je aanzien in de wetenschapswereld, althans dat deel dat zich met jouw vak bezighoudt, is aanmerkelijk gestegen. Nu blijkt dat een van de artikelen waaruit je hebt geciteerd, dat een stevige stut onder jouw verhaal is geweest, wordt teruggetrokken. Wat doe je? Schrap je dat artikel? Wetenschappelijk artikelen die worden teruggetrokken om wat voor een reden dan ook (fraude, geknoei, broddelwerk, onreproduceerbaar) zijn niet zo maar opeens uit dat wereldje verdwenen. Wetenschap lijkt een mooi, schoon bedrijf met een zelfreinigend vermogen, maar daar zijn wel wat kanttekeningen bij te plaatsen. De Amerikaanse wetenschapsraadgever Jerome Samson van het adviesbedrijf Nielsen vindt dat we nu maar eens moeten beginnen met de Grote Schoonmaak. Lees verder

Op zoek naar ‘kuldetector in gammawetenschappen

Logo DarpaAdam Russell is antropoloog en programmaleider van Darpa, de wetenschappelijke organisatie van het Amerikaanse ministerie van defensie. Hij is op zoek naar een betrouwbare methode om de zin van de onzin in de gammawetenschappen te scheiden. Als je een idee hebt mag je contact met hem opnemen. Lees verder

Wetenschap is ook maar een mening (?)

Mars voor wetenschapAch, er worden altijd mooie dingen verteld over wetenschap en de zoektocht(en) naar de waarheid, maar daar valt wel het een en ander op af te dingen. Het wetenschapsbedrijf zou een ‘zelfreinigend vermogen’ hebben, maar dat zelfreinigende laat het nogal eens af weten. Hoeveel regelrechte en halfslachtige pogingen tot fraude worden er niet met de mantel der ‘liefde’ bedekt? Hoe vaak wordt er niet, al of niet  bewust, geknoeid met onderzoekuitkomsten? Wetenschappers met theorieën die afwijken van de gangbare hebben het vaak moeilijk in de wetenschap. En dan al dat onderzoek dat niet gerepliceerd kan worden.  Wetenschap is, idealiter, natuurlijk niet ook maar een mening, maar wetenschappers zijn mensen en mensen hebben meningen… We kunnen er niet op vertrouwen dat wetenschappelijke tijdschriften de wetenschappelijke waarheid vertelt, zegt aardwetenschapper Julian Kirchherr van de universiteit van Utrecht in de Engelse krant the Guardian. Lees verder

“Veel kankeronderzoek blijkt niet te reproduceren”

Reageerbuisjes in het labEr wordt nogal eens lacherig gedaan over wetenschappelijk onderzoek in de psychologie, omdat keer op keer blijkt dat veel onderzoek niet valt te reproduceren, maar in de geneeskunde is die reproduceerbaarheid al niet veel beter. Binnen het reproduceerbaarheidsproject van de Amerikaanse immunoloog Tim Errington hebben wetenschappers sedert 2011 inmiddels tientallen kankerexperimenten proberen te repliceren. In  gevallen bleek dat niet te lukken. De jongste uitkomsten stemmen niet optimistisch.
Lees verder

Sociale wetenschappen moeten leren falen om succes te hebben

Andrew Gelman, statisticus en psycholoog

Andrew Gelman, statisticus en psycholoog: …falen moet mogelijk zijn…

Sociale wetenschappen hebben het moeilijk. Anders dan natuurwetenschappers is het bij sociaalwetenschappelijk onderzoek, daar schaar ik economie ook onder, lastig zo niet onmogelijk een heel wildenbomenbos aan variabelen in de hand te houden. Uitspraken op dit terrein zouden dan ook altijd met veel slagen om de arm mogen worden gedaan, maar zo’n sociale wetenschapper moet ook eten (= onderzoek doen) en wil de wereld, om te beginnen de wetenschappelijke, wel laten weten welke opzienbarende zaken hij/zij nu weer heeft ontdekt. Dan krijg je onderzoekresultaten als studenten gaan langzamer lopen als ze met ouderdom gerelateerde woorden horen, de verkiezingen worden beïnvloed door sportwedstrijden en overgewicht is besmettelijk. Volgens Andrew Gelman van de Columbia-universiteit, statisticus en socioloog, allemaal studies die in gerenommeerde bladen zouden zijn verschenen. Dus maar kappen met die onmogelijke sociale wetenschappen? Gelman vindt dat we eerst moeten leren in het zand te bijten alvorens te gloriëren. Ik heb zo mijn twijfels, grote twijfels. Lees verder

Zijn psychologische onderzoekers toch geen knoeiers?

Psycholoog Timothy Wilson van de universiteit van Virginia

Criticus van het replicatieproject Timothy Wilson (afb: NYT)

Psychologen en vooral psychologische onderzoekers, daar lusten de harde wetenschappers en hun beta-aanhang wel pap van. Knoeiers zijn het die op basis van lullige onderzoekjes met gebrekkig statistisch inzicht knoeiresultaten afleveren, als ze die al niet verzinnen. Vorig jaar verscheen er een verslag van een onderzoeksproject dat zou hebben uitgewezen dat een groot deel van psychologisch onderzoek niet was te reproduceren. Die onderzoekers krijgen nu op hun beurt zelf weer billenkoek. De critici zouden zelf statistisch in de fout zijn gegaan waardoor hun conclusie op losse schroeven is komen te staan. De reproduceerbaarheid in het psychologisch onderzoek is zelfs vrij hoog, beweren vier onderzoekers. Lees verder

Veel onderzoek psychologie ‘niet te volgen’

Brian Nosek

Brian Nosek, leider reproduceerbaarheidsproject psychologie

De wetenschap staat of valt met reproduceerbaarheid. Is het experiment te herhalen en zijn dan de uitkomsten nog steeds dezelfde? Bij opzienbarende vindingen, zoals de koude kernfusie, zijn veel onderzoekers bereid die proeven te herhalen, maar meestal wordt die ‘reproductie’ als een vervelend karwei beschouwd: het is nodig en nuttig, maar ik ga liever op eigen kracht en vindingrijkheid voorwaarts. Zodoende blijven veel onderzoeksresultaten ongetoetst en, dat is het lullige, ook geciteerd worden. Een groep psychologen heeft deze saaie koe nu eens bij de hoorns gevat en heeft geprobeerd 100 recente onderzoeken te herhalen. Wat bleek: in minder dan de helft van de herhaalde onderzoeken konden ze de oorspronkelijke resultaten reproduceren. Lees verder

Jaarlijks in VS miljarden verspild aan biomedisch onderzoek

Biomedisch onderzoekJaarlijks zou er in de VS 28 miljard dollar (zo’n € 24 miljard) worden verspild aan niet reproduceerbaar biomedisch onderzoek. “We wijzen op de kosten”, zegt de hoofdauteur Leonard Freedman van het artikel in PLOS Biology over de inventarisering. “We willen ook de discussie over oplossingen op gang brengen.” Niet iedereen neemt de schatting voor reëel. Lees verder