Sociologisch onderzoek op de pijnbank: 62% klopt

Brian Nosek

Brian Nosek, leider reproduceerbaarheidsproject

Wetenschap is nog geen wetenschap als dat in een befaamd wetenschappelijk tijdschrift is gepubliceerd, maar pas als andere onderzoekers die experimenten kunnen herhalen en tot dezelfde conclusie moeten/kunnen komen. Reproduceerbaarheid is de laatste jaren een ‘heet’ thema en het blijkt nogal eens dat er nogal wat onderzoek wordt gepubliceerd in (ook) vooraanstaande tijdschriften, die, op zijn zachtst gezegd, niet helemaal kunnen kloppen. Na psychologie en economie werden nu sociaalwetenschappelijke studies onder de loep gelegd door een groep wetenschappers onder aanvoering van Brian Nosek van de universiteit van Virginië en verbonden aan het Centrum voor Open Wetenschap in Charlottesville (COS). Van de 21 studies waarvan tussen 2010 en 2015 een verslag was verschenen in Science en Nature, bleek 62% de herhaling te doorstaan. Dat lijkt mooi, maar het betekent nog steeds dat ruim eenderde van de, vooraf beoordeelde, artikelen op dit terrein niet (helemaal) deugt. Dat is overigens een stuk beter dan de psychologen het er vanaf hebben gebracht (al lijkt het dat Nosek en de zijnen nu wat milder hebben geoordeeld). Lees verder

Statistiek veel meta-analyses deugt van geen kant

Statistiek meta-analyses vaak beneden peil

Pijnlijke misser… (afb: census.gov)

Statistiek is en blijft een groot probleem. De wetenschap kan niet zonder, maar uit nogal wat onderzoek blijkt dat onderzoekers daar vaak slecht mee uit de voeten kunnen, waardoor conclusies worden getrokken die niet getrokken mogen worden. Statisticus Brady West van de universiteit van Michigan is met medeonderzoekers eens gaan kijken hoe dat zit bij meta-analyses (een onderzoek van verschillende samenhangende studies) en zij hadden geen vrolijke boodschap: erg deugde niet zo erg veel van. Als je weet dat het hier om gezondheidsonderzoek gaat dan word je nog een beetje droeviger. Lees verder

Economie en zijn magere wetenschappelijke status

 

Edwrad Leamer en het deplorabele economische onderzoek

Edward Leamer begon zich in de jaren 80 druk te maken over het ‘bedrog’ in het economisch onderzoek (afb: UCLA)

Het is toch opmerkelijk dat een vak met zo’n armoedige status als economie toch zo veel invloed heeft op ons dagelijks leven. Keer op keer beweren politici en andere praatjesmakers dat dit  of dat op economische gronden noodzakelijk is, terwijl die gronden vaak nogal drassig zijn. Luis in de pels van die wetenschapsarme economen is nota bene een Griek, geboren in een land waar economisch zo’n beetje alles misloopt wat er mis kan gaan: Hristos Doucouliagos. Al sedert de jaren 90 gaat hij te keer tegen de armoedige wetenschappelijke status van de staathuishoudkunde met zijn vooroordelen, ondermaatse onderzoek en statistisch geklungel. Destijds wilde men dat niet horen, nu toont hij maar weer eens, mijns inziens ten overvloede, aan dat er nogal wat mis is met veel economisch onderzoek. Er schijnt langzaam iets te veranderen. Lees verder

Duitsland of Frankrijk wint EK

EK 2016 logoHet voorspellen van de uitkomsten van grote sporttoernooien heeft iets van astrologie: je hebt er geen donder aan, het komt zelden uit, maar het is toch vermakelijk. Wetenschappers proberen het steeds weer en het resultaat van hun ‘berekeningen’ (wichelroederijen?) komt niet al te vaak overeen met de werkelijkheid. Nu proberen onderzoekers van de universiteit van Innsbruck (Oos) zich weer in de schijnwerpers te worstelen met hun voorspelling van de aanstaande EK voetbal. Gastheer Frankrijk en wereldkampioen zijn de duidelijke favorieten. Spanje staat in de finale en verliest. Ik denk dat veel voetbaldeskundigen op basis van hun natte vinger ook tot die conclusie zijn gekomen. Een ding is zeker: Nederland wordt het niet.

Lees verder

Sociale wetenschappen moeten leren falen om succes te hebben

Andrew Gelman, statisticus en psycholoog

Andrew Gelman, statisticus en psycholoog: …falen moet mogelijk zijn…

Sociale wetenschappen hebben het moeilijk. Anders dan natuurwetenschappers is het bij sociaalwetenschappelijk onderzoek, daar schaar ik economie ook onder, lastig zo niet onmogelijk een heel wildenbomenbos aan variabelen in de hand te houden. Uitspraken op dit terrein zouden dan ook altijd met veel slagen om de arm mogen worden gedaan, maar zo’n sociale wetenschapper moet ook eten (= onderzoek doen) en wil de wereld, om te beginnen de wetenschappelijke, wel laten weten welke opzienbarende zaken hij/zij nu weer heeft ontdekt. Dan krijg je onderzoekresultaten als studenten gaan langzamer lopen als ze met ouderdom gerelateerde woorden horen, de verkiezingen worden beïnvloed door sportwedstrijden en overgewicht is besmettelijk. Volgens Andrew Gelman van de Columbia-universiteit, statisticus en socioloog, allemaal studies die in gerenommeerde bladen zouden zijn verschenen. Dus maar kappen met die onmogelijke sociale wetenschappen? Gelman vindt dat we eerst moeten leren in het zand te bijten alvorens te gloriëren. Ik heb zo mijn twijfels, grote twijfels. Lees verder

Effect cholesterolverlagers zou zijn overdreven

StatinesStatines worden gezien als effectief geneesmiddel tegen te hoge cholesterolwaarden, waardoor ze een grote bijdrage zouden hebben geleverd aan het voorkomen van hart- en vaatziektes. Volgens onderzoekers van de universiteit van Zuid-Florida is die reputatie niet terecht. Er zou handig gebruik (misbruik) gemaakt zijn van statistische trucs.
Lees verder

Proeven met muizen zeggen lang niet alles

Dierproeven vaak 'misbruikt'

Het ALS-instituut vond grote verschillen tussen de gepubliceerde onderzoeksgegevens (blauw) en de eigen gereproduceerde gegevens (zwart) (afb: Nature)

Hebben we net (weer eens) het schandaal aan de orde gesteld dat farma-ceutische bedrijven de boel vaak belazeren, komt het Franse dagblad Le Monde op zijn webstek met het verhaal dat er veel geld wordt weggesmeten aan klinische proeven van (gedachte) medicijnen of behandelmethoden die bij muizen werken, maar bij mensen niks uit halen. Le Monde spreekt over de honderden miljoenen die er gemoeid zijn met dit ‘schandaal’, die er verspild worden met de klinische proeven met deze voor de mens nuttelozen geneesmiddelen of -wijzen. Le Monde schrijft het  naar aanleiding van een artikel in het wetenschapsblad Nature van Steve Perrin, verbonden aan het ALS-instituut in het Amerikaanse Cambridge (ALS is een verwoestende spierziekte) . Perrin constateert dat veel van die dierproeven methodologisch niet deugen.
Lees verder