Så gör man inte!

På SVT går just nu ett barnprogram som heter ”Så gör man inte!”. Det går ut på att de två vuxna huvudrollsinnehavarna gör precis sådant som vuxna brukar uppmana barn att inte göra, såsom att vända spaghettiskålen över huvudet och låtsas att det är en peruk. Detta tycker förstås barn är hejdlöst kul och i vår familj uppskattas det av alla mellan 2 och 38 år. Veckans snackis på många samhällsvetenskapliga institutioner har varit ett liknande drama i forskarvärlden. I veckan uppdagades nämligen att en statsvetenskaplig studie som publicerades i Science i fjol bygger på påhittade data. 

Artikeln är författad av statsvetardoktoranden Michael LaCour och statsvetarprofessorn Donald Green. Green agerade snabbt när två statsvetardoktorander upptäckte felaktigheterna och han har redan krävt att Science ska dra tillbaka artikeln. Green säger sig inte känna till att data var påhittad och LaCour har inte kunnat ge tillfredsställande svar om datan, utan verkar i stället ha nästlat sig in i en väv av lögner. Sista ordet är visserligen inte sagt än, men det verkar som att statsvetenskapen har fått sin egen Diedrik Stapel. Alla detaljer kring historien framkommer i ett utförligt dokument skrivet av doktoranderna som uppdagade fusket. Längst bak i dokumentet finns även Greens brev till Science-redaktören.

Vad ska man dra för lärdom av denna episod? Många hade förvånats av att effekten i studien var så oerhört stark (se t.ex. Andrew Gelmans kommentar) — ett samtal med homosexuella hade en stor, långvarig effekt på deltagarnas attityder. Studiens resultat verkade för bra för att vara sanna. Lärdomen jag tycker vi ska dra när det gäller vetenskapliga resultat är att om de förefaller för bra för att vara sanna, ja, då är risken stor att de inte är sanna och man bör avvakta att resultaten replikeras innan man tror på dem. Att felaktiga resultat publiceras behöver inte bero på fusk, utan kan också vara resultatet av studier med för låg statistisk styrka i kombination med publiceringsbias.

För den som tycker det är roligt att följa den vuxna forskarversionen av ”Så gör man inte!” rekommenderas bloggen Retraction Watch som bevakar artiklar som dras tillbaka från vetenskapliga tidskrifter.

Comments

  1. cvjweb says:

    Sen är ju frågan hur mycket forskning som är fejkad och aldrig upptäcks, replikeringsstudier saknas nästan jämt om det inte är något intressant ämne (för majoriteten). Sen är det även så att politiska bias påverkar vilka resultat som granskas och vilka som man accepterar utan vidare. Tack för bloggtipset!

  2. Mats Bergman says:

    Studien beskrevs nyligen i det amerikanska radioprogrammet/podcasten This American Life, http://www.thisamericanlife.org/radio-archives/episode/555/the-incredible-rarity-of-changing-your-mind
    Ett trevligt och hoppingivande inslag – synd bara att det var för bra för att vara sant.
    Mats Bergman

  3. Utan att ha grävt mig ner i datan så gissar jag att anledningen till att det uppdagades var att han tog i för mycket. Hade han nöjt sig med att fuska fram (om han inte nu kan visa på något annat) sig till en klar men liten effekt så kan det hända att det aldrig upptäckts.

    Liksom cvjweb säger så är det nog mycket som inte uppdagas. Små effekter som går i en riktning som överesstämmer med hur man önskar världen fungerar förefaller vara de tveklöst mest suspekta. Förutom fusk tillkommer ju här vår medfödda förmåga till självbedrägeri, confirmation bias och en massa andra effekter.

    • Hade studien funnit ett nollresultat eller en mycket svag effekt hade den med all sannolikhet inte publicerats i Science. Både risk och avkastning är högre om man fuskar fram spektakulära resultat. Därmed inte sagt att resultat som visar på små effekter i förväntad riktning inte kan vara felaktiga, det kryllar förmodligen av felaktigheter och fusk som aldrig uppdagas.

  4. Förståsigpåare says:

    Så om studier har låg statistisk styrka bör de publiceras omedelbart men om de har hög statistisk styrka ska man avvakta?

    Science skulle inte ha många läsare om den mest var en upprapning av tiotals nollresultat…

Trackbacks

  1. […] forskaren naturligtvis även kan utnyttja frihetsgraderna avsiktligt. Han exemplifierar detta med statsvetaren Michael LaCours studie byggd på påhittade data om påverkan på väljarattityder. Gelman argumenterar för att att LaCour inte hade behövt fejka data, utan att han i stället […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s