Mer om publiceringsbias

Häromveckan skrev jag om en ny studie som tyder på att publiceringsbias gjort att publicerad forskning om gener och intelligens sammantaget verkar ha givit en missvisande bild av verkligheten. Ett ännu tydligare tecken på förekomsten av publiceringsbias är nedanstående diagram (knyckt från den här artikeln) som visar z-värdena för resultat publicerade i två ledande statsvetenskapliga tidskrifter (APSR och AJPS) mellan 1995 och 2007. Det är en markant ökning när z är 1.96, vilket motsvarar 5 procents signifikansnivå för två-sidiga test. Om artiklar skickades in och publicerades i vetenskapliga tidskrifter oberoende av om resultaten är statistiskt signifikanta eller ej skulle vi förvänta oss lika många z-värden strax ovanför som strax under 1.96.

För er som föredrar en mer skämtsam illustration av fenomenet publiceringsbias rekommenderas den här seriestrippen.

Comments

  1. Som jag ofta sagt; det behövs en Journal of Insignifant Findings.
    Länge publicerades inom psykologin bara forskningsartiklar där flickor uppvisade mer ängslan och oro i olika situationer. Icke-signifikanta skillnader mellan pojkar och flickor publicerades inte, ej heller de mycket få där pojkar visade mer oro. Denna bild har sedan dess dock nyanserats. Kanske behövs något liknande här?

  2. Störtskön bild. Men vem vågar gå i spetsen för en förmodat ärligare norm?

  3. Oscar says:

    En lösning kunde vara att upprätta en databas där alla icke-signifikanta resultat kan läggas in i mer kompakt form, men att publicera allt i artikelform oavsett signifikans verkar vara en dålig idé. Ingen skulle orka vada igenom allt, forskningen skulle bli ofokuserad och man skulle behöva lägga väldigt mycket tid på att skriva artiklar som förmodligen ingen kommer att ha någon nytta av. Problemet är väl egentligen inte att enbart signifikanta resultat publiceras, utan att för få studier görs på samma fenomen och att andra forskare tar resultat för givna enbart för att de har signifikans, istället för att ifrågasätta dem och pröva deras giltighet i egna studier?

  4. Louise J says:

    Inom naturvetenskapen har jag ramlat över ”The All Results Journals” och ”Journal of Errology”. Även ”Journal of Interesting Negative Results ” (Machine learning). Så det görs försök i alla fall!

  5. Christoffer Rydland says:

    Vilken sympatisk tanke med sådana tidsskrifter eller en databas, då skulle kanske forskare våga ta större risker och bli mindre deppiga vid motgångar. Fast man undrar ju vad som skulle hända – skulle sådana resultat adderas till forskarens meriter, eller skulle det snarare bildas en kvot ”significant finding/insignificant fiindings” att snegla på vid tjänstetillsättningar? Alltså ett mått på produktivitet…. Kanske är det mer realistiskt att man håller reda på ”insignifant findings” informellt genom det egna nätverket istället – genom att upprätthålla hyggliga relationer med omgivningen får man reda på vad som redan är prövat och inte fungerat?

  6. Jag tycker också detta vore sympatiskt, men jag tror det är svårt att skapa incitament för att det ska fungera bra. Det kommer förmodligen inte vara så prestigefyllt vare sig att vara redaktör eller publicera i sådana tidskrifter (eftersom de inte kommer bli så läsvärda kommer de citeras sparsamt). Det ska ju inte heller räcka med att resultaten är insignifikanta, det ska ju också vara väl genomförda studier om relevanta frågor.

    De som definitivt borde skärpa sig är redaktörerna för nuvarande tidskrifter. De bör i första hand inte titta på resultaten inför publiceringsbeslut, utan hur övertygande studien är, om frågan är relevant etc. Här skulle tidskrifterna kunna ha tydliga och uttalade policys för hur de handskas med problemet.

Trackbacks

  1. […] med publiceringsbias, d.v.s. att framförallt statistiskt signifikanta resultat publiceras (se tidigare inlägg om publiceringsbias). Om den statistiska styrkan är låg, kan låga p-värden i vissa fall snarare vara en garant för […]

  2. […] effekten vara stor för att resultatet skall vara statistiskt signifikant skiljt från noll. I ett tidigare inlägg har jag även skrivit om en liknande statsvetenskaplig […]

  3. […] Ekonomistas har Robert skrivit om dessa saker flera gånger, bl a om hur många artiklars resultat klumpar sig vid två sigma-gränsen för signifikans, att p-nivåerna inte alltid säger vad man tror och att replikeringsstudier antyder slumpen kan […]

  4. […] sneglat på resultatet, kanske för att man är på jakt efter statistiskt signifikanta resultat som vinner tidskriftsredaktörens gunst. Ställs man inför många sådana val kan slutresultatet bli ganska missvisande, och hade man […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s