Sökresultat för: replikation

Det våras för replikationsstudier

Replikerande studenter?

I princip all empirisk forskning utgår från datamaterial som samlats in under specifika omständigheter, tidsperioder och geografiska områden. Behovet att säkerställa resultatens tillförlitlighet och överförbarhet till andra områden är därför stort. Replikationsstudier utgör ett naturligt sätt att möta detta behov, men trots detta görs och publiceras väldigt få sådana studier inom nationalekonomi. Fast kanske har ett trendbrott skett?

I en tänkvärd artikel beklagar sig den amerikanske ekonomen Daniel Hamermesh över nationalekonomins problem att generera replikationsstudier. Antingen innebär detta att man upprepar undersökningen på samma datamaterial med samma eller ny metod, eller att man använder ett annat datamaterial för att testa resultatens giltighet. Kvalitetsgranskning sker visserligen redan idag, men det är sällan som referees går på djupet så att alla fel – små eller stora – kan upptäckas i datahantering, programmering eller metodval.

Enligt Hamermesh skulle replikationsstudier utgöra ett utmärkt komplement i granskningen. Naturligtvis kan inte alla artiklar replikeras utan endast där andra anser det tillräckligt nödvändigt eller intressant. Tyvärr görs och publiceras alltför få replikationsstudier. Hamermesh spekulerar i vad detta beror på, och konstaterar att sådana studier inte värderas i professionen (pga bristande originalitet), men även att man riskerar göra sig ovän med de forskare vars arbete man ska granska. En annan anledning är att få forskare tillgängliggör sina dataset.

Men på senare tid har åtminstone ett av dessa hinder börjat rämna: tillgängligheten på data. Sedan några kräver American Economic Review att alla författare publicerar sina data, fritt nedladdningsbara med tillhörande dokumentationsfiler. Därefter har fler slutit upp (bl a QJE, ReStud, ReStat, JHR) och förhoppningsvis växer en ny norm fram där det blir självklart att offentliggöra alla data och programfiler i samband med publicering.

För att snabba på utvecklingen av en livaktigare replikationslitteratur tycker jag att högre grundutbildnings- och doktorandkurser bör rutinmässigt innehålla replikationsövningar. Studenterna lär sig mycket genom att bekanta sig med “riktiga” dataset och hur statistikprogramkod ser ut. Men kanske viktigast av allt är att studenterna på detta vis skapar ett mervärde för hela forskarkollektivet. Kanske kan vi snart inte längre ta forskningsresultat för givna bara för att de publicerats – vi måste vänta tills de har replikerats!

HT: Martin F

Försåtlig forskarfrihet

Den psykologiska disciplinen har genomgått en replikationskris efter att det visat sig att en hel del tidigare forskningsresultat inte låtit sig replikeras. Andrew Gelman har skrivit en lång och mycket läsvärd redogörelse för denna kris. En av Gelmans förklaringar till hur så många icke-replikerbara forskningsresultat uppkommit är det svåröversättliga begreppet ”garden of forking paths”. I analysen av data ställs forskaren inför en mängd val där det är frestande att göra valen efter att man har sneglat på resultatet, kanske för att man är på jakt efter statistiskt signifikanta resultat som vinner tidskriftsredaktörens gunst. Ställs man inför många sådana val kan slutresultatet bli ganska missvisande, och hade man gjort andra vägval kanske man hade kommit fram till ett helt annat resultat.  [Read more…]

Kan vi lita på forskningsresultat?

Idag publicerar Science resultaten från ett ambitiöst forskningsprojekt där cirka 270 forskare (framförallt psykologer, men även de svenska nationalekonomerna Anna Dreber Almenberg, Eskil Forsell, Emma Heikensten och Magnus Johannesson) har gått samman för att replikera 100 experimentella studier inom psykologi. Bakgrunden är att det särskilt inom socialpsykologin funnits en oro för utbredd användning av tveksamma forskningsmetoder, vilket bland annat aktualiserats av ett öppet brev undertecknat ekonomipristagaren Daniel Kahneman och i samband med avslöjandena av Diedrik Stapels omfattande forskningsfusk. [Read more…]

Nittio procent ingen dramatisk gräns

Hög skuldsättning kan tveklöst vara ett problem, men samtidigt är all skuldsättning inte likvärdig. Vad gäller frågan hur offentlig skuldsättning påverkar ekonomisk tillväxt skulle nog de flesta svara att det beror på faktorer som konjunkturläge, om skulden är inhemsk valuta, kapacitetsutnyttjande osv. Det var därför uppseendeväckande när Carmen Reinhart och Kenneth Rogoff i en inflytelserik studie (gratisversion) för några år sedan påstod sig ha funnit att en offentlig skuldsättning på över 90 procent av BNP har dramatiskt negativa konsekvenser för tillväxten. Det visar sig nu att de hade fel: 90 procent utgör inte någon dramatisk gräns. [Read more…]

AEA 1: Publiceringsbias, gener och signifikansnivåer

Vägen över till nationalekonomins Cannesfestival, American Economic Associations möte i Denver, ägnade jag åt att läsa en artikel i the New Yorker. Den beskriver hur empiriska fynd som verkar helt stabila verkar försvinna när andra forskare försöker replikera dem. Forskningsfusk, kanske någon påstår men i det exempel som lyfts fram i artikeln är det originalfyndens upphovsman som själv råkat ut för problemen; varje gång han upprepat sina experiment har effekterna blivit mindre och mindre.

Hur märkligt detta än kan verka så har samma mönster uppmärksammats inom en mängd olika forskningsfält. Som the New Yorker skriver orsakas detta av en samverkan mellan ett par olika faktorer. I grunden beror problemet på att en del samband av statistisk nödvändighet kommer att se starka ut trots att de egentligen bara är orsakade av slumpen. Ju fler studier som genomförs, desto fler skensamband kommer att upptäckas.

Eftersom sådana skensamband kan vara mycket uppseedeväckande – de är ju trots allt orsakade av slumpen – finns möjligheten att de publiceras i prestigefyllda tidskrifter. Samma tidskrifter skulle däremot aldrig publicerat ett experiment som visade att samma samband inte verkar finnas; Science hade knappast varit en välciterad tidskrift om den vecka ut och vecka in berättade för läsarna hur världen inte fungerar.

Förutom tidskifternas publiceringsbias – tendensen att bara publicera signifikanta samband – så finns även dess lillasyster; forskarnas egna bias att bara rapportera experiment som lett någonstans. Att rapportera alla de misslyckade experiment som ligger bakom varje forskningsgenombrott vore inte bara tröstlöst, det skulle även innebära att man vore tvungen att justera de statistiska signifikanstesten — vilket minskar sannolikheten att ens fynd är signifikanta.

Dessa är inga nya insikter men en intressant presentation av Dan Benjamin om hur den genetiska forskningen kan påverka den nationalekonomiska visade att problemen kan förväntas bli större framöver. Det finns en enorm mängd möjliga samband mellan gener, miljö och olika utfall; antalet testbara hypoteser är troligen större än antalet människor som någonsin levt. När denna typ av forskning blir allt billigare kommer också antalet skensamband att öka dramatiskt.

Generöst nog berättade Benjamin frikostigt om sina egna misslyckanden. Teoretiskt förväntade samband mellan gener och utfall som varit kraftigt signifikanta i ett första urval av tusentals individer hade varit omöjliga att replikera när fler vågor av data blivit tillgängliga. I andra fall hade de initiala resultaten överlevt flera replikeringsförsök bara för att senare gå upp i rök.

Oavsett vad man tycker om just denna typ av forskning – Benjamin tror den har en framtid – så finns det anledning att fundera över hur vi testar statistisk signifikans, hur vi rapporterar empiriska resultat och vilket värde som tillskrivs replikationsstudier. Förändringar i normerna kring detta måste dock ske på institutionell nivå eftersom ingen enskild forskare har incitament att ställa högre krav på sin egen forskning än vad forskarsamhället kräver. I väntan på dessa förändringar kommer vi att fortsätta publicera fynd som övertygande visar hur världen fungerar. Och i morgon kommer vi att ha ändrat oss.