I höstas publicerades resultaten från ett stort forskningsprojekt som gick ut på att replikera 100 experimentella psykologiska studier (se inlägg här). Resultaten var nedslående. Endast 36 procent av studierna kunde replikeras i bemärkelsen att signifikanta effekter på femprocentsnivån uppmättes. Idag publicerar Science resultaten från en replikering av 18 nationalekonomiska laboratorieexperiment. Flera av de deltagande forskarna har anknytning till Handelshögskolan i Stockholm: Anna Dreber, Eskil Forsell, Magnus Johannesson, Johan Almenberg, Adam Altmejd, Emma Heikensten och Siri Isaksson.
Studien replikerar 18 experiment som publicerats i de ledande nationalekonomiska tidskrifterna American Economic Review respektive Quarterly Journal of Economics under åren 2011 till 2014. Resultaten är inte lika nedslående som i den psykologiska replikeringsstudien. Av de 18 studierna kunde 11 (61%) replikeras. Lägger man samman data från ursprungsstudierna med data från replikeringarna är effekten statistiskt signifikant i 14 av de 18 studierna. Att döma av dessa 18 replikerade studier är nationalekonomiska laboratorieexperiment mer tillförlitliga än psykologiska experiment. Men det finns ändå utrymme för förbättring. Den genomsnittliga statistiska styrkan i replikeringsexperimenten var 92%, vilket är den replikeringsgrad vi borde förvänta oss om det inte finns några problem med rapporterings- och publiceringsbias. Ett tecken på att rapporterings- och publiceringsbias är ett problem är att effektstorleken i alla utom tre fall var större i originalstudien än i replikeringen (se tidigare inlägg som förklarar hur detta hänger ihop). Figuren nedan visar effektstorlek i original- respektive replikeringsstudierna.
I studien redovisas även resultaten från en prediktionsmarknad där nationalekonomiska forskare var inbjudna att satsa pengar på huruvida de olika studierna skulle replikeras. Deltagarna fick också rapportera sin uppfattning om replikeringssannolikheten. Prediktionsmarknader är ofta påfallande exakta och fungerade ganska bra för att förutsäga vilka av de psykologiska experimenten som replikerades, men i det här fallet var det ingen större skillnad mellan rapporterade sannolikheter och utfallen på prediktionsmarknaderna. Båda måtten har visst förklaringsvärde för att förklara vilka studier som kunde replikeras, men forskarna som deltog tenderade att vara alltför optimistiska om hur stor andel som kunde replikeras framgångsrikt.
För de läsare som är intresserade av vilka de 18 studierna som replikerades är och vilka av dem som replikeringen lyckades för så ger Tabell S1 och S2 i extramaterialet en god överblick över vad studierna handlade om och huruvida de kunde replikeras.
Ekonomistas 
Jättefin studie av Siri, Emma och övriga!
Slutsatsen “[a]tt döma av dessa 18 replikerade studier är nationalekonomiska laboratorieexperiment mer tillförlitliga än psykologiska experiment.” stämmer dock antagaligen inte. Harvardprofessorn Gary King m. fl. har visat att Open Science Collaboration (författarna till studien från 2015) begått ett antal allvarliga fel: t. ex. har de inte utfört replikationen på samma ställe som orginalstudien, inget slumpmässigt val av studier. Korrigerar man för dessa fel kan man istället visa att det går att replikera en stor andel av psykologiska experiment.
Washington Post har skrivit om detta: https://www.washingtonpost.com/news/speaking-of-science/wp/2016/03/03/errors-riddled-2015-study-showing-replication-crisis-in-psychology-research-scientists-say/
Studien kan man hitta här: http://projects.iq.harvard.edu/psychology-replications/?platform=hootsuite
Sista ordet är nog inte sagt om psykologiprojektet, se tex dessa tre länkar för mer nyanserad bild än vad Gilbert et al ger
http://datacolada.org/2016/03/03/47/
https://hardsci.wordpress.com/2016/03/03/evaluating-a-new-critique-of-the-reproducibility-project/
http://www.wired.com/2016/03/psychology-crisis-whether-crisis/
Min favorit är så klart som alltid Andrew Gelman:
http://andrewgelman.com/2016/03/03/more-on-replication-crisis/
(Vi får se om vårt experimental econ projekt väcker lika många känslor :))
Tack Anna, jag ska kolla länkarna!
Det kanske hänger ihop med att ekonomer ofta duktigare än andra samhällsvetare på statistik, och också bidrar till utvecklingen av statistik/ekonometri. Däremot tror jag ekonomer är sämre på att tolka mänskligt beteende på ett kvalitativt sätt (något som psykologer borde i alla fall vara bättre på) och övergripande på vetenskapsteori. Sedan är det ju också skillnad mellan pålitlighet i experiment under kontrollerade former, och pålitlighet att göra analyser av samhällsutvecklingen som inte kan kontrolleras av forskaren. Det är ju allmänt känt att de flesta mainstream-ekonomer kraftigt underskattade risken för en omfattande finanskris, innan 2006.
Det var väl inte så många mainstream-ekonomer som arbetade med att uppskatta risker för finanskris.
Jag förstår inte relevansen i det argumentet. Rubriken handlar om huruvida ekonomer är mer pålitliga än andra. Olika delar av den ekonomiska vetenskapen hänger ihop. En större pålitlighet och realism när det gäller att förklara människors beteenden på mikronivå borde väl också ge större pålitlighet och realism när det gäller att förklara makroekonomi.
Jag tycker att den kommentaren har utmærkt relevans Rodney (dock smått osæker på definitionen av mainstream ekonomer). Væljer att tolka det som att dom flesta “vanliga” ekonomer (mainstreamekonomer) jobbar i vanliga føretag/myndigheter och inte sysslar med att analysera risker før globala/nationala finanskriser.
“Det är ju allmänt känt att de flesta mainstream-ekonomer kraftigt underskattade risken för en omfattande finanskris, innan 2006”. Om dom flesta mainstreamekonomer då inte arbetar med att analysera finanskriser så ær det ju snarare det ovan citerade argumentet som saknar relevans.
“Det är ju allmänt känt att de flesta mainstream-ekonomer kraftigt underskattade risken för en omfattande finanskris, innan 2006” Två frågor på detta påstående: 1) Finns det bedömningar av sannolikheten (och konsekvenser) av mainstream-ekonomer för finanskrisen samlat någonstans? 2) Hur skiljer sig denna sannolikhet från den verkliga sannolikheten (och konsekvenser) för finanskrisen? Du borde väl (?) kunna svara på dessa två frågor om du påstår att det är allmänt känt att mainstream ekonomer kraftigt underskattade risken?
Om utsagan ” Det är ju allmänt känt att de flesta mainstream-ekonomer kraftigt underskattade risken för en omfattande finanskris, innan 2006”, skall ha något att säga om ekonomers pålitlighet måste den ju vara sann. Min poäng var helt enkelt att de flesta mainstream-ekonomer (så långt jag vet) inte gjort några prognoser kring risken för finanskriser. I övrigt håller jag med LarsN.
1. Ekonomer i stort gjorde antaligen ungefär samma bedömningar som ledande ekonomer inom fältet på ledande positioner, dvs endast en majoritet som inte såg stora risker med en djup finanskris (tex Greenspan 2005 – efter krisen menade Greenspan att han hade fel och att det berodde på en underskattning av finansmarknadernas självregerande förmåga). Man kan tex följa surveys från WSJ av ekonomer (http://www.wsj.com/articles/SB119990867859778525); i jan 2008 predicerade 3 av 55 ekonomer att USA skulle hamna i recession under 2008 (USA var i recession sedan dec 2007). Se även Krugmans analys i http://www.nytimes.com/2009/09/06/magazine/06Economic-t.html?_r=0 och http://www.heterodoxnews.com/htnf/htn85/No%20one%20saw%20this%20coming.pdf som listar ekonomer som varnade för riskerna. 2. Vad är verklig sannolikhet?
För en studie som för övrigt menar att replikerbarheten i framstående ekonomiska tidskrifter är dålig, se http://www.federalreserve.gov/econresdata/feds/2015/files/2015083pap.pdf
För att kunna belägga att mainstream ekonomer i allmänhet underskattade sannolikheten (och konsekvenserna) för finanskrisen så måste du presentera vad sannolikheten (och konsekvenserna) för finanskrisen var? Hur ska du annars kunna påstå att man underskattade den? Var den 1 på 10? 1 på 100, 1 på 10000? 1 på 100000? Och vad var konsekvensen? Jag har ingen aning om sannolikheten (och konsekvensen) för finanskrisen och skulle därför aldrig påstå att någon under- eller överskattade risken.
Jag tror att man kan hävda att en person som gick ut på farlig is, och sedan föll i ett vak, underskattade sannolikheten för att isen ska brista, utan att för den skull behöva ange exakta sannolikheter. Vi gör hela tiden oexakta riskbedömningar som ibland är bra, ibland är överskattningar, ibland är underskattningar. Sedan kan det finnas implicita sannolikheter som ligger bakom, som det säkert finns ekonomer som är duktiga på att deducera fram. Jag tror inte att du inte har någon aning om sannolikhet för finanskrisen. Inte ens du tror väl att den var 1 på 100000? Med din logik driven till sin spets kan man inte säga om människor överhuvudtaget begår några misstag (och då går det väl inte säga att jag har fel heller…).
Man kan absolut påstå att människor begår misstag. Problemet med finanskrisen är att det är en händelse som inte sker så ofta och orsakerna till att den skedde tvistar de lärde fortfarande om (Makroekonomerna är väl sällan eniga?) Av de anledningarna skulle jag tro att det är väldigt svårt att bedöma sannolikheten för finanskrisen. Att då så kategoriskt hävda att det är ”allmänt känt att mainstream ekonomer underskattade risken” är problematiskt om du inte presenterar mer övertygande belägg.
På tal om personer som går ut på en farlig is. Ett bättre exempel är väl de flyktingar som försöker ta sig över medelhavet när de flyr från hemskheter. Underskattar de sannolikheten att båten ska kapsejsa? Jag vet inte. Men vi vet att många personer som drunknat och jag kan tänka mig att många fortfarande är villiga att ta en väldigt hög risk för att komma till Europa
Mer från Andrew Gelman om psykologireplikationerna:
http://andrewgelman.com/2016/03/05/29195/
Intressant inlägg! Jag försökte få tag i studien i Science, men lyckades inte utan att prenumerera på tidskriften. Min uppfattning är att om frågan som är rubriken ska behandlas korrekt, så är det nog bättre att börja i en annan ände än att jämföra den statistiska reproducerbarheten mellan de två disciplinerna (nationalekonomi och psykologi). Hur pålitlig utövarna inom en disciplin är beror snarare på hur utövarna förhåller sig till data, den eventuella statistiska analysen och metodologiska verktyg, än hur säkra de slutsatser som dras är med hänsyn till någon objektiv verklighet. Dessutom är det ju inte alls klarlagt att statistik, främst klassisk statistik, är den bästa vägen till de rätta slutsatserna (problemen med statistik är nämligen många, se http://plato.stanford.edu/entries/statistics/). Vidare behöver en grov undersökning av pålitligheten mellan ekonomer och psykologer med avseende på statistisk reproducerbarhet ha i åtagande kvalitén i data och vilka metoder som kommit till användning. Nog var det inte författarens avsikt att behandla rubrikens fråga filosofiskt, men om vi diskuterar statistiken är inte då ett stickprov om 18 studier (i nationalekonomi) väsentligt mindre än 100 studier (i psykologi)? Mer behöver sägas här känner jag.
De här två studierna innebär naturligtvis ett för litet underlag för att dra tillförlitliga slutsatser om frågan som ställs i rubriken (en fråga som dessutom kan preciserar olika sätt). Jag föll för frestelsen att välja en tillspetsad rubrik, vilket jag kanske borde avhållit mig ifrån. 😉
Godtaget! 🙂 Jag är inte insatt i ämnet, men hur stort upplever du att kravet på faktisk reproducerbarhet är gällande statistiska slutsatser i nationalekonomin? Vad är nyttan med dessa studier? Vad säger man när man inte kan reproducera ett resultat en gång? Möjligheten finns att man kan reproducera det 20 gånger därefter.
Många mikroekonomer verkar vilja framställa sig som fundamentister i och med deras deduktioner från axiom om rationalitet, men snarare ser jag dem som koherentister och just därför verkar många nationalekonomer godta vissa resultat fastän de inte kunde stärkas vid en replikering eftersom de tror att deras resultat hänger samman med andra nationalekonomiska teorier, och att detta är en styrka i sig. (Vissa verkar förespråka något som ligger nära koherentism, t.ex. Robert J. Shiller, se https://www.aeaweb.org/aea/2011conference/program/retrieve.php?pdfid=490.)
Det huvudsakliga problemen inom samhällsvetenskapen handlar väll inte om bristande replikationsmöjligheter av experiment (även om det naturligtvis är ovanligt olyckligt när inte de går att reproducera), utan istället att det helt saknas en replikationskultur av mer observationella studier (i synnerhet när dessa använder sig av en avancerad kausal identifieringsstrategi som är svårare att bedöma och utvärdera enbart med hjälp av redovisade deskriptiva data). I vissa fall är det naturligtvis svårt att replikera observationella studier (som när man använder sig av all historik på landsnivå för OECD-länder), men för nästan all frågeställningar så skulle oberoende replikation av mer observationell forskning ge ett ännu större bidrag till en höjning av kvaliteten av samhällsvetenskaplig forskning.
Slå upp “replikera” i SAOL. Tror ordet du egentligen söker är “bekräfta”.
Ta inte kritiken personligt. Jag noterar att de flesta som skriver för ekonimistas har ett dåligt språk, så du är i gott sällskap.
http://voxeu.org/article/economist-self-checkout