Få saker kan få det att vattnas i munnen på en empiriker som ett fullskaligt experiment ute i verkligheten. Med slumpmässigt skapade kontrollgrupper kan de exakta orsakssambanden redas ut och frågor verkligen besvaras.
Så tror många, inte minst av oss nationalekonomer. Och så trodde även polisen i Minnesota. För att utreda vilken metod som fungerade bäst vid anmälningar om bråk i hemmet slumpades polisernas handlingsmönster ut. I vissa fall skulle de båda kontrahenterna får råd och stöd av polisen, i andra fall skulle de skiljas åt, och i en del fall skulle den misstänkte (nästan alltid mannen) arresteras. Uppföljningen visade att den tredje strategin – obligatorisk arrestering av den misstänkte – ledde till en betydligt lugnare hemmiljö framöver.
Saken avgjord och delstat efter delstat anammade obligatorisk anhållning vid denna typ av anmälningar. Med konsekvensen att antalet mord mellan nära anhöriga ökade med sextio procent…
Vad som gick fel? Jo, när det blev allmänt känt att den misshandlande mannen skulle arresteras om polisen kontaktades drog sig kvinnan helt enkelt för att anmäla. Med ödesdigra följder för just dem man försökte skydda.
Experiment i all ära, men lite teori skadar aldrig som komplement.
Ekonomistas 
Att dra slutsatser utanför studiepopulation är inte bara ett problem för experimentstudier utan för all empirisk forskning. Problemet med samhällsvetenskap är att verkligheten är så komplex att vi tvingas studera begränsade frågeställningar och partiella effekter (dvs direkta effekter). Detta gäller oavsett om man utnyttjar ett experiment eller någon annan metod för att studera orsak-verkan. Dr Vlachos exempel är tankeväckande, men slutsatsen är inte att ekonomer ska ägna sig åt mindre empirisk forskning, såsom ju Dr Vlachos föreslår. Snarare är sensmoralen att man måste vara försiktig när man drar slutsatser utifrån partiella effekter, och fundera vad resultaten har för extern validitet. Här kan ekonomisk teori vara till hjälp.
Korrekt, men vad jag även säger är att själva experimentsituationen i sig kan förvärra problemen med extern validitet, samtidigt som naturligtvis problemen med intern validitet är mindre.
Tragiskt förstås, men jag har svårt att se hur teori hade hjälpt i det här fallet. Givetvis kan slutsatser som dras utifrån experiment bli fel (d v s var försiktig), det är dock inget argument för att vi inte behöver fler experiment (att det finns en kostnad som du poängterar är klart, men relevant är att jämföra med fördelen).
Historiskt har det ju som regel varit tvärtom, många experiment eller observationer om samband har ignorerats eftersom en teori har saknats (tänk bara hur många som har dött eftersom sjukvårdspersonal inte tvättat händerna, trots att experiment visade faran med detta så skrattade man enbart åt det då en “teori” saknades vid den tiden). I t ex nationalekonomi har väl statusen att göra “teori” (många verkar i nek likställa matematisk modell med teori, vilket är lite knepigt förstås, men strunt i det nu) blivit allt lägre under en längre period nu. Det är alldeles utmärkt, för relevansen i ämnet tycker jag .
d v s även om man hade kunnat formulera en hypotes som hade predikterat detta…så, tja, likaså hade man kunnat fundera ut andra rimliga och konkurrerande hypoteser. Utan att testa så…
Gäller rådet experimentera mindre i alla sammanhang: även inom medicinsk forskning, eller bara inom samhällsvetenskap? Beteendeförändringar finns ju även på hälsoområdet, exempelvis har Goldman et al. funnit att tillgången till effektiva HIV-läkemedel ökar HIV-incidensen (http://www.nber.org/papers/w10516).
Dr Grönqvist borde lära sig läsa innantill. “Experimentera lagom” var rådet, inte experimentera mindre. Poängen är att experimentsituationen kan förvärra den externa validiteten och – vilket inte metoden ska lastas för – att resultaten lätt övvertolkas. ar man lagt en förmögenhet på ett fullskaligt experiment är det väldigt svårt att därefter säga “äh, de där resultaten är svåra att använda pga A, B och C”.