I en väldigt läsvärd artikel av Angus Deaton formuleras en svidande kritik mot övertron på vilka generella insikter som kan genereras genom “randomisering”. Sannolikt måste man vara, typ, Angus Deaton både för att kunna och våga formulera sig som han gör givet hur samstämmiga alla tycks vara kring randomiseringens förträfflighet jämfört med alla andra tänkbara ansatser. På ekonomistas har vi skrivit hur många inlägg som helst om resultat från sådana studier, (t ex här, här, här, här, här, här, och här, och det finns många till). Man kan till och med säga att det nästan är svårt att hitta välpublicerade akademiska studier om utvärdering av bistånd eller annan policy som inte använder sig av experiment i någon form (konstruerade eller “naturliga”).
Huvudpoängen med randomisering är enkel. Vi vill veta svaret på den kontrafaktiska frågan: “Vad skulle hända med en person eller grupp om de verkade under andra omständigheter än de som nu råder?” (t ex; skulle barn lära sig mer i skolan om lärartätheten var större?). Problemet är att vi inte kan observera samma personer både med och utan en viss policy samtidigt (vi kan inte observera samma barn samtidigt med hög respektive låg lärartäthet). Alternativet att jämföra mellan grupper (t ex skolor med fler lärare och skolor med färre lärare) är att det kan finnas andra skillnader mellan dem (eleverna i skolor med hög lärartäthet kan vara systematiskt annorlunda än dem i skolor med låg lärartäthet) och att det är dessa skillnader, inte policyn (lärartätheten), som förklarar eventuella skillnader i utfall. Huvudpoängen med vanlig regressionsanalys kan sägas vara att försöka kontrollera just för sådana skillnader genom att inkludera variabler som fångar just sådana andra skillnader. Det finns dock en rad problem med detta och även om man kan lösa många av dessa så finns alltid problemet med “icke-observerbar heterogenitet”. Genom att slumpmässigt implementera en policy för vissa (slumpmässigt höja lärartätheten i hälften av skolorna) kan vi försäkra oss om att den förväntade skillnaden mellan grupperna i alla avseenden, utom policyn självt, är noll (utöver lärartäthet så är skolorna och dess elever i snitt exakt lika). Detta gör i sin tur att vi kan säga att förändringar i genomsnittliga utfall mellan grupperna måste ha orsakats av policyn (eftersom vi genom randomiseringen försäkrat oss om att inget annat skiljer grupperna åt innan policyn införs).
I många situationer och för många frågeställningar detta en fantastisk ansats. Om frågan i en utvärderingssituation är: Har en viss policyförändring orsakat ett visst utfall? så är detta sätt att tänka oslagbart. Det tycker nog även Angus Deaton. Han är däremot kritisk mot en rad saker. Jag kan inte göra alla hans argument och invändningar rättvisa (läs hans artikel!) men följande saker uppfattar jag som centrala:
1) Experiment sker alltid i en viss kontext. Om man inte förstår kontextens roll för resultaten så får man problem med resultatens generaliserbarhet, d v s deras “externa validitet”. (Denna poäng illustreras i ett tidigare inlägg av Jonas där det konstateras att nivågruppering verkar ha fungerat i Kenya men det betyder inte att det skulle funka i Sverige).
2) Alltför mycket fokus ligger på att förstå om någonting fungerar och alltför lite på varför det fungerar. Han anser att experimenterandet för att vara till verklig nytta måste kombineras med teori där mekanismer preciseras (något som tidigare poängterats av t ex Heckman och Smith, 1995)
3) Slutligen finns problemet att “experimentvurmen” leder till att bara frågor som kan studeras med denna ansats anses vara “riktiga forskningsfrågor”. I många fall vore det nog bra om tågordningen var 1)”är detta en viktig fråga?”; 2) “hur studerar vi den på bästa sätt?” (om med experiment så toppen), istället för 1) “finns det ett experiment eller någon sorts randomisering här?” 2a) om “ja”, kör (oavsett vad saken gäller) 2b) om “nej”, sök vidare efter en situation där det finns det”. Trots sina förtjänster så är inte experimenterande det enda sättet att studera samhället och framförallt så intar inte experiment någon särställning som det “bästa sättet” att studera viktiga frågor. (Han hänvisar här framförallt till Nancy Cartwrights arbeten som (åtminstone delvis) kan läsas på hennes hemsida här).
Men är ändå inte Deaton överdrivet kritisk? Jo, möjligen, men givet maktbalansen inom professionen tycker jag att han kan få vara det. Dessutom tar han upp viktiga frågor som det inte skadar att diskutera mer.
Ps. En annan bra artikel på ämnet är Dani Rodrik’s “We shall experiment, but how should we learn“
Ekonomistas 
Äntligen! Jag har gått och väntat ett par år på att någon äntligen ska ryta till mot experiment-hysterin. Kausal identifikation är förstås jätteviktig, men det är inte allt. Framförallt tycker jag den tredje punkten är viktig — just nu tillåts nationalekonomer helt enkelt inte att studera en hel del riktigt viktiga frågor eftersom den kausala identifikationen är svår eller omöjlig.
Samma typ av kritik/pros-and cons av RE-ansatsen diskuteras ingående i “What Works in Development. Thinking Big and Thinking Small” med Jessica Cohen och William Easterly som redaktörer (Brookings; 2009). Läsvärt och lärorikt för oss “policymakers” som famlar efter vägledning.
Tack för tipset Lisa. Jag har inte sett publikationen du nämner men ska med stort intresse kolla upp detta. I den svenska kontexten tycker jag nog att det på många håll fortfarande skulle finnas utrymme för mer av experimenterande. Speciellt i utvärderingssituationer är ansatsen mycket användbar (och överlägsen för vissa frågeställningar), men det ska inte gå så långt som till att betrakta allt annat som dåligt. Förhoppningsvis kan svenska “policymakers” hitta en bra balans av att både inse fördelar med randomisering men samtidigt komplettera detta med annat…
Håller med om en del. Medan det finns många discipliner som skulle behöva fundera mycket mer på kausal identifikation (socialmedicin/epidemiologi) har det kommit långt (för långt?) inom andra discipliner.
Men jag vill ändå principiellt invända mot:
“2) Alltför mycket fokus ligger på att förstå om någonting fungerar och alltför lite på varför det fungerar. Han anser att experimenterandet för att vara till verklig nytta måste kombineras med teori där mekanismer preciseras (något som tidigare poängterats av t ex Heckman och Smith, 1995)”
För att vara till verklig nytta? Ja, det sa man till Semmelweis också. Varför ska läkare tvätta händerna? Det dog rätt många människor för att man saknade “teorin” till varför experimenten med att tvätta händerna verkade fungera så bra.
Nu är det kanske ett undantag, men det är inte korrekt att “verklig nytta” av experimenterande endast finns om man också förstår varför något fungerar. Kanske i Heckmans teoretiska värld, men inte i den riktiga världen.
KM: jag håller till viss del med dig. Om något gång efter annan visar sig fungera så finns det all anledning att använda sig av denna kunskap (för, jo det är kunskap även om man inte vet varför det fungerar). På samma sätt skulle man mycket väl kunna använda sig av eventuella insikter av t ex upprepade (eller för den delen enstaka) experiment som pekar i någon viss riktning. Deatons kritik är dock (som jag läser det) att stor vikt läggs vid att identifiera effekten i ett enskilt experiment och att säkerställandet av denna “interna validitet” är viktigare än i vilken mån man tror att det fungerar generellt. Samtidigt kan man fnysa åt rader av indikationer som pekar i någon viss riktning men där dessa inte kommer ifrån studier där identifikationen är lika klar som i ett experiment. Han menar helt enkelt att man måste se till helheten av vad olika studier visar och på så sätt skulle han nog vara helt inne på att försvara Semmelweis snarare än att förespråka “det enda sättet” att komma framåt.
…och, ja, jag tycker definitivt att det på många håll fortfarande finns stora brister kring hur man funderar kring kausalitet.
Jag tror att en central aspekt av att precisera mekanismer överblickas här, enkelt uttryckt att formuleringen av en teori måste ske före den prövas för att kunna falsifieras. Om man som nationalekonom sätter sig ned med sina data tillräckligt länge så kommer man alltid att kunna hitta samband bland dessa, och om man sedan antar ett av dessa samband som sin hypotes så kommer givetvis inte undersökningen i fråga kunna förkasta den.
För att knyta an till exemplet som nämndes så kan det tänkas att marginaleffekten av lärartäthet är avtagande, vilket bör formuleras hypotesen innan prövning sker. Vidare är det tänkbart att effekten av lärartäthet varierar med elevernas ålder och således bör även detta formuleras i hypotesen innan prövning sker. Om man inte specificerar dessa mekanismer innan prövning sker utan istället går på experimentets utfall så är den icke falsifierbara hypotesen ett faktum och det man åstadkommit ljusår ifrån vetenskapligt.
Om man överhuvudtaget inte tar i beaktande att det kan finnas faktorer som påverkar huruvida lärartäthet ger en effekt på elevers inlärning så går som sagt generaliserbarheten förlorad och det man besvarat är huruvida “dessa elever, på dessa skolor” påverkas av en högra lärartäthet. En insikt som i sig kan vara värdefull, men som absolut inte får tas för generell.
Intressanta frågor, långt utanför mitt eget kompetensområde.
Jag har dock ofta undrat över varför man använder ordet kausalitet i samhällsvetenskaper, eller i vart fall över vad man menar det. ”Samband” är lite lättare att ta till sig.
Brottslighet beror säkerligen på flera saker, arv, miljö, tillfälle, förbrytarens situation vid brottstillfället med mera. Men orsakas brott av detta? Hela rättsväsendet bygger på tanken att vi även har ett fritt val och ansvar för det. Om någon gör inbrott i ens bostad vill man gärna tro att personen i fråga hade kunnat välja att avstå. Min fråga är alltså om man kan tala om kausalitet om man även tror på människans fria vilja.
Nu kan man förstås invända att på aggregerad nivå jämnar saker och ting ut sig. Givet att man höjer en skatt på en vara och konsumtionen minskar kan man säga att det finns ett kausalt samband mellan skatten och konsumtionsminskningen. Å andra sidan säger man ofta att nationalekonomin präglas av metodologisk individualism.
Finns det inte ett slags induktionsproblem här också? Låt säga att vi observerar att en skattehöjning inte påverkar valbeteendet så länge skatteökningen är mindre än BNP-ökningen. Hur många gånger skall vi observera det för att kunna hävda att det finns ett kausalt samband? När vet vi att det inte simmar förbi en svart svan? Kan man prata om kausalitet om man är öppen för att sambandet försvinner?
Det har säkert skrivits mycket om detta, någon som vet bättre än jag?
En i mitt tycke väldigt läsvärd bok på området kausalitet
är Kevin Hoovers “Causality in Macroeconomics” (CUP 2001).
Just kopplingen kausalitet – experiment tas upp till intressant diskussion i Nancy Cartwrights “Hunting Causes and Using Them”
(CUP 2007, kap 12). Tuff läsning förvisso, men värd mödan!