I en väldigt läsvärd artikel av Angus Deaton formuleras en svidande kritik mot övertron på vilka generella insikter som kan genereras genom ”randomisering”. Sannolikt måste man vara, typ, Angus Deaton både för att kunna och våga formulera sig som han gör givet hur samstämmiga alla tycks vara kring randomiseringens förträfflighet jämfört med alla andra tänkbara ansatser. På ekonomistas har vi skrivit hur många inlägg som helst om resultat från sådana studier, (t ex här, här, här, här, här, här, och här, och det finns många till). Man kan till och med säga att det nästan är svårt att hitta välpublicerade akademiska studier om utvärdering av bistånd eller annan policy som inte använder sig av experiment i någon form (konstruerade eller ”naturliga”).

Huvudpoängen med randomisering är enkel. Vi vill veta svaret på den kontrafaktiska frågan: ”Vad skulle hända med en person eller grupp om de verkade under andra omständigheter än de som nu råder?” (t ex; skulle barn lära sig mer i skolan om lärartätheten var större?). Problemet är att vi inte kan observera samma personer både med och utan en viss policy samtidigt (vi kan inte observera samma barn samtidigt med hög respektive låg lärartäthet). Alternativet att jämföra mellan grupper (t ex skolor med fler lärare och skolor med färre lärare) är att det kan finnas andra skillnader mellan dem (eleverna i skolor med hög lärartäthet kan vara systematiskt annorlunda än dem i skolor med låg lärartäthet) och att det är dessa skillnader, inte policyn (lärartätheten), som förklarar eventuella skillnader i utfall. Huvudpoängen med vanlig regressionsanalys kan sägas vara att försöka kontrollera just för sådana skillnader genom att inkludera variabler som fångar just sådana andra skillnader. Det finns dock en rad problem med detta och även om man kan lösa många av dessa så finns alltid problemet med ”icke-observerbar heterogenitet”. Genom att slumpmässigt implementera en policy för vissa (slumpmässigt höja lärartätheten i hälften av skolorna) kan vi försäkra oss om att den förväntade skillnaden mellan grupperna i alla avseenden, utom policyn självt, är noll (utöver lärartäthet så är skolorna och dess elever i snitt exakt lika). Detta gör i sin tur att vi kan säga att förändringar i genomsnittliga utfall mellan grupperna måste ha orsakats av policyn (eftersom vi genom randomiseringen försäkrat oss om att inget annat skiljer grupperna åt innan policyn införs).

I många situationer och för många frågeställningar detta en fantastisk ansats. Om frågan i en utvärderingssituation är: Har en viss policyförändring orsakat ett visst utfall? så är detta sätt att tänka oslagbart. Det tycker nog även Angus Deaton. Han är däremot kritisk mot en rad saker. Jag kan inte göra alla hans argument och invändningar rättvisa (läs hans artikel!) men följande saker uppfattar jag som centrala:

1) Experiment sker alltid i en viss kontext. Om man inte förstår kontextens roll för resultaten så får man problem med resultatens generaliserbarhet, d v s deras ”externa validitet”. (Denna poäng illustreras i ett tidigare inlägg av Jonas där det konstateras att nivågruppering verkar ha fungerat i Kenya men det betyder inte att det skulle funka i Sverige).

2) Alltför mycket fokus ligger på att förstå om någonting fungerar och alltför lite på varför det fungerar. Han anser att experimenterandet för att vara till verklig nytta måste kombineras med teori där mekanismer preciseras (något som tidigare poängterats av t ex Heckman och Smith, 1995)

3) Slutligen finns problemet att ”experimentvurmen” leder till att bara frågor som kan studeras med denna ansats anses vara ”riktiga forskningsfrågor”. I många fall vore det nog bra om tågordningen var 1)”är detta en viktig fråga?”; 2) ”hur studerar vi den på bästa sätt?” (om med experiment så toppen), istället för 1) ”finns det ett experiment eller någon sorts randomisering här?” 2a) om ”ja”, kör (oavsett vad saken gäller) 2b) om ”nej”, sök vidare efter en situation där det finns det”. Trots sina förtjänster så är inte experimenterande det enda sättet att studera samhället och framförallt så intar inte experiment någon särställning som det ”bästa sättet” att studera viktiga frågor. (Han hänvisar här framförallt till Nancy Cartwrights arbeten som (åtminstone delvis) kan läsas på hennes hemsida här).

Men är ändå inte Deaton överdrivet kritisk? Jo, möjligen, men givet maktbalansen inom professionen tycker jag att han kan få vara det. Dessutom tar han upp viktiga frågor som det inte skadar att diskutera mer.

Ps. En annan bra artikel på ämnet är Dani Rodrik’s ”We shall experiment, but how should we learn”