I en väldigt läsvärd artikel av Angus Deaton formuleras en svidande kritik mot övertron på vilka generella insikter som kan genereras genom ”randomisering”. Sannolikt måste man vara, typ, Angus Deaton både för att kunna och våga formulera sig som han gör givet hur samstämmiga alla tycks vara kring randomiseringens förträfflighet jämfört med alla andra tänkbara ansatser. På ekonomistas har vi skrivit hur många inlägg som helst om resultat från sådana studier, (t ex här, här, här, här, här, här, och här, och det finns många till). Man kan till och med säga att det nästan är svårt att hitta välpublicerade akademiska studier om utvärdering av bistånd eller annan policy som inte använder sig av experiment i någon form (konstruerade eller ”naturliga”).

Huvudpoängen med randomisering är enkel. Vi vill veta svaret på den kontrafaktiska frågan: ”Vad skulle hända med en person eller grupp om de verkade under andra omständigheter än de som nu råder?” (t ex; skulle barn lära sig mer i skolan om lärartätheten var större?). Problemet är att vi inte kan observera samma personer både med och utan en viss policy samtidigt (vi kan inte observera samma barn samtidigt med hög respektive låg lärartäthet). Alternativet att jämföra mellan grupper (t ex skolor med fler lärare och skolor med färre lärare) är att det kan finnas andra skillnader mellan dem (eleverna i skolor med hög lärartäthet kan vara systematiskt annorlunda än dem i skolor med låg lärartäthet) och att det är dessa skillnader, inte policyn (lärartätheten), som förklarar eventuella skillnader i utfall. Huvudpoängen med vanlig regressionsanalys kan sägas vara att försöka kontrollera just för sådana skillnader genom att inkludera variabler som fångar just sådana andra skillnader. Det finns dock en rad problem med detta och även om man kan lösa många av dessa så finns alltid problemet med ”icke-observerbar heterogenitet”. Genom att slumpmässigt implementera en policy för vissa (slumpmässigt höja lärartätheten i hälften av skolorna) kan vi försäkra oss om att den förväntade skillnaden mellan grupperna i alla avseenden, utom policyn självt, är noll (utöver lärartäthet så är skolorna och dess elever i snitt exakt lika). Detta gör i sin tur att vi kan säga att förändringar i genomsnittliga utfall mellan grupperna måste ha orsakats av policyn (eftersom vi genom randomiseringen försäkrat oss om att inget annat skiljer grupperna åt innan policyn införs).

I många situationer och för många frågeställningar detta en fantastisk ansats. Om frågan i en utvärderingssituation är: Har en viss policyförändring orsakat ett visst utfall? så är detta sätt att tänka oslagbart. Det tycker nog även Angus Deaton. Han är däremot kritisk mot en rad saker. Jag kan inte göra alla hans argument och invändningar rättvisa (läs hans artikel!) men följande saker uppfattar jag som centrala:

1) Experiment sker alltid i en viss kontext. Om man inte förstår kontextens roll för resultaten så får man problem med resultatens generaliserbarhet, d v s deras ”externa validitet”. (Denna poäng illustreras i ett tidigare inlägg av Jonas där det konstateras att nivågruppering verkar ha fungerat i Kenya men det betyder inte att det skulle funka i Sverige).

2) Alltför mycket fokus ligger på att förstå om någonting fungerar och alltför lite på varför det fungerar. Han anser att experimenterandet för att vara till verklig nytta måste kombineras med teori där mekanismer preciseras (något som tidigare poängterats av t ex Heckman och Smith, 1995)

3) Slutligen finns problemet att ”experimentvurmen” leder till att bara frågor som kan studeras med denna ansats anses vara ”riktiga forskningsfrågor”. I många fall vore det nog bra om tågordningen var 1)”är detta en viktig fråga?”; 2) ”hur studerar vi den på bästa sätt?” (om med experiment så toppen), istället för 1) ”finns det ett experiment eller någon sorts randomisering här?” 2a) om ”ja”, kör (oavsett vad saken gäller) 2b) om ”nej”, sök vidare efter en situation där det finns det”. Trots sina förtjänster så är inte experimenterande det enda sättet att studera samhället och framförallt så intar inte experiment någon särställning som det ”bästa sättet” att studera viktiga frågor. (Han hänvisar här framförallt till Nancy Cartwrights arbeten som (åtminstone delvis) kan läsas på hennes hemsida här).

Men är ändå inte Deaton överdrivet kritisk? Jo, möjligen, men givet maktbalansen inom professionen tycker jag att han kan få vara det. Dessutom tar han upp viktiga frågor som det inte skadar att diskutera mer.

Ps. En annan bra artikel på ämnet är Dani Rodrik’s ”We shall experiment, but how should we learn”

Jag är för närvarande föräldraledig vilket tyvärr har inneburit färre inlägg på Ekonomistas, men också tillfälle att med hjälp av min ”metodologiske mentor” Fredrik Hansen reflektera över vad vi nationalekonomer egentligen håller på med. En bra utgångspunkt för sådana funderingar är Milton Friedmans essä ”The Methodology of Positive Economics” från 1953 (F53 som metodologerna kallar den). Däremot är det förmodligen skadligt om ens enda metodologiska skolning består i att läsa denna artikel, vilket jag tyvärr tror är fallet bland många nationalekonomer.

F53 skrevs som ett försvar för neoklassisk nationalekonomisk teori som redan då kritiserats för att vara alltför abstrakt och orealistisk. Det är lätt att dra en parallell till Faruk Gul och Wolfgang Pesendorfers ”The Case for Mindless Economics” som var ett mycket märkligt nutida försök att ”försvara standardteorin” genom att hävda att neuroekonomisk och beteendeekonomisk data inte är relevant för nationalekonomi. (Debatten som denna uppsats gav upphov till finns i en bok som kom ut förra året, men jag tror faktiskt att hela den debatten bör förpassas till den intellektuell kyrkogården.)

Friedman försöker hursomhelst ta udden av sin tids kritik av nationalekonomin genom att bland annat hävda att det inte spelar någon roll hur orealistiska modellantaganden är och att teorier skall bedömas efter de prediktioner som de genererar. Till exempel kanske en väldigt komplicerad matematisk optimeringsmodell på ett bra sätt kan förutsäga hur en professionell biljardspelare stöter en biljardkula, trots att biljardspelaren inte löser de komplicerade matematiska uttryck som ingår i modellen. Modellen kan alltså beskriva vad biljardspelaren gör som om (”as if”) han löste en komplicerad matematisk optimeringsmodell.

F53 för alltså fram en strikt instrumentalistisk syn på vetenskap. Modeller har vi bara för att generera prediktioner. En betydligt vanligare ståndpunkt — och i min mening betydligt vettigare — är att vi också har teorier för att förklara världen. Det är inte bara intressant att generera prediktioner, vi vill också förstå de bakomliggande orsakssambanden. Med denna syn är modellen om biljardspelaren inte godtagbar om den inte också kompletteras med en kausal mekanism som förklarar hur biljardspelaren kan bete sig som modellen. I exemplet med biljardspelaren är det rimligt att tänka sig biljardspelaren lärt sig spela optimalt genom upprepade försök och misstag. Utifrån detta perspektiv är mycket ekonomisk teori undermålig, vilket jag skrivit om tidigare. Till exempel har många modeller som bygger på så kallade rationella förväntningar (eller modellkonsistenta förväntningar) detta problem. (Det i min mening minst dåliga generella försvaret för rationella förväntningar om man övergivit F53:s instrumentalism är att det är svårt att veta vad man annars skulle anta.)

Det är många efter F53 som betonat just betydelsen av förklaringar i bemärkelsen kausala mekanismer. Bland annat har min intellektuelle idol Jon Elster framhållit detta i boken Explaining Social Behavior och i den läsvärda, men lite väl skeptiska, artikeln ”Excessive Ambitions”.

Friedman nämner inte något om kausala mekanismer i F53, men jag skulle misstänka att det finns anhängare som läser in detta i F53. En av de verkliga auktoriteterna när det gäller F53 är Uskali Mäki som har ägnat en stor del av sin forskarkarriär åt F53. I en nyutkommen bok om F53 skriver han i första kapitlet att F53 har ett väldigt rikt innehåll och föregriper många senare idéer inom vetenskapsteori, men också att den är ”obskyr, motsägelsefull och inkonsistent”. F53 innehåller enligt honom ”en samling motsägelsefulla och inkonsistenta ingredienser som kan fogas samman till en mängd olika metodologiska positioner”. För att demonstrera detta visar han i bokens tredje kapitel att det (nästan) går att läsa in en realistisk syn på vetenskap i F53.

Med tanke på hur vag och motsägelsefull F53 är och hur mycket dålig forskning den har legitimerat tycker jag helt enkelt börjar bli dags att sluta tjafsa om vad som står eller inte står i F53. En betydligt bättre utgångspunkt för fortsatta metodologiska diskussioner är Robert Sugdens utmärkta artikel ”Credible Worlds: The Status of Theoretical Models in Economics”. Sugden avfärdar F53:s instrumentalism, men också en naivt realistisk syn om att teorier är förenklingar av verkligheten.

Enligt Sugden bör nationalekonomiska teoretiska modeller ses som kontrafaktiska världar. De är snarare att betrakta som parallella universum än som abstraktioner av verkligheten. För att dessa parallella världar ska säga oss något om verkligheten måste vi ställa oss frågan om modellvärlden hade kunnat vara sann, d.v.s. om den är trovärdig i bemärkelsen att modellen belyser en mekanism som vi har goda skäl också kan vara verksam i verkligheten. Språnget från modellvärld till verklighet kräver att vi gör en induktiv inferens på samma sätt som när vi drar slutsatsen att ett fenomen som förekommer på ett par platser också  förekommer på andra liknande platser. Det kritiska här är alltså bedömningen av ”liknande” och om inferensen därmed är trovärdig. Sugden liknar detta vid hur vi bedömer trovärdigheten i filmer och romaner. Vi vet att det som händer i filmer och romaner inte är på riktigt, men vi vill ändå ofta att de ska vara realistiska, d.v.s. att det som skildras skulle kunna ha hänt i verkligheten.

Tyvärr är det inte lätt att sätta upp strikta kriterier för att bedöma en modells trovärdighet. Forskare från olika discipliner skulle säkerligen bedöma samma modells trovärdighet på olika vis, men det är kanske så det måste i vara inom samhällsvetenskaperna eftersom entydiga empiriska slutsatser ofta är svåra att dra.

Ett av Sugdens två exempel är Schellings modell för segregation som jag skrev om förra veckan. Schellings modell har inga tydliga testbara prediktioner och är samtidigt väldigt abstrakt och ”orealistisk”. Sugden menar att Schellings modell bör ses som en tänkbar värld som illustrerar en kausal mekanism — hur en svag preferens för att inte vara i liten minoritet leder till segregation — som skulle kunna operera i verkligheten. På samma sätt som vi induktivt sluter oss till att segregation förekommer i en storstad baserat på vår erfarenheter från andra storstäder, kan vi försöka sluta oss till vad som orsakar segregation i verkligheten utifrån modellen.

Hurpass trovärdig är då Sugdens modell för nationalekonomisk teoribildning? Innan du bestämmer dig om den saken rekommenderar jag starkt en genomläsning av Sugdens artikel. Det är nämligen inte lätt att göra Sugdens välskrivna och djupsinniga artikel rättvisa i ett blogginlägg som det här.