I förra veckan var Charles Noussair, experimentell ekonom vid Tilburgs universitet, på besök i Stockholm. Han presenterade en uppsats här på IIES där han på experimentell väg försöker testa modern makroekonomisk teori, s.k. nykeynesianska DSGE-modeller (vilka jag diskuterat här på Ekonomistas förut). Både hos mig själv och flera andra åhörare verkade presentationen orsaka någon slags “metodologisk härdsmälta”: På vilket sätt skulle ett experiment under ett par timmar med några studenter kunna säga oss något om makroekonomiska teoriers giltighet?
En ekonomisk modell består av två komponenter. Dels består de av antaganden om ekonomins struktur. Det kan handla om att det finns företag och konsumenter, hur vinster fördelas, vilka valmöjligheter aktörerna har etc. Den andra komponenten är beteendeantaganden — till exempel att aktörerna känner till modellens struktur och har rationella förväntningar. Detta ger upphov till prediktioner som kan jämföras med faktiska makroekonomiska data.
STRUKTUR + BETEENDEANTAGANDEN = PREDIKTIONER
I ett experiment kan man ganska exakt implementera den teoretiska modellens antaganden. Experimentdeltagare tilldelas olika roller och ges de incitament och valmöjligheter som antas i den ekonomiska modellen. Deltagarna får interagera med varandra inom dessa ramar och man kan sedan observera resultatet av denna interaktion.
STRUKTUR + FAKTISKT BETEENDE = EXPERIMENTRESULTAT
Den avgörande skillnaden mellan teori och experiment förefaller alltså vara vad som antas om aktörernas beteende. I modellen gör man helt enkelt ett antagande om hur människor beter sig, medan man i experiment studerar hur experimentdeltagare beter sig. Det finns alltså klara likheter mellan teoretiska modeller och experiment. (I den här artikeln av Uskali Mäki diskuteras denna likhet mer utförligt.)
Centralbanker och regeringar utgår ofta från makroekonomiska modeller för att bilda sig en uppfattning av konsekvenserna av olika handlingsalternativ. På samma sätt skulle de kunna genomföra experiment för att bilda sig en sådan uppfattning. Eftersom experiment i alla fall bygger på hur människor av kött och blod beter sig, så förefaller det inte alls otänkbart att experiment kan vara en bättre källa till sådan kunskap än teoretiska modeller. Laboratorieexperiment är ju förvisso inte särskilt “realistiska” och deltagarna inte representativa för hela befolkningen — men modeller är ju minst lika långt från “verkligheten”!
Min inledande fråga handlade dock om makroekonomiska teoriers giltighet och inte om centralbanker och regeringar borde göra experiment. Det är självfallet så att ett experiment aldrig kommer kunna säga oss något om de strukturella antagandena är riktiga eller inte — de är ju de samma i både experiment och teori. Experiment kan därför inte “bekräfta” makroekonomiska teorier. (Karl Popper har förstås lärt oss att empiri aldrig i logisk mening kan bekräfta teorier, men däremot kan empiri göra det induktiva språnget från teori till verklighet mer eller mindre trovärdigt.)
Kanske kan man tänka sig att experiment skulle kunna falsifiera makroekonomiska teorier? Om det visar sig att människor inte beter sig i enlighet med modellens prediktioner ens när vi försöker skapa en situation som är så lik modellens strukturella antaganden som möjligt, är det då rimligt att förvänta sig att modellen skulle funka bättre för riktiga ekonomier som är mycket mer olika modellen än experimentet?
När det gäller besluts- och spelteoretiska experiment på mikronivån har jag svårt att se varför experiment inte skulle kunna falsifiera teorier. Men när det gäller makroekonomisk teori är jag inte lika säker (se den här artikeln för en liknande diskussion om arbetsmarknadsrelaterade experiment). Det finns ju en möjlighet att “något” kan “hända på makronivån” och att detta “något” inte riktigt går att fånga i laboratoriet. I så fall skulle man kunna tänka sig att den kombination av förenklande strukturella antaganden och beteendeantaganden som görs i teorin skulle kunna vara de rätta förenklingarna för riktiga ekonomier, men inte för laboratorieekonomier.
Ett exempel skulle kunna vara att experimentdeltagare inte har samma erfarenhet och inte samma möjlighet att lära av egna och andras misstag som verkliga ekonomiska aktörer och att de teoretiska beteendeantagandena därför ligger närmare verkligheten än beteendet i ett experiment. Men just detta förefaller främst som ett argument för att man bör tillåta mycket tid för inlärning i experiment. (Att möjligheten att lära av sig själv och andra är viktigt illustreras i det här makroexperimentet.)
Att döma av reaktionerna från seminariedeltagarna här på IIES verkade det finnas delade uppfattningar om experiment kan falsifiera makroekonomiska teorier. Själv lutar jag åt att experiment faktiskt kan falsifiera makroteorier, men att en viktig förutsättning är att experimentdeltagarna ges tillräckligt med tid att fundera och möjlighet att lära sig av egna och andras misstag.
Ekonomistas 
Intressant, men spontant skulle jag säga att det största problemet med experiment kontra verkligheten är att deltagarna i ett experiment inte behöver hantera de långsiktiga konsekvenserna, snarare än att de inte lär sig.
Jag har själv deltagit i sååå många “ledarskapsutbildningar” där sju slumpvis utvalda personer som aldrig träffats förr och aldrig kommer att träffas igen ska utföra någon lagom svår övning under en halvtimme. Sen dras det långtgående slutsatser kring de olika personernas ledarskapsförmåga baserat på denna observation.
Det visar sig, kanske inte helt förvånande, att det som sker i dessa experiment har väldigt låg korrelation med hur framgångsrika personerna är senare. Kahneman har skrivit en hel del om detta och sammanfattar det bra i “Thinking, Fast and Slow”.
Diskuterades denna aspekt av Noussair?
Jag vet inte vilka slags experiment du utsätts för på ledarskapsutbildningar, men jag misstänker att de har betydligt lägre grad av kontroll än typiska nationalekonomiska experiment. Dessa är ofta datoriserade och man ges incitament att lära sig av sina misstag. “Lång sikt” i ett makroexperiment blir naturligtvis bara ett par timmar, men t.ex. kan man ju hinna med att “leva ett par livstider” på denna tid. 😉
Noussair diskuterade inte detta, men jag ser fram emot att läsa Kahnemans diskussion om saken. Den boken står uppskriven på min läslista.
De övningar jag tänker på är precis de skojiga lekar som jag misstänker att de flesta tänker på, typ “bygg en bro av sugrör och tejp” eller “lägg ett jättestort pussel på gräsmattan”. Och ja, visst har de en lägre grad av kontroll (för att utrycka det milt).
Dock tror jag inte att det är där de huvudsakligen brister. Det som är svårt i ledarskap är inte att ge tydliga instruktioner till en grupp människor, utan att kunna orka göra det även när man har en dålig dag och har samarbetssvårigheter med en eller flera av sina medarbetare.
Lekövningarna testar inte detta, och ingen grad av kontroll skulle hjälpa det problemet. Det är väl samma sak med ett NEK-experiment. Hur kan man utforma ett experiment så att deltagarna reagerar på ett realistiskt sätt på politiska påtryckningar, mediadrev och liknande? Det är en sak att “veta” vad man ska göra det i ett experiment och en annan sak att konsekvent orka utföra det i verkligheten, med risken att inte bli omvald/få sparken.
Det intressanta med Kahneman är att han väldigt öppenhjärtligt skriver om sina praktiska erfarenheter här. Han gjorde sin militärtjänst som psykolog och hade till uppgift att välja officersaspiranter som var särskilt lämpade ur en grupp kandidater. Han var helt säker på att han gjorde ett bra jobb, men sen fick han möjlighet att se hur väl hans prediktioner slog ut ett halvår senare. Det visade sig att hans prediktioner i princip helt saknade värde.
Dagen efter var han tillbaka på jobbet och utförde med samma entusiasm och kompetens samma selektion med samma magra resultat… Innerst inne visste han att det han gjorde var värdelöst, men han kunde ändå övertyga sig själv om sina modellers värde.
Sannerligen intressant tema det här Robert. En sak som du kunde ha nämnt är att det finns en gammal meningsskiljaktighet inom nationalekonomin angående om en “bra” modell är en modell som kan predicera eller om man behöver kräva att den också förklarar vad som hänt/händer/kommer att hända. Du lutar alldeles tydligt åt förklararlägret. Friedmann var väl, om inte grundaren, så åtminstone den mest kände av prediktionsskolan.
Intuitivt är det lätt att irritera sig på Friedmanns position, att en modell ska utvärderas endast på basis av dess prediktionsförmåga, men det är inte lätt det här. Tänk dig att Bernanke sitter där med sina structural VAR-modeller och beteendefrånvända makromodeller å ena sidan, och en mer realistiskt modell baserad på en uppsättning experimentdata om folks beteende i experiment å den andra. Vilken uppsättning vetenskapligt underlag ska han välja för att bestämma vad han ska göra med Feds styrränta (vi låtsas att han måste välja)?
Ja, om båda modellerna förklarar historiska data lika bra skulle jag rösta för “beteendemodellen”. Om däremot hans VAR/makromodeller är betydligt bättre på att replikera historiska data skulle jag rösta på dem istället. Mitt resonemang verkar landa i att beteendemodeller är att föredra allt annat lika, men för ekonomiskt beslutsfattande får prediktionskriteriet dominera. -Jag tror att man ska utvärdera makromodellerna för deras bidrag till vettigt beslutsfattande snarare än utifrån en intuitiv tvångstanke om att de ska vara “realistiska” (jag lider själv av denna tvångstanke).
Jag håller helt med, om syftet är att göra goda prognoser och inte förstå hur världen egentligen är beskaffad så ska man gå på Friedmans linje. Men forskare tycker jag faktiskt först och främst har som uppgift att förstå hur saker och ting faktiskt fungerar. Jag har inte tänkt på det här på ett tag, men jag utvecklade detta vidare här på Ekonomistas för något år sedan (https://ekonomistas.se/2009/12/04/sista-ordet-om-f53/). Bengt Assarsson skrev på DN Debatt för något år sedan om att detta inte bara är kul hjärngympa, utan faktiskt har praktisk relevans för centralbanker (http://www.dn.se/debatt/ekonomin-blir-battre-an-vad-riksbanken-spar).
Robert, läste ditt inlägg om F53 och gillade det skarpt. Jag har inte heller tänkt på det här på ett tag och det var kul att friska upp minnet! Delar helt din uppfattning att Sugden, min “intellektuelle idol”, är mannen att ta rygg på i de här frågorna.
Men jag tycker att “the case for mindless economics” är en bra text (tredje gången jag läste den). Ser fram emot att få läsa om varför min första oförstående läsning var mer rätt. Står det i boken du rekommenderade?
Jag tycker att du är lite väl svepande i din åsikt om vad en forskare bör ha för roll. Dessutom är du jävig 🙂
Du har rätt, jag var både svepande och jävig. Till exempel vill vi ju att klimatforskarna ska leverera precisa prognoser för olika utsläppsnivåer, för egen del bryr jag mig nog inte så mycket om huruvida de använder “rätt” modell eller ej.