Under det senaste decenniet har laboratorieexperiment blivit på modet i nationalekonomi, men på senare år har pendeln svängt något och fältexperiment är betydligt hetare. Men varken laboratorieexperiment eller fältexperiment är nya företeelser — ekonomer har ägnat sig åt laboratorieexperiment sedan 60-talet och Peter Bohm genomförde fältexperiment redan på 70-talet. Nu för tiden är John List en av de främsta förespråkarna av fältexperiment och hans kritik av laboratorieexperiment har väckt ont blod hos en del experimentella ekonomer. Förra året publicerades en läsvärd artikel i Science av Armin Falk och James Heckman med den övertydliga titeln “Lab Experiments Are a Major Source of Knowledge in the Social Sciences”. Falk och Heckman argumenterar mot uppfattningen att fältexperiment skulle vara “bättre” och mer “realistiska” än laboratorieexperiment genom att poängtera att både laboratorie- och fältexperiment möter samma principiella utmaning när de gäller att extrapolera resultaten till andra situationer. Det är svårt att göra den korta artikeln rättvisa i en blogginlägg, men jag rekommenderar varmt en genomläsning (gratisversion finns här).
-
Follow
Following
Already have a WordPress.com account? Log in now.
Ekonomistas 
Tack för lästipset Robert! Hade inte väntat mig att Heckman skulle vara såpass positiv till labbexperiment.
Var står du själv? Personligen tycker jag att det borde finnas ett stort värde i att jämföra metoderna genom att rekrytera deltagarna i fältexperiment till labbexperiment. Vet du om det gjorts i någon större utsträckning?
Jag är en “metodologisk pluralist” som tycker att vi ska använda många olika metoder för att besvara forskningsfrågor: allt från introspektion, djupintervjuer och deltagande observation till observationsdata, fältexperiment och labexperiment. Naturligtvis ska varje metod granskas kritiskt, men som Falk och Heckman skriver är svaret på mycket av kritiken mot labexperiment snarare att göra fler experiment för att ta reda på om kritiken är riktig, till exempel av den sort Erik nämner nedan.
Detta WP (http://www.bos.frb.org/economic/wp/wp2006/wp0608.htm) som har publicerats i Exp Econ använder din föreslagna metod. Korrelationen mellan fält och labb för samma individ? Nånstans mellan 0.25 och 0.4…
Armin Falks grupp har gjort några studier där de validerat enkätfrågor mot labdata och sedan använt frågorna i jättestora enkätstudier (typ “german socio-economic panel”). Glen Harrison och folk i Köpenhamn har gjort liknande saker gällande riskpreferenser hos danskar. Tilburg har liknande projekt på gång
Falk och Heckman påpekar något jag alltid tyckt;
[De] poängtera[r] att både laboratorie- och fältexperiment möter samma principiella utmaning när de gäller att extrapolera resultaten till andra situationer.
De menar dock att det inte skillnad mellan fält och laboratorie experiment. Det håller jag med om men jag menar att oavsett metod ska man vara extremt återhållsam med att extrapolera några resultat på makro nivå. Resultat kan enligt min uppfattning endast extrapolera på individ nivå, mikro.
Läs gärna denna artikel samt länk till en fältstudie som Dan Aierly et al gjort. Hur man konstruerar en studie för att visa att hög bonus inte har betydelse.
Artikel i Wired Magazine, UK, om fält studie gjord av beteende ekonomen Dan Aierly, som driver en kampanj mot resultat lön och pengar motiverar någon överhuvudtaget. Daniel Pink sufflerar Aierly perekt. Dan Ariely: Bonuses boost activity, not quality
länk till studien:
Dan Ariely, Uri Gneezy, George Lowenstein, and Nina Mazar (2009), “Large Stakes and Big Mistakes.” With Uri Gneezy, George Loewenstein and Nina Mazar. Review of Economic Studies.
Tack för lästips, Robert. Ska bli intressant att läsa vid sidan av den kritik av labexperimenten som bl a Levitt skrev om i Super-Freakonomics och även Levitt och List i sin välkända översiktsartikel.
Tack och lov verkar den nya generationens nationalekonomiska labexperiment inte längre vara av typen “Vi har gjort experimentet på 26 grundstudenter i nationalekonomi; de skulle agera köpare och säljare på världens råvarubörser; instruktionerna var väldigt enkla (37 steg…)”.
Är inte svaret på överskriften ett självklart ja? 🙂 Var lite besviken på uppsatsen av Falk och Heckman när jag läste den. Även om det inte nödvändigtvis är artskillnader mellan laboratorie- och fältexperiment, kan det ju finnas viktiga gradskillnader i t.ex. realism och “scrutiny” som gör att man får olika resultat/drar olika slutsatser beroende på om det är ett lab- eller fältexperiment (underförstått menar jag då att fältexperiment har mer drag av realism och mindre inslag av “scrutiny”). Vidare tycker jag att det är en viktig att göra skillnad på beteende i sig, och skillnad i beteende mellan olika treatments. Troligtvis är skillanderna mellan labb och fält mindre när det gäller skillnader mellan treatments.
Jag håller nog inte riktigt med dig, Fredrik. Falk och Heckmans poänng är att det inte är självklart att vi lär oss mer om “verklighetens folk” genom att studera till exempel baseballkortsförsäljare i ett fältexperiment jämfört med att göra ett laboratorieexperiment med studenter. Huruvida vi kan generalisera från ett experiment måste bedömas i varje enskilt fall oavsett om det är gjort i fält eller i ett lab, och det håller jag i princip med om. Samtidigt håller jag med dig om att i genomsnitt så är förmodligen fältexperiment lite närmare “verkligheten” än labexperiment, men det är inget som är självklart — här tycker jag nog Falk och Heckman borde uttryckt sig lite mindre försiktigt.
Sen tycker jag det också beror lite på vad man är intresserad av. Är man intresserad av att testa en teoretisk prediktion genom att jämföra två olika treatments är det svårt att invända mot labexperiment så länge teorin inte säger något att det bara gäller för en viss population eller i en viss situation. Att däremot mäta nivån på beteendeparametrar, till exempel graden av altruism, känns lite mer svajigt eftersom experiment oftast inte har deltagare som är representativa för hela befolkningen — men det gäller både lab och fältexperiment.
Det som jag tycker är intressant i skillnaden mellan fiktiva människor och människor, är tex det faktum att SD kom in i riksdagen.
Hade man tex frågat studenter i nationalekonomi om de 6 procent av dem skulle rösta SD:aktigt hade experimentet med största sannolikhet visat att SD aldrig kommer in i riksdagen.
Det finns en enorm övertro på labbförsök i det avseendet. Labbförsök utgår nästan alltid från att människor är rationella på samma sätt som försöksdeltagarna. Men det finns fler sätt att vara rationell på. Ffa den egna sociala situationen.
Alexander,
vilken teaser du slänger in. Nå, blev det någon skillnad i resultat?
Jag är ju också metodologisk pluralist, och ser fördelar och nackdelar med de flesta metoder. Men en viktig fördel med (s k naturliga) fältexperiment (jämfört med labexperiment) är att deltagarna inte vet om att de är med i ett experiment.
För vissa typer av frågor, särskilt sådana där respondenternas beteende kan påverka deras egen självbild, finns det därför skäl att misstänka att s k självsignallering är betydligt mer omfattande i labexperiment jämfört med fältexperiment.
D v s folk tänker typ: “Hmmm, de verkar vilja försöka observera vilken typ av individ jag är. Vilken typ av individ är jag egentligen? Uppenbarligen en trevlig och osjälvisk prick! Få se, vad var det nu jag skulle göra…”
Det är en god poäng, Olof, och jag håller förstås med dig. Däremot gäller ju detta inte alla fältexperiment, utan bara sådana där deltagarna inte är medvetna om att de är med i ett experiment. Däremot är det svårt att tänka sig ett labexperiment där det är fallet.
Det var just detta som gjorde mig besviken med uppsatsen av Falk och Heckman. Att alla experiment, båda lab och fält, har potentiella problem med selektion och scrutiny, att det alltid är problematiskt med att generalisera resultat etc etc är väl tämligen uppenbart. Den mer intressanta frågan är under vilka omständigheter detta leder till viktiga skillnader mellan t.ex. lab- och fältexperiment, och under vilka omständigheter vi verkligen behöver oroa oss för detta. Den uppsatsen hade jag bra mycket hellre läst :-).
Jag tycker att de missar en viktig sak när de vill släta över skillnaden i erfarenhet mellan deltagarna i lab- respektive fältstudier. Deltagarna i fältstudier har inte bara personlig erfarenhet av det de håller på med. Det finns också en sannolikhet att hela situationen har formats av olika historiska lärdomar. Beteenden som funkar bra de första omgångarna av ett spel eller en verklig marknadssituation kan med tiden fungera sämre, eftersom olika aktörer hittar sätt att utnyttja de andra spelarnas beteende. Med tiden kan det leda till att alla tar till sig strategier som tar hänsyn till det. Varpå någon hittar sätt att utnyttja den nya situationen, och så småningom lär sig alla att anpassa sig till det. Etc, etc.
Det är en kollektiv inlärningsprocess som svårligen kan efterliknas i ett lab. Samband mellan löner och prestation som de använder som exempel är förstås i verkligheten en del i ett socialt spel som pågått i många år, med ständigt förfinade strategier och motstrategier.
Vad är det egentligen artikelförfattarna vill uppnå med sina studier? Om jag som politiker vill veta något om samband mellan löner och prestation skulle jag nog varken våga luta mig mot labstudier på amerikanska collegestudenter eller studier av basebollkortssamlare. Antingen finns det bra studier på den verkliga situationen eller så kan jag lika gärna chansa. Labb och fältstudier på udda grejer kan väl användas som inspiration för hypotesbildning och för upplägg av andra studier, inte som riktlinjer för politik eller diskussioner mellan arbetsmarknadens parter.
Håller med Olof. Vill dock tillägga att det inte behöver vara så att deltagarna vill signalera någonting, de kanske bara vill utföra uppgiften på det sätt som de förväntar sig experimentledaren har i åtanke. Detta problem existerar, potentiellt alltid, när deltagare vet om att de är med i en studie (oavsett fält eller labb).
Ironiskt nog har John List utfört ett laboratorieexperiment som tyder på denna oros existens (“On the Interpretation of Giving in Dictator Games” JPE 2007). Genom att placera den initiala tillgången hos antingen diktatorn (som vanligt) eller hos mottagaren (treatment), finner han avsevärda skillnader i den slutgiltiga fördelningen av summan mellan de två fallen.
Jag håller i princip med dig, men förmodligen är det viktigare för vissa sorts situationer. Däremot ser jag inte riktigt ironin i Lists studie, är inte det helt i linje med hans kritik av labexperiment? F.ö. har jag hört sägas att JPE de senaste åren knappt publicerat några labexperiment, och när de gjort det har de haft List som författare. Det vore roligt om någon bemödade sig med att kolla upp om det stämmer.
Det ironiska inslaget skulle väl i så fall vara att en den invrigaste föresråkaren av fältexperiment gör precis det som Heckman & Falk predikar för; fler labb-experiment.
På dem låter det som att detta inte inträffar vilket är missvisande.
För att klargöra min poäng från tidigare kan man uppmärksamma ett möjlig scenario i artikelns mest framhållna spel, gift-exchange. Som jag har förstått det bjuds deltagare in för att utföra en uppgift mot en viss betalning. När de väl kommer dit får dock de i treatment gruppen en högre ersättning än den på förhand avtalade. Därefter studeras skillnader i anstränging mellan respektive grupper.
Min fundering är; vad är troligt att deltagarna förväntar sig att man ska göra i ett sådant läge? Kan det driva resultatet? Är det troligt att riktiga arbetare får liknande förväntningar om deras lön råkar hamna över den förväntade?
Som utvecklingsekonom måste jag invända mot resonemanget.
Heckman/Falks poäng är att laboratorieexperiment har en högre grad av replikerbarhet, att reglerna för ett labbexperiment kan dikteras på ett utförligare sätt, och att det är lättare att kontrollera att dessa efterföljs. Men detta är ingen generell regel. Det är en ren kostnadsfråga, alternativt en juridisk fråga. I västerländska länder går det (kanske) inte att randomisera ex. lön utan att etikprövningsnämnden och forskningsfinansiärerna skulle invända. Men i flera utvecklingsländer går det att genomföra fältexperiment med hög replikerbarhet och kontroll till en ganska billig penning. Varför skulle man i ett sådant läge välja laboratorieexperiment?
Ta Ben Olkens “Monitoring Corruption” (JPE), eller Björkman/Svenssons “Power to the People” (QJE), för att nämna två välkända fältexperiment. Frågan är huruvida insyn och gräsrotsengagemang i offentligt finansierade hälso- och infrastruktursatsningar påverkar den ekonomiska effektiviteten. Skulle labbexperiment — två hundra indonesiska studenter i en gympasal som spelar ultimatumspel, kanske — ge ett bättre svar på den frågan? Svar nej. Olken och övriga valde istället att göra fältexperiment, med rätta.
I ett nötskal är Heckman/Falks poäng att labbexperiment är bättre än fältexperiment i de fall de senare är omöjliga att genomföra på ett vetenskapligt sätt av rätts-, tids- eller kostnadsskäl. Och visst. OLS med kontrollvariabler är ju bättre än alla andra metoder när alla andra metoder av någon anledning inte går att genomföra.
Det som slår en när man läser både Falk/Heckman och List
är egentligen att både fältstudier och experiment påminner mycket om teorimodeller. De har alla samma grundproblem – de förutsätter artificiella villkor och har alla problem med en trade-off mellan intern och extern validitet. Ju mer artificiella villkor, ju större intern validitet, men också mindre extern validitet. Ju mer vi riggar experiment/fältstudier/modeller för att undvika “confounders”, ju mindre påminner villkoren om det verkliga “målsystemet”. Såtillvida tror jag också att F/H har rätt i sina synpunkter på att föra diskussionen om fältet-eller-experimentet i termer av realism – det handlar inte om det, utan i grunden om hur ekonomer via olika isoleringsstrategier i olika “nomologiska maskiner” försöker få kunskap om kausala relationer. Till skillnad från både F/H och List är jag tveksam till generaliserbarheten/extrapolerbarhet hos dem alla eftersom risken är stor för att kausala mekanismer ser olika ut i olika kontexter och att bristande homogenitet/stabilitet/invarians gör att vi i vilket fall som helst inte har några fullgoda exportlicenser till “verkliga” samhällen/ekonomier.
Jag håller med dig helt Lars att en fara med experiment är att man tappar viktiga omständigheter som på olika sätt interagerar med de orsakssamband man vill studera. Vilket innebär att vi (i) ska vara försiktiga med att generalisera för mycket från en enskild studie, och (ii) vi ska kritiskt granska de antaganden vi gör i våra modeller/experiment. Samtidigt finns det en stor styrka med experiment att man kan använda dem för att i viss utsträckning testa vilken roll olika omständigheter spelar. Vi kan variera omständigheterna i experimentet för att belysa hur och i vilken utsträckning t.ex. kontexten spelar roll. Vi kan också studera hur kontexten spelar roll genom att jämföra olika experimentella studier, där då varje studie bara är en liten observation.
Jag skulle nästan vilja vända på det och säga att det är delvis på basis av vad som framkommit i experimentella studier som vi inom nationalekonomi har ett ökat fokus på modellering av t.ex. kontextberoende, heterogenitet och avvikelser från ”standard”-antagande som frånvaro av altruism. Jag tror detta hade varit svårare att få genomslag för om man inte hade haft möjlighet att isolera sambanden med hjälp av experiment.
Fredrik, jag tror att om man i huvudsak betraktar experiment/fältstudier som heuristiska verktyg så är nog skiljelinjen mellan exempelvis Falk/Heckman och List/Levitt väldigt svår att se.
Men om vi ser experiment/fältstudier som teoritest eller modeller som till syvende och sist pretenderar att säga något om verkliga “målsystem” är problemet med extern validitet centralt (och var ju under lång tid också ett avgörande skäl till att beteendeekonomer hade problem att få sina forskningsresultat publicerade).
Antag att du har undersökt hur kinesiska lantarbetares arbetsprestationer A påverkas av B (”treatment”). Hur kan vi extrapolera/generalisera till nya sampel utanför ursprungspopulationen (exempelvis Sverige)? Hur vet vi att eventuella replikationsförsök ”lyckats”? Hur vet vi när dessa replikationsförsöks resultat kan sägas justify/warrant de inferenser som görs i ursprungspopulationens sampel? Om, t ex, P(A|B) är den konditionala densitetsfunktionen för ursprungssamplet, och vi är intresserade av att göra en extrapolerande prediktion av E[P(A|B]), hur kan vi veta att det nya samplets densitetsfunktion är identisk med den ursprungliga? Om vi inte kan ge några riktigt bra argument för att så är fallet, säger ju inferenser byggda på P(A|B) egentligen inget om vad som gäller för målsystemets P’(A|B). Som jag ser det är det här pudelns kärna. Externvaliditet/extrapolerbarhet/generaliserbarhet bygger på att vi skulle kunna göra inferenser baserade på P(A|B) som är exporterbara till andra populationer för vilka P’(A|B) gäller. Visst, kan man övertygande visa att P och P’ är tillräckligt lika, är problemen kanske överkomliga. Men att godtyckligt bara introducera funktionella specifikationsrestriktioner av typen invarians/stabilitet/homogenitet är åtminstone för en vetenskapsteoretisk realist som undertecknad långt ifrån tillfredsställande. Och ofta är det tyvärr detta jag ser när jag tar del av (neoklassiska) ekonomers olika modeller/experiment/fältstudier.
Lars, jag håller med dig fullt att det är problematiskt med att generalisera resultaten från en enskild studie. Detta är ju inte på något sätt unikt för experiment utan gäller alla empiriska studier. Frågan är då hur vi kan göra det bästa av situationen? Jag tycker då att en styrka med experiment är att det är enkelt att replikera experiment under olika förutsättningar, vilket gör att vi på ett någorlunda enkelt sätt kan testa robustheten i det vi finner. Sen tycker jag att experiment som metod har många nackdelar också, men är precis som Olof och Robert en glad ”metodologisk pluralist”.
Jag är dock lite nyfiken på vilken empirisk strategi/metod som du tycker är alternativet om nu experiment och observerande av faktiskt beteende på t.ex. en viss marknad genom ett fältexperiment är så problematiska så att de inte kan användas (eller så missförstår jag dina invändningar mot empiriska studier). Vilka är alternativen för att undersöka och kvantifiera viktiga samband inom samhällsvetenskapen?
Fredrik, jag tror faktiskt att du missuppfattar mina synpunkter lite grand. Jag menar inte att empiriska metoder per se skulle vara så problematiska att de inte kan användas. Tvärtom ställer jag mig i grunden – dock inte förbehållslöst – positiv till det ökade användandet av experiment/fältstudier. Inte minst som alternativ till ett i mina ögon fullständigt ofruktbart snickrande på ”brolösa” axiomatisk-deduktiva teorimodeller. Min kritik handlar nog mer om aspirationsnivåer och vad vi med våra medierande epistemologiska verktyg/metoder inom samhällsvetenskapen tror oss kunna (be)visa.
Liksom många andra ”experimentalister” hävdar du att ”det är enkelt att replikera experiment under olika förutsättningar, vilket gör att vi på ett någorlunda enkelt sätt kan testa robustheten i det vi finner.” Men är det verkligen så enkelt? Om vi i mitt anförda exempel kör ett test och finner att våra prediktioner inte stämmer – vad ska vi då dra för slutsats? Att B funkar i Kina men inte i Sverige? Eller att B funkar i ett underutvecklat agrarsamhälle men inte i ett postmodernt tjänstesamhälle? Att de funkade när fältstudien gjordes år 2008 men inte år 2010? Populationsval är i praktiken nästan aldrig enkla. Hade problemet om extern validitet handlat om att sluta från sampel till population vore detta inget avgörande problem. Men de verkligt intressanta slutningarna görs väl ändå regelmässigt från specifika lab/experiment/fält till specifika verkliga situationer/institutioner/strukturer som vi är intresserade av att förstå eller (kausalt) förklara? Och då blir populationsproblemet svårare att tackla.
Fredrik:
Apropå problemet med populationsval sprang jag vid eftermiddagskaffet på följande intressanta notering i David Salsburgs underbara och med rätta uppmärksammade bok “The lady tasting tea: how statistics revolutionized science” (H Holt 2001 p 146):
“In Kolomogorov’s axiomatization of probability theory, we assume there is an abstract space of elementary things called ‘events’ … If a measure on the abstract space of events fulfills certain axioms, then it is a probability. To use probability in real life, we have to identify this space of events and do so with sufficient specificity to allow us to actually calculate probability measurements on that space … Unless we can identify Kolmogorov’s abstract space, the probability statements that emerge from statistical analyses will have many different and sometimes contrary meanings.”