Följande är ett gästinlägg av Björn Ekman som är nationalekonom och forskare vid Lunds universitet. Hans huvudsakliga inriktning är hälsoekonomi. Han har tidigare arbetat på Sida och Världsbanken.
Sedan en tid har en viktig debatt förts kring användandet av randomiserade kontrollstudier (RKS) inom biståndet. Här på Ekonomistas har flera bidrag skrivits (t ex här, här, här, här och här ) och i mitten av maj ordnade Expertgruppen för biståndsanalys (EBA) ett möte kring utvärdering av det svenska biståndet där en särskild rapport om RKS presenterades. Gemensamt för de flesta som bidragit till diskussionen är uppfattningen att sådana metoder bör utgöra en större del av biståndet. Jag avser i detta inlägg bidra till denna debatt och slutsatserna är som framgår av rubriken att RKS med all sannolikhet inte utgör någon panacé för biståndet och till och med kan hävdas inte ens höra hemma inom den verksamheten.
När det gäller det sista, så vilar det på viktiga principiella distinktioner kring vad syftet med randomiserade kontrollstudier är och på skillnaden mellan bistånd, å ena sidan, och forskning, å den andra. RKS kan under vissa omständigheter användas när man vill ta reda på huruvida en insats (t ex ett läkemedel) har en viss effekt. Att på så sätt undersöka något man inte känner till är själva definitionen på forskning. Bistånd däremot ges under föresatsen att det faktiskt leder till vissa redan kända resultat, t ex minskar sjuklighet eller ökar läskunnighet. Biståndsinsatser bör alltså vara evidensbaserade, vilket givetvis inte hindrar att de utvärderas i efterhand, både effektmässigt och processinriktat.
Diskussionen kring RKS i biståndet vilar delvis på en olycklig sammanblandning av dessa två skilda verksamhetsområden. En statlig biståndsgivare som till exempel Sida har till uppgift att förvalta sitt statsanslag i enlighet med det som framgår av särskilda förordningar, samt av vad som sägs i de årliga regleringsbreven från ansvarigt departement. En central princip i dessa regler är att en myndighet ska hantera medlen på ett ansvarsfullt sätt inom dess kompetensområde.
Baserat på ovan distinktion är här fem anledningar till varför RKS inte bör ha den stora vikt inom biståndet som många förespråkare hävdar, bl a EBA.
Randomisering är svårt. Det är i själva verket så knepigt att uppnå en ”ren” randomisering att det till och med kan vara en utmaning i laboratoriemiljö, dvs där metoden först uppstod och där man, i princip, kan kontrollera för alla de faktorer som man vill ta hänsyn till. Ett av de exempel som tas upp i den ovan nämnda EBA-rapporten om RKS (av Anders Olofsgård, AO) är ett av de mest kända inom det här området, Miguel och Kremers (MK) studie från 2004 om avmaskning av skolbarn i Kenya. I en annan rapport, Deaton från 2009, som AO också hänvisar till, framkommer dock att det som hävdas i MKs artikel om hur urvalet gjordes inte stämmer. Skolorna var inte slumpmässigt utvalda att ingå i antingen behandlingsgruppen eller i kontrollgruppen, utan hade valts ut i alfabetisk ordning, vilket var den metod som de kenyanska myndigheterna tillät. Det är troligt, åtminstone inte omöjligt, att andra liknande exempel kan ges.
Ytterligare två viktiga skillnader mellan förutsättningarna för RKS i laboratoriemiljö och i de flesta situationer som uppstår inom samhällsvetenskapen är svårigheten att använda ett placebo (dvs en ”falsk” behandling) och att studera sidoeffekter. Bägge dessa aspekter beaktas sällan, vare sig i faktiska studier eller i debatten; se även Jonas Vlachos korta kommentar som relaterar till detta här.
Randomisering behövs inte. En annan aspekt man kan anbringa på ovan exempel om avmaskning är att det med stor sannolikhet inte fanns någon övertygande anledning överhuvudtaget till varför man behövde randomisera en sån här insats. Evidensen för att avmaskning är bra är utom all tvivel. Och vi vet också hur barn bör avmaskas, åtminstone i tillräckligt stor utsträckning för att genomföra en effektiv kampanj, även i fattiga länder. Argumentet i MKs studie att man ville studera om det var bättre att göra det i skolmiljö eller i hemmiljö är förvisso inte ointressant, men heller inte övertygande, då svaret redan finns eller torde vara tämligen uppenbart, t ex för en kompetent epidemiolog eller infektionsläkare.
Liknande invändningar kan också göras gentemot en lång rad andra insatser, såsom vaccinationer (de skyddar mot sjukdomar), skolböcker (de bidrar till läskunnighet), krediter (en av de viktigaste faktorerna för ekonomisk utveckling) och utsäde (det växer bättre) för att nämna några vanliga biståndsfinansierade insatser. Randomisering är alltså inte ett nödvändigt villkor för effektivt bistånd.
Randomisering svarar bara delvis på relevanta frågor. Ett problem med RKS-insatser som till och med många ”randomistas” åtminstone delvis håller med om är de relativt begränsade frågor som en sådan typ av insats ger svar på. Grovt sagt så svarar en randomiserad studie på om just den här insatsen fungerade just i denna kontext vid den här tidpunkten, dvs den har hög intern validitet. Det är inte oväsentliga svar, men de ger inte vid handen om insatsen bör utvidgas till andra områden och förhållanden. För svar på sådana frågor behövs studier med hög extern validitet.
Alltför ofta ger randomiserade studier inte heller svar på den än viktigare frågan om varför insatsen fungerade eller inte. För detta krävs andra metoder, så som processutvärderingar och kvalitativa metoder. Om detta tycks även AO hålla med även om det framstår som något motsägelsefullt när han skriver att ”RKS är … den bästa metod…” (sid. 10), för att några rader längre ned föreslå att ”Det idealiska tillvägagångssättet är att använda flera kompletterande utvärderingsmetoder…”. Till detta kan tilläggas att det krävs mycket goda teoretiska insikter om vilka de kausala och associativa sambanden är eller kan tänkas vara mellan en insats och ett eller flera relevanta utfall när man vill förstå varför något fungerar eller ej.
Randomisering är inte tillämpbart inom stora delar av biståndet. Det är mycket möjligt, kanske till och med troligt, att det finns biståndsfinansierade projekt och insatser som bör designas och genomföras på ett randomiserat sätt för att utvärdera dess effekter. Men, de insatserna tillhör sannolikt minoriteten av allt det som finansieras av bistånd. Det allra mesta går inte att genomföra på ett slumpmässigt och kontrollerat sätt. En stor och ökande andel av inte minst det svenska biståndet går idag till insatser som syftar till att stärka människors rättigheter i olika bemärkelse. Det är inte omöjligt att randomisera sådana insatser, men det är sannolikt mycket svårt och ofta tvingas man formulera andra, mer sekundära mål för att genomföra en sådan insats på ett slumpmässigt sätt. Resultatet blir att svaret på den egentliga frågan om huruvida människors rättigheter har stärkts blir spekulativt i bästa fall.
Dessutom finns det uppenbara etiska aspekter på en insats genomförande där man ger en grupp ett bevisligen effektivt medel, medan en annan grupp inte tilldelas samma medel. Inom ramen för ett forskningsprojekt kan ett sådant förfarande användas om man erhållit ett etiskt tillstånd från ett forskningsråd. Bistånd däremot ges inte på sådana premisser, vilket också illustrerar skillnaden mellan dessa två verksamheter.
Randomisering är inte kostnadseffektivt. Att genomföra en randomiserad kontrollstudie är dyrt, väldigt dyrt. Det framgick om inte annat av Thomas Elhauts (TE) presentation på EBA-mötet om IFADs arbete med detta. TE anger att en RKS-studie kostar mellan en halv och en miljon dollar att genomföra. Och, som anförts ovan, så står svaret man får generellt sett inte i proportion till dessa finansiella kostnader. När Sida och andra svenska biståndsgivare säger att de gärna vill använda RKS för sina insatser är det inte trovärdigt då det förefaller tämligen osannolikt att de skulle lägga kanske upp till fem miljoner kronor på en utvärdering av en enskild insats.
Detta sista faktum är kanske det mest övertygande och som gör att jag och andra som hyser liknande skepsis mot RKS inom biståndet kan fortsätta att sova gott i vetskapen om att metoden aldrig kommer att få något större genomslag. För övriga har jag angett fyra andra anledningar som kanske kan motivera en liknande inställning.
Ekonomistas 
Lite krasst sammanfattat. Hans Rosling talar om att Sverige ger ungefär 5 miljarder dollar varje år i bistånd. Det vore märkligt om inte i varje fall 1% av detta belopp skulle gå till att utvärdera om de andra 99% av biståndet är effektivt använda. Marginalnyttan på att använda denna 1% för att utvärdera de 99% borde vida överstiga nyttan av att öka de direkta pengarna från 99% till 100%.
1% kan påverka effektiviteten på alla de 99 andra procenten.
Det borde kunna ske 50-100 utvärderingar årligen av detta slag. Att ställa det mot “finansiella kostnader” blir helt irrelevant om man inte ställer det mot marginalnyttan det kan göra för de biståndsprojekt som genomförs.
Att man jobbar med hög både extern och intern validitet är ju viktigt. Det statiska underlaget och därmed systematiska utvärderingar som inte bara baserat på förutfattade meningar och fördomar är extremt viktigt i ett land som har förutfattade meningar och fördomar som norm. Att sedan SIDA inte gillar att utvärderas är dessutom en klar bonus för landet Sverige. Detta borde vara standard inom all revision. För det finns alltid förbättringar att göra, och särskilt inom offentlig förvaltning vars produktivitet ofta tillskrivs 0.
Ok. Enligt Olofsgårds artikel är antalet sida-initierade randomiserade experiment lika med 0 (noll). Vad tycker du den optimala nivån är? Minus 10? Minus 20? Inte minus 100 väl?
Avd kostnadseffektiva blogginlägg.
Det här var ju inte ett helt lyckat inlägg i debatten. “Vi gillar inte att utvärderas. Här är fem skäl till varför vi inte vill utvärderas enligt ett specifikt sätt som ändå inte förekommer i praktiken.”
Det här låter som tom retorik från någon som jobbar på SIDA, men så är det inte, förstår jag. Det är tom retorik från någon som har jobbat på SIDA förut.
Kan vi istället få be om ett hälften så långt inlägg som förklarar hur SIDA istället borde utvärderas?
Självklart är RKS lika lite som något annat en universallösning på problematiken kring biståndseffektivitet. Precis som alla andra metoder för utvärdering så har RKS styrkor och svagheter. Detta inlägg tar upp några av de redan kända begränsningarna, och den omnämnda EBA rapporten (som jag skrivit) tar också upp dessa och fler därtill. Inget av detta är nytt, men det är några vinklingar och argument som kan vara värda att kommentera.
Det är lätt att få intrycket av det som BE skriver att effekt utvärderingar inte behövs eftersom vi redan vet att alla biståndsinsatser har positiva effekter. Givet BEs långa erfarenhet inom biståndsvärlden så har jag svårt att tro att det riktigt är det han menar. Det är så klart ingen poäng med att utvärdera något vars effekter vi redan känner till (BE nämner vaccinationer som ett exempel, vilket vi förstås vet har positiva effekter, men ironin är att anledningen till att vi vet det är just på grund av RKS även om de inte finansierats av någon biståndsbudget utan av läkemedelsföretag). Men för de flesta biståndsfinansierade interventioner så vet vi ju inte alls vad effekterna är. Mikrokrediter är ett bra exempel på en verksamhet som fått stora mängder pengar och som allmänt hyllats baserat på anekdoter och biståndsgivares önskan att hitta något att tro på. Några självmord och ett par effekt-utvärderingar senare så har putsen flagnat, och en mer realistisk bedömning av dess effekter, positiva och negativa, börjat ta form. Givet de oändliga behov som finns och de begränsade resurser som finns, är det inte viktigt att ha en uppfattning om vad som faktiskt ger effekt, så att allokeringen av biståndsbudgeten kan påverkas av vår samlade kunskap (om än förstås alltid inkomplett)?
En annan tolkning av det som skrivs är att visst kan forskare ägna sig åt RKS, men det ska inte belasta biståndsbudgeten, så det är inget som Sida ska ägna sig åt. Men syftet med RKS inom utvecklingsforskning (vilket är det vi pratar om) är ju att bättre förstå vilka typer av insatser eller reformer som påverkar tillvaron på ett positivt sätt i fattiga länder. Ifall vi tycker att vi i Sverige över huvud taget ska bry oss om det, var skulle pengarna i så fall annars tas? Biståndsbudgeten finansierar ju redan nu till viss del RKS genom forskningsanslagen, även om dessa inte utförs direkt på svenska insatser. Och Sida lägger förstås redan en massa pengar på utvärdering och uppföljning, fast metoderna som används är annorlunda. BE nämner att biståndsinsatser bör vara evidensbaserade. Den evidensen kommer till en betydande del från RKS. Är det inte då rimligt att dessa studier också till viss del tillåts belasta biståndsbudgeten?
RKS är ingen universallösning och kan inte besvara alla frågor, eller användas på alla typer av insatser. Det är dock en väldigt bra metod till vissa saker, och jag har svårt att tro att det inte finns något värdefullt att lära av att använda den på åtminstone en ynka svenskfinansierad insats.
Sverige och SIDA som tidigare har varit kända för att vara i framkant med sina biståndsinsatser är just i detta fall: att utvärdera delar av de nationella biståndsinsatserna med hjälp av RKS och transparent visa resultaten, långt efter många andra nationella och internationella biståndsorganisation. DFID (Storbritanniens biståndsorganisation) ligger i framkant vad gäller RKS och påbörjar många av sina projekt med pilotstudier som utvärderas med RKS (med hjälp av forskare på universitet runt om i världen) för att därefter lära sig om effekter och vad som fungerar bra och mindre bra innan man implementerar det stora projektet; USAID har hakat på trenden och kör pilotstudier som RKS innan man lägger stora biståndspengar på projektet och kan då utvärdera och se till att det stora projektet investeras i något som har påvisade önskade effekter; Världsbanken har en egen avdelning som jobbar specifikt med RKS av sina projekt etc. Sverige och SIDA har till min vetskap ännu inte utvärderat ett enda av sina projekt med hjälpa av RSK. Vi har lång väg att gå och det är definitivt dags för SIDA och Sverige att börja utvärdera delar av sina biståndsprojekt med hjälp av RKS!