Omstart SADEV, eller…? Hur ska biståndsutvärderingen utformas?

Följande text är skriven av Jesper Roine och Anders Olofsgård. Anders är docent i nationalekonomi och verksam vid SITE på Handelshögskolan i Stockholm. Han har tidigare varit professor vid Georgetown University i Washington D.C. och har lång erfarenhet av forskning och policy inom internationellt bistånd.

I maj i år publicerade Statskontoret rapporten ”Utvärdering av svenskt bistånd – en översyn av utvärderingsverksamheten”. Den fokuserade framförallt på Enheten för Uppföljning och Utvärdering (UTV) på Sida och på den fristående utvärderingsmyndigheten SADEV. Översynen pekade ut många brister i utvärderingsarbetet, och betonade framförallt att SADEV inte hade levt upp till de förväntningar på myndigheten som existerade vid starten 2006 och att en ”omstart” av SADEV vore önskvärd. Mot bakgrund av rapporten rekommenderade en arbetsgrupp inom UD nu i juni att regeringen fattar beslut om att SADEV avvecklas den 31 december 2012. Arbetsgruppen föreslår också att en samlad analys utarbetas med förslag till hur utvärderingsfunktionen inom biståndet bör organiseras i framtiden.

Den som följt biståndsdebatten i Sverige de senaste åren och som är bekant med turerna kring SADEV är nog inte särskilt förvånad (Daniel har t ex skrivit om SADEV här på ekonomistas). Det finns mycket att säga om det som varit och om hur SADEV ska ”omstartas” men viktigast är i detta läge att noga tänka igenom hur biståndsutvärderingen som helhet ska organiseras. Frågan rör inte bara om ett SADEV i någon form ska finnas utan även UDs och SIDAs roll i den kedja som utgör utvärderingsprocessen.

Till att börja med kan man förstås ställa sig frågan behövs speciella resurser för utvärdering av biståndet. Här är svaret ett klart ”ja”. Det senaste decenniet har politiker kommit att betona vikten av utvärdering allt mer samtidigt som forskningen om biståndutvärdering har varit ett av de fält inom nationalekonomi som utvecklats mest. Paradoxalt nog har kapaciteten att genomföra utvärderingar inom svenskt bistånd parallellt med detta blivit sämre. De stora omstruktureringar som ägt rum på Sida och UD de senaste åren har generellt lett till en utarmning av utvärderingsfunktionen och mycket akademisk erfarenhet inom den svenska biståndsverksamheten har försvunnit. Samtidigt har SADEV som sagt inte levt upp till förväntningarna. Sammantaget måste slutsatsen bli att en förstärkning av utvärderingskapaciteten om möjligt är mer angelägen idag än när SADEV startades.

Nästa fråga är om formen med en oberoende myndighet är den uppenbart bästa. Svaret här är mer av ett ”nja”. Självständighet gentemot regeringen är självklart viktigt för trovärdigheten i den granskande funktionen, så en oberoende myndighet med fast anställda som själva står för utvärderingsarbetet låter som en bra idé. Erfarenheten från SADEV pekar dock på att faktisk självständighet samt relevans inte följer automatiskt av skapandet av en separat myndighet. Det finns exempel på utvärderingsenheter inom organisationer som garanteras oberoende på andra sätt (t.ex. IEG inom Världsbanken). En mer slimmad organisation som huvudsakligen upphandlar extern kompetens skulle kunna vara placerad inom en annan myndighet eller inom UD så länge oberoende garanteras. En relaterad fråga rör i vilken mån utvärderingar ska vara egeninitierade eller kan vara beställda av regeringen. Att möjligheten till egeninitierade utvärderingar finns är ett måste för oberoende och möjligheten att granska regeringens arbete, men ett stort problem som tas upp i Statskontorets rapport är att UDs personal ofta uppfattat SADEVs egeninitierade utvärderingar som irrelevanta. Detta har delvis berott på bristande kvalitet, men också på grund av fel fokus, eller fel timing i beslutsprocessen. Fördelen med beställda rapporter är att det är troligare att de får en faktisk påverkan på beslutsfattandet. Detta kräver dock kompetens hos den beställande parten framförallt vad gäller utvärderingsarbetets villkor som kräver framförhållning (mer om detta nedan). Det finns alltså en balansgång här som måste respekteras, men av största betydelse för trovärdigheten i utvärderingsfunktionen är förstås att de slutsatser som dras är skyddade från politisk påverkan, oberoende av om rapporten är egeninitierad eller beställd och oavsett om den organisatoriskt ligger som en separat myndighet eller inte. Det viktiga är att oberoende inte blir likställt med bortkopplat och irrelevant. Tvärtom bygger all bra utvärdering på en nära kommunikation och en delaktighet i biståndsprocessen. I slutändan beror oberoendet och kapaciteten att göra bra utvärderingar mest på ett tydligt mandat och på kompetens och i andra hand på organisationsform.

Vad bör man då fokusera på? Alldeles oavsett hur man i slutändan väljer att organisera arbetet finns några punkter som är värda att framhålla.

– Närmare koppling till utvecklingsforskningen. För den som följt forskningen inom utvecklingsekonomi det senaste decenniet är en av de mest uppseendeväckande punkterna i Statskontorets rapport problemen med utvärderingens fokus. SADEV har enligt rapporten ännu inte gjort en enda utvärdering av biståndets effekter, dvs. konsekvenserna för de som är de egentliga mottagarna av biståndet. I stället har fokus legat på processer och inre effektivitet. Denna ”process-fokusering”, som för övrigt verkar råda inom biståndsverksamheten i Sverige i allmänhet, och oförmågan att ta till sig de nya rönen inom utvecklingsforskning är mycket beklaglig. Även i Statskontorets rapport finns spår av tanken på att skilja mellan ”forskning” och ”utvärdering” och att betona att dessa ska separeras (t ex på sid 31 i rapporten). Givet missuppfattningarna på området ska vi vara tydliga: Mycket av den bästa forskningen inom utvecklingsekonomi idag handlar om utvärdering! Naturligvis inte gjort hur som helst utan med stora krav på att t ex genom randomisering kunna jämföra utfallen före och efter en specifik intervention (vaccinering, datorer, skolböcker, mjölk till barnen, etc). Rätt gjort kan man undvika problem med selektering in i programmen från de som är mer benägna att förbättra sin situation oberoende av programmet (”selection bias”) samt utesluta förändringar över tiden som också är oberoende av programmet. Denna metod har haft ett enormt genomslag inom utvecklingsforskningen. Rätt gjort kan alltså effektutvärdering (eller s.k. ”impact evaluation”) mycket väl vara forskning. Se även Daniels tidigare inlägg här). Naturligtvis är denna metod inte på något sätt är utom kritik, och framförallt är den inte lämplig för alla typer av interventioner. Infrastrukturprojekt, makroekonomiska reformprogram, stöd till demokratiseringsprocesser är exempel på verksamheter som knappast lämpar sig för randomisering (se t ex följande inlägg av Jesper här på ekonomistas och ref i det inlägget. Se även följande artiklar om boken “Poor  Economics” i senaste JEL. Boken borde för övrigt vara obligatorisk läsning för alla som funderar på utvärdering av bistånd). Men många interventioner lämpar sig mycket väl för att utvärderas på detta sätt och att det inte gjorts några sådana utvärderingar är högst beklagligt. Att säkerställa förmåga att göra detta framstår som en av de viktigaste förändringar som måste komma till stånd och här är kopplingen till relevanta forskningsmiljöer och ett nära samarbete med forskare nyckeln.

– Bra utvärderingar kräver deltagande och insyn i hela processen. En ytterligare anledning till att det inte gjorts några effektutvärderingar är sannolikt att det inte funnits tillräcklig koordination och kommunikation mellan de som implementerar insatser och de som ska utvärdera dem. God utvärdering i allmänhet kräver förstås möjlighet att studera situationen före och efter en åtgärd och detta är enklare om man är med tidigt i processen. När det gäller randomisering av insatser så är det helt essentiellt att den som ska utvärdera kan delta i designen av hur insatser implementeras. Det går nästan aldrig att komma in i efterhand och förväntas göra bra effektutvärderingar. En nyckel för bättre utvärderingar är alltså att utvärderingensfunktionen involveras tidigt i processen.

Lokalisering. Det går inte att komma ifrån att de två ovanstående punkterna har en direkt koppling till var utvärderingsfunktionen lokaliseras. Precis som poängterades i den utredning som Per Molander skrev när SADEV skulle bildas (”Ett fristående utvärderingsorgan för utvecklingssamarbetet”, 2004, som förövrigt med fördel kan läsas igen) är närheten till en stad med kompetens inom utvecklingsforskning av stor vikt. I första hand pekades Stockholm och Göteborg ut som lämpliga städer, där Stockholm också hade fördelen av närhet till regeringen och Sida. Av detta blev som bekant intet när Försvarsmakten bantades och statliga arbetstillfällen omlokaliserades. Argumenten för att lokalisera utvärderingsfunktionen till Stockholm eller Göteborg framstår idag som minst lika starka just på grund av de två tidigare punkterna.