Omstart SADEV, eller…? Hur ska biståndsutvärderingen utformas?

Följande text är skriven av Jesper Roine och Anders Olofsgård. Anders är docent i nationalekonomi och verksam vid SITE på Handelshögskolan i Stockholm. Han har tidigare varit professor vid Georgetown University i Washington D.C. och har lång erfarenhet av forskning och policy inom internationellt bistånd.

I maj i år publicerade Statskontoret rapporten ”Utvärdering av svenskt bistånd – en översyn av utvärderingsverksamheten”. Den fokuserade framförallt på Enheten för Uppföljning och Utvärdering (UTV) på Sida och på den fristående utvärderingsmyndigheten SADEV. Översynen pekade ut många brister i utvärderingsarbetet, och betonade framförallt att SADEV inte hade levt upp till de förväntningar på myndigheten som existerade vid starten 2006 och att en ”omstart” av SADEV vore önskvärd. Mot bakgrund av rapporten rekommenderade en arbetsgrupp inom UD nu i juni att regeringen fattar beslut om att SADEV avvecklas den 31 december 2012. Arbetsgruppen föreslår också att en samlad analys utarbetas med förslag till hur utvärderingsfunktionen inom biståndet bör organiseras i framtiden.

Den som följt biståndsdebatten i Sverige de senaste åren och som är bekant med turerna kring SADEV är nog inte särskilt förvånad (Daniel har t ex skrivit om SADEV här på ekonomistas). Det finns mycket att säga om det som varit och om hur SADEV ska ”omstartas” men viktigast är i detta läge att noga tänka igenom hur biståndsutvärderingen som helhet ska organiseras. Frågan rör inte bara om ett SADEV i någon form ska finnas utan även UDs och SIDAs roll i den kedja som utgör utvärderingsprocessen.

Till att börja med kan man förstås ställa sig frågan behövs speciella resurser för utvärdering av biståndet. Här är svaret ett klart ”ja”. Det senaste decenniet har politiker kommit att betona vikten av utvärdering allt mer samtidigt som forskningen om biståndutvärdering har varit ett av de fält inom nationalekonomi som utvecklats mest. Paradoxalt nog har kapaciteten att genomföra utvärderingar inom svenskt bistånd parallellt med detta blivit sämre. De stora omstruktureringar som ägt rum på Sida och UD de senaste åren har generellt lett till en utarmning av utvärderingsfunktionen och mycket akademisk erfarenhet inom den svenska biståndsverksamheten har försvunnit. Samtidigt har SADEV som sagt inte levt upp till förväntningarna. Sammantaget måste slutsatsen bli att en förstärkning av utvärderingskapaciteten om möjligt är mer angelägen idag än när SADEV startades.

Nästa fråga är om formen med en oberoende myndighet är den uppenbart bästa. Svaret här är mer av ett ”nja”. Självständighet gentemot regeringen är självklart viktigt för trovärdigheten i den granskande funktionen, så en oberoende myndighet med fast anställda som själva står för utvärderingsarbetet låter som en bra idé. Erfarenheten från SADEV pekar dock på att faktisk självständighet samt relevans inte följer automatiskt av skapandet av en separat myndighet. Det finns exempel på utvärderingsenheter inom organisationer som garanteras oberoende på andra sätt (t.ex. IEG inom Världsbanken). En mer slimmad organisation som huvudsakligen upphandlar extern kompetens skulle kunna vara placerad inom en annan myndighet eller inom UD så länge oberoende garanteras. En relaterad fråga rör i vilken mån utvärderingar ska vara egeninitierade eller kan vara beställda av regeringen. Att möjligheten till egeninitierade utvärderingar finns är ett måste för oberoende och möjligheten att granska regeringens arbete, men ett stort problem som tas upp i Statskontorets rapport är att UDs personal ofta uppfattat SADEVs egeninitierade utvärderingar som irrelevanta. Detta har delvis berott på bristande kvalitet, men också på grund av fel fokus, eller fel timing i beslutsprocessen. Fördelen med beställda rapporter är att det är troligare att de får en faktisk påverkan på beslutsfattandet. Detta kräver dock kompetens hos den beställande parten framförallt vad gäller utvärderingsarbetets villkor som kräver framförhållning (mer om detta nedan). Det finns alltså en balansgång här som måste respekteras, men av största betydelse för trovärdigheten i utvärderingsfunktionen är förstås att de slutsatser som dras är skyddade från politisk påverkan, oberoende av om rapporten är egeninitierad eller beställd och oavsett om den organisatoriskt ligger som en separat myndighet eller inte. Det viktiga är att oberoende inte blir likställt med bortkopplat och irrelevant. Tvärtom bygger all bra utvärdering på en nära kommunikation och en delaktighet i biståndsprocessen. I slutändan beror oberoendet och kapaciteten att göra bra utvärderingar mest på ett tydligt mandat och på kompetens och i andra hand på organisationsform.

Vad bör man då fokusera på? Alldeles oavsett hur man i slutändan väljer att organisera arbetet finns några punkter som är värda att framhålla.

Närmare koppling till utvecklingsforskningen. För den som följt forskningen inom utvecklingsekonomi det senaste decenniet är en av de mest uppseendeväckande punkterna i Statskontorets rapport problemen med utvärderingens fokus. SADEV har enligt rapporten ännu inte gjort en enda utvärdering av biståndets effekter, dvs. konsekvenserna för de som är de egentliga mottagarna av biståndet. I stället har fokus legat på processer och inre effektivitet. Denna ”process-fokusering”, som för övrigt verkar råda inom biståndsverksamheten i Sverige i allmänhet, och oförmågan att ta till sig de nya rönen inom utvecklingsforskning är mycket beklaglig. Även i Statskontorets rapport finns spår av tanken på att skilja mellan ”forskning” och ”utvärdering” och att betona att dessa ska separeras (t ex på sid 31 i rapporten). Givet missuppfattningarna på området ska vi vara tydliga: Mycket av den bästa forskningen inom utvecklingsekonomi idag handlar om utvärdering! Naturligvis inte gjort hur som helst utan med stora krav på att t ex genom randomisering kunna jämföra utfallen före och efter en specifik intervention (vaccinering, datorer, skolböcker, mjölk till barnen, etc). Rätt gjort kan man undvika problem med selektering in i programmen från de som är mer benägna att förbättra sin situation oberoende av programmet (”selection bias”) samt utesluta förändringar över tiden som också är oberoende av programmet. Denna metod har haft ett enormt genomslag inom utvecklingsforskningen. Rätt gjort kan alltså effektutvärdering (eller s.k. ”impact evaluation”) mycket väl vara forskning. Se även Daniels tidigare inlägg här). Naturligtvis är denna metod inte på något sätt är utom kritik, och framförallt är den inte lämplig för alla typer av interventioner. Infrastrukturprojekt, makroekonomiska reformprogram, stöd till demokratiseringsprocesser är exempel på verksamheter som knappast lämpar sig för randomisering (se t ex följande inlägg av Jesper här på ekonomistas och ref i det inlägget. Se även följande artiklar om boken ”Poor  Economics” i senaste JEL. Boken borde för övrigt vara obligatorisk läsning för alla som funderar på utvärdering av bistånd). Men många interventioner lämpar sig mycket väl för att utvärderas på detta sätt och att det inte gjorts några sådana utvärderingar är högst beklagligt. Att säkerställa förmåga att göra detta framstår som en av de viktigaste förändringar som måste komma till stånd och här är kopplingen till relevanta forskningsmiljöer och ett nära samarbete med forskare nyckeln.

Bra utvärderingar kräver deltagande och insyn i hela processen. En ytterligare anledning till att det inte gjorts några effektutvärderingar är sannolikt att det inte funnits tillräcklig koordination och kommunikation mellan de som implementerar insatser och de som ska utvärdera dem. God utvärdering i allmänhet kräver förstås möjlighet att studera situationen före och efter en åtgärd och detta är enklare om man är med tidigt i processen. När det gäller randomisering av insatser så är det helt essentiellt att den som ska utvärdera kan delta i designen av hur insatser implementeras. Det går nästan aldrig att komma in i efterhand och förväntas göra bra effektutvärderingar. En nyckel för bättre utvärderingar är alltså att utvärderingensfunktionen involveras tidigt i processen.

Lokalisering. Det går inte att komma ifrån att de två ovanstående punkterna har en direkt koppling till var utvärderingsfunktionen lokaliseras. Precis som poängterades i den utredning som Per Molander skrev när SADEV skulle bildas (”Ett fristående utvärderingsorgan för utvecklingssamarbetet”, 2004, som förövrigt med fördel kan läsas igen) är närheten till en stad med kompetens inom utvecklingsforskning av stor vikt. I första hand pekades Stockholm och Göteborg ut som lämpliga städer, där Stockholm också hade fördelen av närhet till regeringen och Sida. Av detta blev som bekant intet när Försvarsmakten bantades och statliga arbetstillfällen omlokaliserades. Argumenten för att lokalisera utvärderingsfunktionen till Stockholm eller Göteborg framstår idag som minst lika starka just på grund av de två tidigare punkterna.

Inga varningsflagg enligt Finanspolitiska rådet

Finanspolitiska rådet är en myndighet som är satt att granska regeringens finanspolitik. Årets rapport som kom i maj var den femte i ordningen och den första som ges ut under nye ordföranden professor Lars Jonung.

Rådets dom över regeringens politik är relativt mild. Finanspolitiken beskrivs som framgångsrik, med vilket menas att utgiftstaket inte överskrids och att de offentliga finanserna är långsiktigt hållbara när man även tar statsskulden i beaktande.

Finanspolitiska rådets ordförande, Lars Jonung

Den ekonomiska kris som just nu härjar vår omvärld – och även Sverige om man ser till arbetslöshetens nivå – påverkar givetvis möjligheterna att bedriva finanspolitik. Rådet har låtit göra ett stresstest för att se varifrån de stora hoten mot den svenska ekonomin kan komma (kap. 2). Något överraskande är det inte en fallande exportefterfrågan som kortsiktigt skulle göra störst skada i vår öppna ekonomi, utan istället fallande inhemsk efterfrågan. Rådet konstaterar att det är ökad offentlig konsumtion (dvs expansiv finanspolitik) som ger de största ökningarna i BNP (s. 67). Finansminister Borg kan med andra ord gasa på med gott samvete!

Även om rapporten är huvudsakligen positiv saknas inte kritik av regeringens politik. Framför allt är rådet kritiskt till att regeringen mörkar kring skattepolitiken. Det är oklart om skatterna kommer att sänkas ytterligare, och det är även oklart varför de nya jobbskattavdragen inte införts. Här träffar rådet onekligen en öm punkt hos regeringen; att jobbskatteavdragets femte steg inte införts tror jag har att göra med att man dels inte tydligt kan konstatera att de tidigare stegen haft någon inverkan, vilket lett till ifrågasättande av satsningarna från en rad tunga forskare, dels att avdraget vållat kritik från viktiga väljargrupper, särskilt pensionärerna. Regeringen har skyllt på det osäkra makroekonomiska läget, men rådets rapport visar nu att en expansion ändå vore motiverad. Hur ska regeringen egentligen göra med skattepolitiken?

Men också rådets rapport kan diskuteras. Diskussionen om den offentliga nettoförmögenhetens utveckling är angelägen. Ekonomins “stockar”, dvs tillgångar och skulder, är centrala för finanspolitikens långsiktiga förutsättningar; hur stor buffert finns inför oförväntade utgifter, bygger dagens utgifter på att vi lånar av andra eller att vi tär på våra tillgångar? Tyvärr beaktar rapporten inte den privata sektorns – och då särskilt hushållens – balansräkning. Detta är visserligen inte primärt kopplat till finanspolitik, men hushållens nettoförmögenhet påverkar naturligtvis deras beteende gällande exempelvis konsumtion och investeringar, och dessa spelar desto större roll för finanspolitikens inriktning och utfall. (Till rådets försvar bör framhållas att Sverige faktiskt saknar en officiell nationalförmögenhetsstatistik, något som snarare SCB och finansdepartementet bör ta på sig skulden för).

Rådet kritiserades också i en debattartikel i Dagens Industri av utredare på Naturvårdsverket för att inte ta hänsyn till miljö- och klimataspekter i sin hållbarhetsanalys. Liksom vi kan finansiera offentliga utgifter genom att öka statsskulden kan man tänka sig att våra aktiviteter tär på våra naturtillgångar på ett sätt som inte är långsiktigt hållbart ur ett bredare samhällsperspektiv. Jag tycker att denna kritik är högst relevant, och hoppas att rådet förmår bygga in miljö- och klimathänsyn i sitt framtida arbete.

Ytterligare en brist i rådets rapport är avsaknaden av fördelningspolitiska perspektiv. Detta inslag är dock under upparbetande. Rådet beställde i år ett antal underlagsrapporter (skrivna av bl a Jesper Roine och mig själv) och den nytillträdde rådsledamoten professor Anders Björklund borgar för ökat fokus på fördelningsfrågor.

Sett till sin helhet är årets rapport från Finanspolitiska rådet en genomarbetad och gedigen utredning. Behovet av kvalificerad politikgranskning är stort, och här fyller rådet en viktig uppgift. Jag ser fram emot nästa års rapport.