SADEV i kris

För ett par veckor sedan skrev jag ett inlägg om hur krisen i SIDA indikerar att även den myndighet som ska granska SIDA, Institutet för utvärdering av internationellt utvecklingssamarbete (SADEV), har problem. Jag avslutade inlägget med en uppmaning till UD att fundera över om den nuvarande strukturen för SIDAs granskning är adekvat.

Efter mitt inlägg fick jag flera mejl från personer med både god kännedom och starka åsikter om SADEVs arbete. Tonen var överlag mycket kritisk gentemot SADEV och dess ledning. Så här skriver en person (som godkänt citering) med god insyn i myndigheten:

Det finns mycket att berätta om nedlagda utvärderingar, utvärderingsförslag som förkastas, en ledning som saknar kunskaper i kvalificerad utvärdering, ledarskap, utveckling och bistånd, och utvärderingar som aldrig fokuserar på biståndets resultat.

Vidare antyds en undergivenhet och ojsälvständighet gentemot UD, vilken yttrar sig i att SADEV inte vill (eller vågar?) inleda granskningar utan först be UD om lov, att UD ska konsulteras under utvärderingarnas gång samt att man dessutom ber UD om lov att få publicera en gjord utvärdering.

Kritiken är givetvis mycket allvarlig. Om man ska tro den anonyme visselblåsaren ovan är SADEV en myndighet i djup strukturkris och situationen kommer inte att förbättras av sig själv eftersom orsaken till problemen finns i SADEVs egen organisation och verksledning.

Den naturliga följdfrågan är om de ansvariga på UD är medvetna om situationen i SADEV. Sverige spenderar nästan 30 miljarder kronor på bistånd men verkar sakna en adekvat extern granskning av hur pengarna används. Är det så UD vill ha det?

Vilken skuld har SADEV i Sidas kris?

Att mångmiljardmyndigheten Sida har problem är uppenbart. Trots ny ledning, och en av regeringen genomdriven fokusering i biståndsverksamheten förefaller bristerna i projektledning och uppföljning vara stora. Även om kritiken denna gång till stor del handlar om bristande ekonomistyrning i den interna förvaltningen uttryckte biståndsminister Gunilla Carlsson igår på Newsmill även skarp kritik mot Sidas biståndsarbete. Idag (27/5-10) sparkades också Sidas GD Anders Nordström.

Här på Ekonomistas har vi ett flertal gånger försökt lyfta fram åtgärder och förslag som skulle kunna förbättra Sidas biståndsverksamhet. Exempelvis har vi diskuterat för- och nackdelar med randomiserade experiment för att bättre kunna förstå vilket bistånd som fungerar och vilket som inte gör det (se t ex här, här, här, och här).

Men Sida är inte ensamt om att ha en del i problemen. Sedan 2006 finns en särskilt myndighet vars enda uppgift är att utvärdera Sida och det svenska biståndets struktur och effektivitet. Denna myndighet heter Institutet för utvärdering av internationellt utvecklingssamarbete, men dess anställda använder hellre den anglicistiska akronymen SADEV. Förra året lade regeringen över 20 miljoner av skattebetalarnas pengar på SADEV:s budget.

Har då SADEV varnat för de biståndsrelaterade problemen på Sida? Har SADEV föreslagit förbättringar? Jag vet faktiskt inte. Biståndsministerns uttalanden igår och idag nämner inget om detta. Och inte heller en stunds letande på SADEVs hemsida gör mig klokare.

SADEVs startsida ägnar istället störst utrymme åt sin egen utvärdering av Sidas demokratistödsprojekt, vilka utgör ”hela” 0,3% av de totala biståndsutgifterna (75 mkr av 24,7 mdr kr). SADEV verkar även ägna mycket tid åt ideologisk eller doktrinär utvärdering. I rapporten Mainstreaming the Environment: Does Sida Conceptualize the Poverty-Environment Linkages in Accordance with the Global Norm? granskas den interna och externa koherensen i konceptualiseringen (ja, de skriver faktiskt så) av sambandet mellan miljö och fattigdom (och Sida får godkänt). Inte heller verkar det finns någon pågående utvärdering av Sida utifrån de problem som biståndsministern lyft fram. De projekt som listas under ”pågående utvärderingar” berör istället jämställdhet och kvinnors roll i utveckling och Parisdeklarationens principer.

Vem granskar granskaren? Sköter SADEV sina uppgifter som granskare av Sida? Jag har ingen aning, men jag tycker att UD borde fundera över om den nuvarande strukturen för utvärdering av svenskt biståndsarbete är adekvat.

Länkar: SvD1234, DN123

Är biståndslotteri de fattigas räddning?

Att biståndspolitiken kört fast är ingen nyhet. I femtio år har västvärlden hällt närmare 15 000 miljarder kronor i bistånd över fattiga länder utan att dessa lyfts ut sitt armod. Ingen seriös studie har övertygande kunant visa att u-landsbistånd verkligen har långtgående positiva effekter på fattiga länders utveckling.

Men nu kanske en ändring är på väg. En konferens i maj på Brookings-institutet i Washington samlade en grupp nationalekonomer med expertis på utvecklingsfrågor för att fundera över hur biståndet ska förändras för att verka bättre. Bland de mest uppmärksammade förslagen är att biståndsorganen ska ta lärdom från årtionden av utvärderingar av läkemedel, arbetsmarknadspolitik och andra områden där randomiserade  experiment använts. Grundprincipen är att utsätta vissa, slumpmässigt utvalda, grupper för en viss åtgärd och sedan jämföra utfallet med andra, helt likvärdiga, grupper som inte utsatts. Problemet är ofta med samhällsnära fenomen att det finns en mängd faktorer och processer som kan tänkas påverka studieobjekten vilket försvårar utsagor om åtgärdernas inverkan. Användandet av behandlings- och kontrollgrupper möjliggör därför slutsatser om orsakssamband där dessa tidigare inte kunnat dras.

Ett exempel: i Kenya genomfördes 2002 ett experiment där barn vissa slumpmässigt utvalda skolor fick gratis skoluniform och läromedel. I jämförelse med likvärdiga barn i andra skolor uppvisade barnen som fått gåvorna högre ambition, vilket resulterade i bättre inlärning och högre andel som fortsatte studera efter grundskolan.

En experimentell utvärdering av biståndspolitiken löser inte alla problem, men det är nog en väg att gå. Något för SADEV att sätta tänderna i… (oj, visste du inte vad SADEV är? Jo, det är ju den av framlidne Jan Bergkvist till Karlstad utlokaliserade myndigheten för biståndsutvärdering).