Den främsta slutsatsen av SNS-rapporten Konkurrensens konsekvenser var den påfallande bristen på utvärdering av konkurrensutsättningen i välfärdssektorn. Det kan tyckas vara en självklarhet att systematiskt utvärdera alla större politiska förändringar, men uppenbarligen sker detta ofta inte. En bidragande orsak till detta är att politikerna själva inte är så intresserade av att underlätta utvärdering av den politik de genomför. Därför tror jag det skulle behövas någon slags institution som har till uppgift att bevaka att det i största möjliga mån skapas möjligheter att utvärdera politiska reformer. Kanske skulle denna funktion kunna fyllas av en särskild ombudsman för forskning och utvärdering?
En sådan ombudsman skulle i så fall behöva ges ett stort mått av oberoende. Det är viktigt att ombudsmannen själv inte genomför utvärderingar eftersom den då förr eller senare kommer läggas ned av politiska skäl. Den uppgiften åligger dessutom redan flera olika aktörer, till exempel Riksrevisionen, enskilda forskare och privata organisationer (såsom SNS). Ombudsmannens uppgift skulle alltså vara att bidra till att möjliggöra utvärdering. Dess främsta uppgift skulle vara att agera som remissinstans inför politiska förändringar och påpeka hur man skulle kunna underlätta framtida utvärdering av föreslagna reformer. Mig veterligen saknas detta perspektiv inför de flesta reformer (några undantag är finns dock, till exempel försöket med trängselskatt och starkölsförsäljningen i vanliga butiker på 60-talet).
Det finns ett antal olika sätt att underlätta framtida utvärdering av politiska reformer. Det mest basala är att se till att relevant data sparas och görs tillgänglig för forskning. Ombudsmanen borde dock också vara pådrivande för att reformer genomförs på ett sätt som underlättar utvärdering. Ett exempel är att inte genomföra reformer samtidigt i hela landet och ett annat att verka för att politikerna även i vissa fall ska använda sig av randomisering för att underlätta utvärdering. I många fall kommer detta vara politiskt omöjligt, men jag tror det ändå kan finnas skäl att institutionalisera en röst som konsekvent reser detta slags krav.
En sådan ombudsman skulle kanske också kunna få som uppgift att övergripande övervaka att forskning och utvärdering underlättas. I Sverige är vi bortskämda med fantastisk registerdata som förmodligen skulle kunna utnyttjas än mer. Till exempel skulle forskare kunna anmäla hinder de stöter på i kontakten med myndigheter när det gäller tillgången till sådan data till en sådan ombudsman. Även om jag själv haft goda erfarenheter som forskare i kontakten med andra myndigheter, hörs det från forskarhåll till exempel ofta klagomål på att SCB:s prissättning är oförutsägbar och att de inte tillämpar marginalkostnadsprissättning.
Ekonomistas 
Ett utmärkt förslag!
Ett utvärderingsinstitut skulle märkbart öka möjligheterna att garantera att goda metoder använts och att mediokra angreppssätt i samhället mönstrades ut.
Ernst Wigforss sa något klokt om betydelsen av en kunskapsbaseerad politik i ett programtal på temat “Socialismen – dogm eller arbetshypotes” han höll i Uppsala för 86 år sedan, år 1925. “Är man tvungen att ta del i ett samhällsexperiment, bör man känna sig åtskilligt lugnare, om de som ha ledningen, förstå vad de har för händer och inte tro sig äntligen ha funnit det enda riktiga sättet att förverkliga eviga principer”
Det som år 1925 var högaktuellt i en intern socialdemokratisk diskussion om mål och medel i pollitken kan mycket väl omsättas på det nyliberala samhällsexperiment vi genomlider idag. Tänk om någon nyliberal politiker idag var lika klok som Ernst Wigforrss var då.
Bara ett sista citat, som väl speglar viljan till kunskapsbaserad regeringspolitik idag. Denna gång hämtad från Bo Bernhardssons ledare i Efter Arbetet.
“Det spelar ingen roll vem som driver äldrevården, skolan eller lasarettet, heter det i högerpropagandan, det viktiga är att värna kvaliteten. Men sådana påståenden är bara aningen klokare än om en bonde skulle säga att han inte har något emot rävar i hönsgården, bara de är vegetarianer.”
Tanken är god, bristen på analys inför och utvärdering efter stora beslut är ofta stor. Men är beslutsförslaget inte lite väl cyniskt/pessimistiskt? Ligger mycket i att “Det är viktigt att ombudsmannen själv inte genomför utvärderingar eftersom den då förr eller senare kommer läggas ned av politiska skäl.”, men att ha en ombudsman vars främsta uppgift är att vara remissinstans känns väl tamt.
Det finns ju exempel på liknande, fast mer nischade, inrättningar som överlevt. Man kan resonera att det måste kopplas politisk prestige till inrättningen för att den ska överleva. Lyckas man dessutom koppla det till myndighetstrenden utförare – regelansvarig – utvärderare (exempelvis Trafikverket – Transportstyrelsen – Trafikanalys) kan det ha goda chanser.
“Utvärdera politiska reförmer” ??
Vilken kontrollenhet har blivit kvar där?
Kontrollenheten av sjuka o sånt, den kollar ju andra, den kollar ju inte egna beslut.
Riksrevisionen vart ju vinklippt för några dec. sedan, nu sist Regeringens egna expertgrupp då den ju inte var så positiv.
Inte ens en författning verkar kunna fixas, den kan ju gå emot skaparen ju.
Ett annat bra exempel från historien är grundskolans införande under 1960-talet som gjordes etappvis för att möjliggöra utvärdering, som bland annat Meghir och Palme (200X) har gjort i en topptidskrift. Synd bara att de senaste 50 åren har varit befriade från utbildningsreformer som gjorts utvärderingsbara…
Från skolans värld är en vanlig invändning att det är orättvist att göra experiment, tex i form av att vissa områden/skolor provar en särskild metod, eftersom metoden kan visa säg bättre eller sämre än den som används på grannskolan. Men det finns inte mycket i detta resonemang eftersom skolan kan karakteriseras som en enda stor experimentverkstad, med den viktiga skillnaden jämfört med en systematiskt genomförd försöksverksamhet att den ytterst sällan utvärderas och goda resultat lika sällan sprids till andra delar av skolan. Ett myller av okontrollerade experiment alltså, med konsekvensen att kvaliteten i undervisning mm står och stampar eller kanske tom går tillbaka. Denna “trial-and-error”-metod är utbredd och utgör ett stort problem, menar tex Konsensusprojektet (2005), ang läs- och skrivinlärning, och SOU 2010:95 om arbetet med barn i behov av särskilt stöd. Är benägen att hålla med.
Så varför inte en ombudsman för utvärdering eller motsvarande funktion! Återstår dock att övertyga politiker om att deras idelogiska kompass kanske inte alltid visar rätt och att de ödmjukt prövar sin politik i liten skala först så att ev felsteg slipper bli en last för hela landet…
Bitvis verkar det väl gå framåt, när det gäller utvärderingsmöjligheterna inom skolan?
“Så varför gör ni då om Salsa?
— Därför att det verktyget har spelat ut sin roll. Framöver kommer vi att kunna gå över till ett system som internationellt kallas »value-added school effect«, som på ett bättre sätt kan slå fast vad en skola har bidragit med i elevens kunskapsutveckling, genom att jämföra resultaten över tid. Det blir möjligt i och med att nationella prov och betyg nu kommer tidigare än förut.”
http://www.lararnasnyheter.se/lararnas-tidning/2011/11/16/skolverkets-doldis-star-upp-salsa
Camilo: “orättvist att göra experiment”, fullträff i den kommentaren.
Ang Konsensusprojektet, så hitta man tragiska formuleringar i den skriften:
“Jag är sorgsen över att det är så fult att försöka upptäcka läs-och skrivproblem” (Språkvetare)
Click to access konsensusprojektet2006.pdf
Invändning att det är orättvist att göra experiment är just också märklig om man ex-ante faktiskt inte vet om en intervention är bra eller dålig
Jag tror inte jag är överdrivet cynisk, Matts. Kritisk utvärdering är känsligt. Finanspolitiska rådet lever farligt att döma av Anders Borgs uttalanden om rådet. ESO har lagts ner och sedan återuppstått. Expertgruppen för miljöstudier lever farligt enligt medieuppgifter för någon vecka sedan.
När det gäller de specifika formerna för en sådan här institution är jag ganska osäker vad som vore bäst. Mitt inlägg syftade huvudsakligen till att ta upp en fråga som jag tycker är väldigt viktig och åtminstone försöka skissa på någon slags idé för att komma till rätta med problemet. Men det finns säkert bättre lösningar. Om det sen finns politisk vilja att skapa en sådan institution och politisk prestige att hålla den vid liv är en annan fråga.
Robert, notera att jag inte tycker att din analys är överdrivet cynisk. Att kritisk utvärdering är känsligt går att hitta hur många exempel som helst på. Att plädera för mer utvärdering är rättfram och får alltid ekonom/utredarkårens lovord.
Det är beslutsförslaget jag tycker är för försiktigt. Jag tycker inte att man kan se den politiska viljan och prestigen som “en annan fråga”. Den behöver finnas för att en dylik institution ska ha en chans.
Med tanke på det nya betygssystemet:
Införs detta på ett sätt som ökar möjligheterna till utvärdering?
Kan vi verkligen se »value-added school effect«, med vårt nya betygs och testsystem?
Är det inte lämpligt att friskolor lyder under samma regler för arkivering, som kommunala skolor? Det kan bli rätt svårt att forska om en massa material har slängts. (Min gissning är också att andelen friskolor som upphör är väsentligt högre, med risk att forskningsrelevant material oavsiktligt försvinner. Detta motiverar antagligen något strängare arkiveringsregler för friskolor.)
Jag tycker det är ett väldigt bra förslag som det borde vara möjligt att få stöd för från både vänster och höger. Stödet för att politiken ska vara evidensbaserad är stort i Sverige, och vi har ju ombudsmän för allt möjligt annat.
Dock tycker även jag att man ska vara mer offensiv. En sådan ombudsman skulle kunna verka för att göra politiska beslut mer evidensbaserade i största allmänhet. Denne skulle kunna föreslå att inrätta nya myndigheter eller expertgrupper, kritisera politiker som inte utrett frågor ordentligt, kritisera politiker som lägger ner expertgrupper eller myndigheter av partipolitiska skäl, etc. (Man kan t o m tänka sig att skapa en lagstiftning som inskränker politikernas möjligheter att göra det senare.)
Idealiskt sett borde en sådan ombudsman finansieras på ett så oberoende sätt som möjligt för att garantera det politiska oberoendet. En lösning liknande SvT:s är kanske inte möjlig, men en annan möjlighet är att de flesta av partierna kom överens om att inte minska ombudsmannens anslag med mindre än att de alla är överens (jmf pensionsöverenskommelsen).
Det finns många aspekter att fundera på här. Men jag tycker definitivt att det är en fråga värd att driva.
I synnerhet dessa dagar känns det extra angeläget att försöka disciplinera politikerna lite… Skämt åsido, ingen skulle bli gladare än jag om denna idé utvecklades vidare — det finns en hel del att fundera på varav en del togs upp i kommentarstråden ovan.
När det gäller att ge en sådan institution både oberoende och makt är jag dock lite kluven — Riksbanken är ett bra exempel på att de finns en hel del risker förenade med sådana institutioner.
Ja det är en knivig fråga. Om den skulle ha formell makt skulle det vara viktigt med någon form av kvalitetskontroll, det håller jag med om.
Om den däremot inte skulle ha det talar däremot mer för att den borde vara så oberoende som möjligt. Både SvT och universiteten försöker man ju göra så oberoende som möjligt. Det tycks mig vara något inkonsekvent att detsamma inte gäller rådgivande expertmyndigheter.