Tidningen Dagens Samhälle har nyligen presenterat en rankinglista över Sveriges skolkommuner. Rankingen som visar att Täby, följd av Danderyd och Lidingö, är Sveriges bästa skolkommun väcker en hel del frågor och det finns all anledning att ifrågasätta undersökningen.
Dagens Samhälles rankinglista utger sig för att mäta “skoleffektivitet” där ett index baserat på ett antal utfall ställs mot ett index baserat på ett antal mått över olika insatsfaktorer. Detta är inte helt tokigt tänkt om man vill fånga hur hög produktiviteten är i olika kommuners skolor.
Problemen börjar när man undersöker vad som utgör Dagens Samhälles utfallsindex. Detta är ett genomsnitt av normerade resultat på olika nationella prov, betyg, högskolebehörighet och andelen som studerar vidare på högskola. Eftersom det är välkänt att studieresultat är starkt beroende av familjebakgrund så är det oklart vad detta index säger annat än att barn till välavlönade och högutbildade tenderar att lyckas bättre i skolan och studera vidare i högre grad än andra.
Det är emellertid värre än så. För två av utfallsmåtten har nämligen Dagens Samhälle använt sig av så kallade SALSA-värden (vilket framgår tydligt här). SALSA-värden bygger inte på faktiska skolresultat i en kommun, utan speglar vilka skolresultat man borde förvänta sig givet elevernas sociala bakgrund. Med hjälp av sådana mått kan man omöjligen finna något annat än att socioekonomiskt starka kommuner som Täby och Danderyd uppvisar goda resultat, just då socioekonomiskt starka elever i genomsnitt uppvisar goda resultat.
När man sedan går till indexet över insatsfaktorer, det vill säga nämnaren i den kvot som utgör “skoleffektivitet”, väcks nya frågor. Man hade kunnat tänka sig att utfallsmåttet ställdes mot de totala kostnaderna per elev för att driva skolor, men så är inte fallet. Istället används ett normerat genomsnitt av totalkostnad per elev, kostnadsandelen för undervisning (dvs lärarlönernas andel av skolbudgeten), andelen behöriga lärare och lärartäthet.
Att på detta godtyckliga sätt skapa ett index över resursanvändningen får mycket märkliga konsekvenser. En kommun som för en given totalkostnad anställer en stor andel behöriga lärare kommer exempelvis att uppvisa lägre “skoleffektivitet” än en kommun som lägger samma budget på att anställa obehöriga lärare. På vilket sätt det skulle vara mer effektivt att anställa obehöriga än behöriga lärare, eller för den delen att lägga en stor andel av skolbudgeten på lokaler istället för lärare, är oklart. Klart är emellertid att Dagens Samhälle framställer kommuner som hellre lägger skolbudgeten på lärare än på annat som mindre effektiva.
Vad Dagens Samhälle visat är alltså i princip att det är lättare att för en låg kostnad få barn till högutbildade höginkomsttagare att uppnå goda studieresultat än andra. Detta välkända faktum har sedan Dagens Samhälle valt att skala, upp eller ned, med hjälp av godtyckligt valda mått på diverse insatsfaktorer. Sannolikt kan inga slutsatser alls dras av denna övning och då har vi inte ens börjat prata om hur godtycklig betygsättning och rättning av nationella prov kan påverka slutsatserna.
Dagens Samhälles ranking har fått stort genomslag i medierna och man kan bara hoppas att den inte får något genomslag på den praktiska skolpolitiken. Den enda slutsats jag kan dra är att den spridning mellan kommuner som trots allt uppvisas gör att man kan ifrågasätta om kommunalt huvudmannaskap är förenligt med en likvärdig skola.
Läs även gärna Anders Sundells analys av Dagens Samhälles nyhet att borgerligt styrda kommuner uppvisar bäst studieresultat.
Ekonomistas 
Du skriver “Den enda slutsats jag kan dra är att den spridning mellan kommuner som trots allt uppvisas gör att man kan ifrågasätta om kommunalt huvudmannaskap är förenligt med en likvärdig skola.” Men kan man ens dra den slutsatsen av materialet, givet de mätproblem du pekar på?? Sedan är det en annan sak att slutsatsen antagligen ändå är korrekt.
Nej, egentligen inte. Denna slutsats var till stor del baserad på min tidigare kunskap om spridningen i några av de ingående måtten.
Utmärkt dissektion!
Men jag håller med Nilsson om att det inte är lätt att förstå grunden för den sista meningen givet metodproblemen som du pekat på.
Varför har förstatligande plötsligt blivit ett mantra? Underhållet av järnvägar är statligt. Det kritiska är väl att 1) veta vad som behöver göras 2) veta hur mycket resurser som behövs 3) ha politiska institutioner som kan prioritera och leda verksamheter. Det är svårt både på kommunal och statlig nivå.
I fallet skola är likvärdigheten mycket viktigare än i järnvägsunderhållet. Förbättrad järnväg på en sträcka underlättar trafiken även på eftersatta delar av systemet. För eleverna i en kommun som inte prioriterar skolan är det i allt väsentligt (konkurrens om jobb och vidare studier) dåligt om grannkommunen gör det.
Bra genomgång!
Det finns en obehaglig motsättning mellan skollagen som är en rättighetslagstiftning för elever och att huvudmän jämför sig själva med ekonomiska effektivitetsmått. Skolor med dåliga resultat som är tillräckligt billiga (färre lärare) blir en fjäder i hatten för en kommundirektör, eller ger god vinst till aktieägarna för en friskoledirektör.
En plågsamt obehaglig och påtaglig motsättning som för oss som i dagsläget är helt beroende av att skolledare har kunskap om, och vilja att, avsätta de ganska stora resurser som behövs för enstaka barn med neuropsykiatriska funktionsnedsättningar som t ex autism. Helt beroende efter som de enligt skollagen inte är berättigade/berättigar till några extra resurser, och som normalbegåvade varken tillhör eller efter 2011 ens får gå i särskola.
Resultaten pekar väl ändå på att faktorer som hög lärartäthet och hög andel behöriga lärare inte påverkar resultaten nämnvärt? Vilket är intressant då många framhäver dessa som framgångsvägar.
Nej, det finns inget i undersökningen som anlyserar denna fråga. Däremot finns det annan forskning som visar att mindre klasstorlek och dess nära släkting lärartäthet leder till bättre skolresultat.
Det finns antagligen ingen undersökning av detta, men inkluderingstanken som drivs ideologiskt och oftast tolkas som att alla oavsett behov skall kunna undervisas i samma klassrum, och storleken på den klassen, samvarierar med högsta sannolikhet.
Det finns självklart ett stort antal faktorer som påverkar en elevs studieresultat. Av Jonas beskrivning får att intrycket att det är känt sen tidigare att den viktigaste faktorn är om eleven har välutbildade föräldrar. När sedan Dagens Samhälle gör sin lista försöker dom inte på något sätt ta hänsyn till att föräldrarnas utbildningsgrad är den dominerande faktorn för en elevs skolprestationer, och deras lista domineras helt av den här faktorn. Alltså har Dagens Samhälle i praktiken undersökt var det bor högutbildade föräldrar genom att titta på skolresultaten i hela Sverige, vilket kanske är intressant om man jämför deras utfall med andra metoder för att uppskatta utbildningsgraden och ser några anmärkningsvärda skillnader
“Behöriga lärare” är ett vilseledande begrepp. Det anger endast hur stor andel av
lärarna på en skola som har pedagogisk examen, inte hur stor del av undervisningen
som lärare med rätt utbildning per ämne ansvarar för. Kvackningen är omfattande.
Speciellt i matematik och naturvetenskapliga ämnen. All cred till GP:s skollag av
1991 för att det blivit så.
Angående användningen av SALSA verkar det som att man använt sig av (bland annat) det “SALSA-korrigerade” meritvärdet. Borde inte det vara det minst problematiska resultatmåttet i sammanhanget med tanke på att det innebär att åtminstone viss hänsyn tas till elevsammansättningen?
Annars är det väl bara att hålla med om att det är märkligt att göra en “effektivitetsranking” där de underliggande förutsättningarna för att uppnå goda resultat mest behandlas som en restpost.
Så hade det varit om de använt sig av SALSA-residualerna. De har dock (läs länk i inlägget) använt sig av själva SALSA-värdet, dvs det förväntade meritvärdet givet socioekonomisk komposition.
Om man använt sig av enbart av det modellberäknade värdet (och inte av residualen i någon form) vore ju det mycket riktigt rätt barockt (vad skulle poängen vara?).
Det som förvirrade mig var att jag tolkar texten som du länkar till som att DS använt sig av någon form av “SALSA-korrigerat” meritvärde som baseras på faktiska meritvärden som sedan modifierats med hänsyn till de bakgrundsfaktorer som SALSA tar hänsyn till.
Det skulle åtminstone vara mindre bisarrt än att lägga in det värde som SALSA förutsäger för en viss kommun. Men det kan ju vara så att DS försöker släta över ett misstag genom att uttrycka sig tvetydigt. Trots allt vore ju det enklaste att helt sonika använda de enkelt tillgängliga residualerna.
Det kan finnas två anledningar. 1) Man förstår inte vad man gör. 2) Man vill få kommuner med gynnsam socioekonomisk sammansättning att framstå som särskilt framgångsrika skolkommuner. Jag har ingen möjlighet att avgöra vilken av dessa förklaringar som stämmer.
Dagens DN har en debattartikel på detta tema, och med samma synpunkter som Jonas framför.
De säger också att “dagens” Fokus har sin årliga ranking av Sveriges kommuner och toksågar den, återigen av samma skäl. Jag säger dagens inom citationstecken för åtminstone jag får min Fokus på fredagar, så jag har ännu inte läst årets ranking. Baserat på tidigare års listor har de dock helt rätt. Maken till strunt får man leta efter, där man helt godtyckligt hittar på en lång, lång rad kriterier, halvt godtyckligt rangordnar varje kommun enligt dessa kriterier och sedan i strid med allt matematiskt förnuft summerar alla rankingpoäng och rangordnar baserat på detta.
Det kan helt enkelt inte bli mer galet än så. Väldigt synd, eftersom Fokus annars är en av få läsvärda tidningar i Sverige.
Debattartikeln nämner också att det faktiskt får negativa konsekvenser att göra dessa rankinglistor och dela ut olika pris baserat på dessa eller liknande godtyckligheter. Där kan jag tyvärr konstatera att de har helt rätt. Många kommuner i Sverige tycker att det är enormt viktigt att vinna “årets IT-kommun”, “årets kvalitetskommun” och liknande utmärkelser, och tvekar inte att ta resurser från den riktiga verksamheten och lägga på insatser som befrämjar resultaten i jippotävlingarna.
En nära vän till mig började jobba i en kommun ganska nyligen. Min väns chef sa att alla frågor var välkomna utom “hur i h-e- kunde kommunen vinna pris som årets kvalitetskommun”…
Ja rent akademiskt håller DS jämförelse ju inte måttet, om det nu är akademiska utvärderingar vi ska jämföra med. Det vanliga är väl annars att media använder sig av en enda observation, som de sedan härleder diverse policyrekommendationer och visdomar utifrån. Om jag minns rätt var det den sortens journalistik Dagens Samhälle förtjänstfullt kritiserade en gång i tiden (och jag gissar att detta är skälet till att folk överhuvudtaget bryr sig om vad DS har att säga idag).
Rankingar kan alltid ifrågasättas då det är så många faktorer som påverkar. Men att höga kostnader med automatik leder till höga resultat är en myt som måste slås hål på. Det intressanta är ju vad resurserna används till och hur de fördelas.
Är det någon som driver myten att höga kostnader automatiskt leder till höga resultat? Om inte har jag svårt att se det som viktigt att punktera den myten.
På vilket sätt bidrar den ranking som diskuteras här till ett bättre användande av resurserna?