Går det att lita på kommunrankingar?

För ett tag sedan presenterade Dagens Samhälle en besynnerlig rankinglista över årets skolkommuner och i veckan var det Lärarförbundets tur. Listorna har sina likheter men medan hög lärartäthet och en hög andel behöriga lärare resulterar i en lägre placering på Dagens Samhälles lista, så gäller det motsatta på Lärarförbundets. Sådana skillnader avspeglar naturligtvis avsändarnas intressen men kan vara svårt att se igenom vid en ytlig läsning. Man kan också konstatera dramatiska förändringar från år till år i kommunernas placeringar: på Lärarförbundets lista tappade Svenljunga kommun 194 placeringar mellan 2012 och 2013 medan Älvdalen klättrade från plats 266 till 76.

Att Svenljunga och Älvdalen inte är enskilda olycksfall i arbetet framgår av figuren nedan. Som synes är Lärarförbundets rankinglista instabil och det förefaller osannolikt att kommunernas faktiska skolkvalitet förändras så markant från ett år till nästa. En möjlig förklaring till detta mönster är att skillnaderna i praktiken är små och att placeringen mest avgörs av mätfel och slumpmässig variation. För så är det: hur små skillnaderna i praktiken än är så kommer någon kommun att hamna överst på listan medan någon annan får en bottenplacering.

rank_2012_2013

Att mätfel sannolikt är en viktig förklaring framgår när man ställer de årsvisa förändringarna mot kommunens elevantal. Kommuner med många elever — och där den slumpmässiga variationen kring diverse utfallsmått är mindre — uppvisar betydligt mindre förändringar från år till år än mindre kommuner.

storleksgrupp2

Att rankinglistor är instabila är något som lyfts fram i Gissur Erlingssons och Anders Sundells gedigna genomgång av problemen med rankinglistor. Ett annat problem som de pekar på är att placeringen i i stor utsträckning beror på att kommunerna har väldigt olika förutsättningar. Eftersom elevers skolresultat i hög grad beror på deras bakgrund är det rimligt att ta hänsyn till detta när man försöker bedöma kommunens skolkvalitet. Även om detta görs i någon utsträckning så är det i figuren nedan uppenbart att justeringarna är otillräckliga. Visst finns det en mycket stor variation mellan kommuner med samma förväntade skolresultat, men det finns också ett statistiskt starkt samband mellan elevernas bakgrund (vilket är det som i grova drag fångas av SALSA) och Lärarförbundets ranking.

salsa

Naturligtvis varken kan eller bör man hindra någon från att konstruera rankinglistor efter eget huvud eller efter egna intressen. Däremot är det inget som tvingar media att ägna dessa listor någon som helst intresse.

————–
Datamaterialet som använts ligger i denna Excel-fil. Även Sanna Rayman på SvD ondgör sig över hur kommunrankingar används.

Comments

  1. Jan-Eric Nilsson says:

    Jonas har givetvis alldeles rätt i sina kommentarer om rankinglistor. Dess enda, och kanske trots allt viktiga funktion är att de stimulerar till en diskussion kring dessa frågor vilket i sin tur förhoppningsvis ger bränsle för mera systematiska analyser. För ett antal år sedan, inte minst innan skolvalet infördes, var denna typ av frågeställning sällan förekommande i debatten.

    • Kalle says:

      Jag är inte helt säker att de egentligen stimulerar till frågeställningar om vad som egentligen är bra skola, utan den validerade delen lägger man i själva rankingen. Jag har svårt att se att någon som t.ex. rankar kommunen som avtalspart som en av sina kriterier egentligen fokuserar på något som har med kunskap och färdigheter att göra. Storleken på skolpengen, behöriga lärare, lärartäthet och andel barn i förskolan är inte direkt kända för faktorer som påverkar kunskaper hos eleverna.

Trackbacks

  1. […] finns också kritik mot denna typ av ranking, se exempelvis Jonas Vlachos. Men sammanvägningen och den publicitet som den medför, sätter ändå fokus på kvalitetsarbetet […]

  2. […] från en topplacering till botten? Eller som Örkelljunga klättra från 260 till plats 7. Läs HÄR och avgör […]

  3. […] Lärarförbundet: Bästa skolkommun Ekonomistas: Går det att lita på kommunrankingar? Carl Heath: Molnjaget – ditt digitala jag Panopticlick – Hur stort digitalt fotavtryck […]

  4. […] med kommunjämförelserna gjordes för några år sedan i bloggen Ekonomistas under rubriken ”Går det att lita på kommunrankingar?”. Den är fortfarande viktig […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s