Går det att lita på kommunrankingar?

För ett tag sedan presenterade Dagens Samhälle en besynnerlig rankinglista över årets skolkommuner och i veckan var det Lärarförbundets tur. Listorna har sina likheter men medan hög lärartäthet och en hög andel behöriga lärare resulterar i en lägre placering på Dagens Samhälles lista, så gäller det motsatta på Lärarförbundets. Sådana skillnader avspeglar naturligtvis avsändarnas intressen men kan vara svårt att se igenom vid en ytlig läsning. Man kan också konstatera dramatiska förändringar från år till år i kommunernas placeringar: på Lärarförbundets lista tappade Svenljunga kommun 194 placeringar mellan 2012 och 2013 medan Älvdalen klättrade från plats 266 till 76.

Att Svenljunga och Älvdalen inte är enskilda olycksfall i arbetet framgår av figuren nedan. Som synes är Lärarförbundets rankinglista instabil och det förefaller osannolikt att kommunernas faktiska skolkvalitet förändras så markant från ett år till nästa. En möjlig förklaring till detta mönster är att skillnaderna i praktiken är små och att placeringen mest avgörs av mätfel och slumpmässig variation. För så är det: hur små skillnaderna i praktiken än är så kommer någon kommun att hamna överst på listan medan någon annan får en bottenplacering.

Att mätfel sannolikt är en viktig förklaring framgår när man ställer de årsvisa förändringarna mot kommunens elevantal. Kommuner med många elever — och där den slumpmässiga variationen kring diverse utfallsmått är mindre — uppvisar betydligt mindre förändringar från år till år än mindre kommuner.

Att rankinglistor är instabila är något som lyfts fram i Gissur Erlingssons och Anders Sundells gedigna genomgång av problemen med rankinglistor. Ett annat problem som de pekar på är att placeringen i i stor utsträckning beror på att kommunerna har väldigt olika förutsättningar. Eftersom elevers skolresultat i hög grad beror på deras bakgrund är det rimligt att ta hänsyn till detta när man försöker bedöma kommunens skolkvalitet. Även om detta görs i någon utsträckning så är det i figuren nedan uppenbart att justeringarna är otillräckliga. Visst finns det en mycket stor variation mellan kommuner med samma förväntade skolresultat, men det finns också ett statistiskt starkt samband mellan elevernas bakgrund (vilket är det som i grova drag fångas av SALSA) och Lärarförbundets ranking.

Naturligtvis varken kan eller bör man hindra någon från att konstruera rankinglistor efter eget huvud eller efter egna intressen. Däremot är det inget som tvingar media att ägna dessa listor någon som helst intresse.

————–
^{Datamaterialet som använts ligger i denna Excel-fil. Även Sanna Rayman på SvD ondgör sig över hur kommunrankingar används.}