Metodstrid om friskolor i PISA

Det är inte ofta som skillnader mellan olika ekonometriska modellspecifikationer skapar rubriker i media men när PISA-undersökningen släpptes för några veckor sedan hände just detta. Orsaken var att OECD hävdade att svenska friskolor presterade sämre än kommunala skolor medan Skolverket kommit fram till att skillnaden mellan offentliga och privata huvudmän var liten och statistiskt osignifikant. Eftersom det är samma datamaterial som används kan det vara värt att klargöra vari skillnaden mellan OECD:s och Skolverkets analyser består.

Sett till rena PISA-poäng så uppvisar friskolor bättre resultat än kommunala (kolumn 1 nedan). Resultatskillnader mellan skolor beror emellertid främst på vilka elever som går på skolorna och elevunderlaget skiljer sig markant mellan fristående och kommunala grundskolor. För att uttala sig om några mer djupgående skillnader i skolkvalitet måste därför hänsyn tas till elevunderlaget. I PISA-data finns ett index över elevernas sociala bakgrund (ESCS) samt indikatorer på deras eventuella utländska bakgrund som kan användas till detta syfte. En justering med hjälp av dylika indikatorer är bättre än inget, men de fångar knappast alla relevanta skillnader mellan elever; både barn till väletablerade diplomater och flyktingbarn med hackig skolgång bakom sig har “utländsk bakgrund”. Även mellan elever med likartad social bakgrund finns en stor spridning i studieförmåga, motivation och intresse.

Skolverket justerar för elevernas bakgrund genom att ta hänsyn till ovan nämnda indikatorer på individnivå. Den konceptuella fråga som man då försöker besvara är om PISA-resultaten skiljer sig mellan friskolor och kommunala för jämförbara elever (givet då att de verkligen är jämförbara, vilket är tveksamt). Svaret är att skillnaderna är små och inte statistiskt signifikanta (kolumn 2). En tolkning av detta är att en elev kan förväntas uppnå samma resultat på en representativ kommunal skola som på en representativ friskola.

OECD nöjer sig i sin analys inte med att ta hänsyn till bakgrundsindikatorerna på elevnivå utan lägger till skolans genomsnittliga värden av samma indikatorer. När dessa läggs till modellen gör de fristående skolorna sämre ifrån sig än de kommunala (kolumn 3). De kommunala skolornas fördel i denna specifikation är nästan lika stor som deras nackdel i råa ojusterade data. Den skattade skillnaden är ungefär lika stor för PISA:s tre ämnesområden men bara statistiskt signifikant för matematik.

Den konceptuella frågan bakom OECD:s analys är om jämförbara elever presterar bättre eller sämre på fristående eller kommunala skolor som har jämförbara sociala förutsättningar. Ett alternativt sett att se på resultatet är därför att de fristående skolorna i PISA-undersökningen är sämre än de kommunala på att förvalta jämförbara elevunderlag.

Även om skillnaden mellan de konceptuella frågorna är tydlig så är empirin inte lika glasklar. I OECD:s och Skolverkets analyser används trots allt exakt samma data, den är bara aggregerad på olika sätt. Denna aggregering gör att hänsyn tas till kontrollvariablerna på ett mer flexibelt sätt vilket är att föredra. Aggregeringen minskar också de problem med mätfel som finns i kontrollvariablerna, då sannolikt främst i det socioekonomiska indexet som bygger på elevrapporterade uppgifter.

Det mesta talar alltså för att OECD:s analys är mer relevant än Skolverkets men det beror delvis på vem som ställer frågan. För den som står i begrepp att välja skola kan det vara bättre att välja en socioekonomiskt starkare friskola än de kommunala skolor som finns tillgängliga för familjen i fråga. Att det vore ännu bättre att välja en socioekonomiskt stark kommunal skola är en klen tröst om sådana inte finns att tillgå. Samtidigt är det naturligtvis i samhällets intresse att skolorna förvaltar sitt elevunderlag så väl som möjligt.

Alldeles för stora växlar ska inte heller dras av resultat som dessa. Skillnaderna mellan skolorna kan inte tolkas kausalt då hänsyn knappast har tagits till alla relevanta skillnader mellan eleverna på fristående och kommunala skolor. Huruvida perfekta kontroller skulle öka eller minska de kommunala skolornas fördel går det i nuläget bara att spekulera kring. Det ska också hållas i minnet att PISA är en urvalsundersökning och risken finns alltid att urvalet inte är helt representativt, även om inget uppenbart tyder på att detta skulle vara ett problem.

Resultaten av dessa övningar visar med all önskvärd tydlighet att vilken empirisk ansats som används för att analysera skoldata i grunden kommer att påverka vilka svar man får. Nästa gång någon säger något i stil med att “kvalitetsuppföljning ska fokusera på mätbara resultat” är det därför lämpligt att följa upp med en fråga om vilken empirisk modell som ska användas. Frågan därpå kan gälla rättssäkerheten i de påföljder tillsynsmyndigheterna ska besluta om baserat på sina empiriska analyser.

***

Not: Underlaget till detta inlägg kommer från ett PM som Skolverket föredömligt snabbt tagit fram för att belysa skillnaderna mellan myndighetens och OECD:s ursprungliga analyser. Detta PM har diarienummer 5.1.2-2014:683 och innehåller även motsvarande analyser av förra PISA-undersökningen. Skillnaderna mellan fristående och kommunala skolor var då små och inte statistiskt säkerställda (enligt modell (3) i ovanstående tabell).