Metodstrid om friskolor i PISA

Det är inte ofta som skillnader mellan olika ekonometriska modellspecifikationer skapar rubriker i media men när PISA-undersökningen släpptes för några veckor sedan hände just detta. Orsaken var att OECD hävdade att svenska friskolor presterade sämre än kommunala skolor medan Skolverket kommit fram till att skillnaden mellan offentliga och privata huvudmän var liten och statistiskt osignifikant. Eftersom det är samma datamaterial som används kan det vara värt att klargöra vari skillnaden mellan OECD:s och Skolverkets analyser består.

Sett till rena PISA-poäng så uppvisar friskolor bättre resultat än kommunala (kolumn 1 nedan). Resultatskillnader mellan skolor beror emellertid främst på vilka elever som går på skolorna och elevunderlaget skiljer sig markant mellan fristående och kommunala grundskolor. För att uttala sig om några mer djupgående skillnader i skolkvalitet måste därför hänsyn tas till elevunderlaget. I PISA-data finns ett index över elevernas sociala bakgrund (ESCS) samt indikatorer på deras eventuella utländska bakgrund som kan användas till detta syfte. En justering med hjälp av dylika indikatorer är bättre än inget, men de fångar knappast alla relevanta skillnader mellan elever; både barn till väletablerade diplomater och flyktingbarn med hackig skolgång bakom sig har ”utländsk bakgrund”. Även mellan elever med likartad social bakgrund finns en stor spridning i studieförmåga, motivation och intresse.

Skolverket justerar för elevernas bakgrund genom att ta hänsyn till ovan nämnda indikatorer på individnivå. Den konceptuella fråga som man då försöker besvara är om PISA-resultaten skiljer sig mellan friskolor och kommunala för jämförbara elever (givet då att de verkligen är jämförbara, vilket är tveksamt). Svaret är att skillnaderna är små och inte statistiskt signifikanta (kolumn 2). En tolkning av detta är att en elev kan förväntas uppnå samma resultat på en representativ kommunal skola som på en representativ friskola.

tabell

OECD nöjer sig i sin analys inte med att ta hänsyn till bakgrundsindikatorerna på elevnivå utan lägger till skolans genomsnittliga värden av samma indikatorer. När dessa läggs till modellen gör de fristående skolorna sämre ifrån sig än de kommunala (kolumn 3). De kommunala skolornas fördel i denna specifikation är nästan lika stor som deras nackdel i råa ojusterade data. Den skattade skillnaden är ungefär lika stor för PISA:s tre ämnesområden men bara statistiskt signifikant för matematik.

Den konceptuella frågan bakom OECD:s analys är om jämförbara elever presterar bättre eller sämre på fristående eller kommunala skolor som har jämförbara sociala förutsättningar. Ett alternativt sett att se på resultatet är därför att de fristående skolorna i PISA-undersökningen är sämre än de kommunala på att förvalta jämförbara elevunderlag.

Även om skillnaden mellan de konceptuella frågorna är tydlig så är empirin inte lika glasklar. I OECD:s och Skolverkets analyser används trots allt exakt samma data, den är bara aggregerad på olika sätt. Denna aggregering gör att hänsyn tas till kontrollvariablerna på ett mer flexibelt sätt vilket är att föredra. Aggregeringen minskar också de problem med mätfel som finns i kontrollvariablerna, då sannolikt främst i det socioekonomiska indexet som bygger på elevrapporterade uppgifter.

Det mesta talar alltså för att OECD:s analys är mer relevant än Skolverkets men det beror delvis på vem som ställer frågan. För den som står i begrepp att välja skola kan det vara bättre att välja en socioekonomiskt starkare friskola än de kommunala skolor som finns tillgängliga för familjen i fråga. Att det vore ännu bättre att välja en socioekonomiskt stark kommunal skola är en klen tröst om sådana inte finns att tillgå. Samtidigt är det naturligtvis i samhällets intresse att skolorna förvaltar sitt elevunderlag så väl som möjligt.

Alldeles för stora växlar ska inte heller dras av resultat som dessa. Skillnaderna mellan skolorna kan inte tolkas kausalt då hänsyn knappast har tagits till alla relevanta skillnader mellan eleverna på fristående och kommunala skolor. Huruvida perfekta kontroller skulle öka eller minska de kommunala skolornas fördel går det i nuläget bara att spekulera kring. Det ska också hållas i minnet att PISA är en urvalsundersökning och risken finns alltid att urvalet inte är helt representativt, även om inget uppenbart tyder på att detta skulle vara ett problem.

Resultaten av dessa övningar visar med all önskvärd tydlighet att vilken empirisk ansats som används för att analysera skoldata i grunden kommer att påverka vilka svar man får. Nästa gång någon säger något i stil med att ”kvalitetsuppföljning ska fokusera på mätbara resultat” är det därför lämpligt att följa upp med en fråga om vilken empirisk modell som ska användas. Frågan därpå kan gälla rättssäkerheten i de påföljder tillsynsmyndigheterna ska besluta om baserat på sina empiriska analyser.

***

Not: Underlaget till detta inlägg kommer från ett PM som Skolverket föredömligt snabbt tagit fram för att belysa skillnaderna mellan myndighetens och OECD:s ursprungliga analyser. Detta PM har diarienummer 5.1.2-2014:683 och innehåller även motsvarande analyser av förra PISA-undersökningen. Skillnaderna mellan fristående och kommunala skolor var då små och inte statistiskt säkerställda (enligt modell (3) i ovanstående tabell).

Comments

  1. Christian says:

    Möjligtvis en dum fråga men varför blir det fokus på PISA när det gäller en nationell frågeställning? Ser endast svagheter i att dataunderlaget håller lägre kvalité och blir mindre omfattande jämfört med exempelvis nationella prov och registerdata.

    • Det finns två stora fördelar med PISA. För det första är proven externt rättade till skillnad från nationella prov. För det andra har skolorna inga uppenbara incitament att träna på PISA-liknande prov, medan incitamenten att nöta in frågor liknande de som brukar komma på de nationella proven är starka. Det är ett välkänt fenomen i utbildningsforskningen att elevernas resultat på den typ av prov som används för utvärderingen tenderar att förbättras relativt andra prov som syftar till att mäta likartade ämneskunskaper men är utformade på annorlunda sätt.

      • Christian says:

        Tackar för ifyllnad av bildningsluckan.

      • Peter says:

        Fast av samma skäl så finns det ju inga, förutom möjligen nationalistiska, skäl för eleverna att anstränga sig och visa sina faktiska kunskaper.

  2. Christer says:

    Jonas har du aldrig fått frågan om du vill jobba på utbildningsdepartementet? Tror att din kompetens är lite styrmoderligt behandlad där som det ser ut idag.

  3. gruelse says:

    Mot bakgrund av PISA-slutsatsen får man ytterligare bekräftat, att friskolornas förment högre kunskapsnivå jämfört med kommunala diton i Sverige beror på russinplockning (= cherry-picking).

  4. Karin E says:

    Nu är huvudet iofs julsegt, men är det inte lite konstigt att ha med både skolgenomsnitt och individvariabler för elevbakgrund när man är intresserad av en variabel (friskole eller ej) som varierar på skolnivå?

    • Jo, det kan te sig som lite udda men är egentligen ingenting konstigt koncentuellt. Det stora problemet med OECD:s ansats är att andelen elever av viss typ på en skola kan vara endogen i förhållande till den kvalitet skolan erbjuder. Detta innebär dock inte att den fråga OECD försöker svara på — hur förvaltar skolor med olika huvudmän liknande elevunderlag — är mindre intressant än den skolverket försöker besvara.

      • Karin E says:

        Jo, men jag tänker att skillnaden i genomsnitt mellan friskolor och kommunala skulle man lika gärna kunnat skatta på skolnivå (viktat för elevantal för att få samma resultat som individnivå-OLS), och med elevbakgrundsvariabeln i form av medlet för skolan. Då blir det svårt att se hur elevbakgrunden kan vara med två gånger?

      • Hade jag kört regressionen så hade jag aggregerat till skolnivå men även tillåtit en flexiblare funktionsform (kvadrat och kubik tex) mellan elevbakgrund och skolresultat. Den enda nya informationen som läggs till när man har med elevbakgrunden två gånger måste (väl?) ligga i funktionsformen.

  5. Karin E says:

    Ja, eller hur (funktionsformen). Svårt att se vad exakt det är som skiljer sig mellan OECD och Skolverket och hur det kan spela så stor roll…

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s