Häromdagen fick jag på SNS möjligheten att kommentera den IFAU-rapport om friskolekonkurrens av Anders Böhlmark och Mikael Lindahl som gavs ut för ett tag sedan. Rapporten hittar allmänt positiva effekter av friskoleexpansionen på grundskolenivå, både på kort- och långsiktiga studieresultat. Resultaten bör dock tolkas med försiktighet, främst då metoden inte fullt ut tar hänsyn till trender och chocker som kan samvariera med friskoleexpansionen. Dessutom finns vissa frågetecken kring hur tillförlitliga en del utfallsvariabler är. Det finns även anledning att misstänka att effekterna av ökad konkurrens skiljer sig mellan grundskola och gymnasiet. Slutligen återstår frågan hur det regelverk som konkurrens och vinstintressen kräver påverkar skolsystemet i stort att besvara.
För att analysera konsekvenserna av friskolereformen undersöks på kommunnivå hur förändringarna i olika studieutfall mellan åren 1992 och 2009 samvarierar med förändringar i andelen friskoleelever under samma tidsperiod. Hänsyn tas även till förändringar i diverse bakgrundsvariabler som föräldrarnas utbildningsnivå, inkomst osv. Metoden rensar dock inte för chocker eller trender som eventuellt samvarierar med de faktorer som drivit fram friskoleexpansionen. Detta är problematiskt då en mängd reformer genomförts i skolan och svenska elevers studieresultat enligt internationella undersökningar sjönk som en sten under undersökningsperioden (källa).
Den huvudsakliga problemet med studien är alltså att det skett mycket annat, både i skolan och i samhället sedan tidigt 1990-tal. Några exempel:
- Kommunaliseringen. År 1991 blev skolan ett kommunalt ansvar och några år senare avvecklades de riktade statsbidragen. Den centrala kvalitetskontrollen och styrningen nedmonterades och skillnaderna i engagemang och kompetens i skolfrågor skiljer sig mellan kommunerna.
- Ny läroplan och övergång till ett målrelaterat betygssystem. Betygen blev viktigare för att ta sig vidare i skolsystemet och betygsfördelningen ändrades. Avhoppen ökade också pga av detta.
- Betygsintagning till gymnasiet har införts på flera håll vilket påverkar elevernas incitament att jobba hårt redan i grundskolan (se här).
- Programgymnasiet med tillhörande IV-program för elever utan godkända betyg och treårigt yrkesprogram med tillhörande ökning av avhoppen (se tex denna studie).
- Ny(a) lärarutbildning(ar) och förändrad lärarrekrytering (se här).
- Försämrade kunskapsresultat (se ovan)
- Betygsinflation (se här, här och här)
- Dessutom högskoleexpansion, expansion och kontraktion av komvux, rut-avdrag för privatundervisning, förändringar i inkomstspridning, boendesegregation, urbanisering, arbetslöshet, internationalisering, internet och datoranvändning, curling, motionsvanor…
Eftersom det inte är slumpmässigt var friskolorna etablerar sig är det möjligt att dessa allmänna trender och effekterna av andra reformer samvarierar med de faktorer som påverkat friskoleexpansionen, vilket Anders och Mikael är väl medvetna om. Författarnas intervjuer med friskoleföretag ger exempelvis vid handen att attityder till friskolor bland lokalpolitiker och väljare är den viktigaste faktorn vid etablering i en viss kommun (fotnot 24). Samma attityder kan påverka hur väl skolan sköts i allmänhet och hur föräldrarna förhåller sig till skolarbetet.
För att hantera denna typ av problem kontrollerar Anders och Mikael i en specifikation för nivån på olika demografiska kontrollvarabler vid undersökningsperiodens början. Estimaten blir då generellt något mindre men de är fortsatt signifikanta och inte väsensskilda från ursprungsskattningarna. Problemet är att det är svårt att veta om man verkligen tagit hänsyn till alla relevanta faktorer; att fånga attityder till utbildning och kompetens i skolfrågor är exempelvis svårt. Dessutom är det inga marginella trender som påverkat skolan och som framgår av jämförelsen nedan skulle även förhållandevis små trendskillnader mellan olika kommuner kunna ge upphov till resultatskillnader i nivå med de skattade friskoleeffekterna.
I figuren har jag översatt resultatnedgången enligt internationella undersökningar från standardavvikelser till meritpoäng (0,35 std är ungefär lika med 21 meritpoäng). Sedan det målrelaterade betygsystemet infördes har vidare medelbetygen ökat med 10 meritpoäng. Genom att slå ihop dessa får man ett ungefärligt mått på den allmänna betygs- eller resultatinflationen i den svenska skolan (31 meritpoäng). Denna kan jämföras med att en ökning av friskoleandelen om 10 procentenheter enligt rapporten förbättrar studieresultaten med ca 3,5 meritpoäng (jag har här använt resultaten från de viktade regressionerna i Tabell 5).
Den skeptiske kan alltså undra om det inte är att något annat än just friskoleexpansionen som kan driva resultaten. Farhåga förstärks av att jämföra de skattade effekterna av friskoleexpansionen i grundskolan på elevernas gymnasiebetyg med resultaten i en tidigare version av uppsatsen. I den gamla versionen undersöks expansionen fram till 2003 och författarna finner då ett statistiskt osignifikant estimat på 2,7 (Tabell 4). I den nya versionen undersöks perioden fram till 2006 för detta utfall och (det signifikanta) estimatet ligger då på 13,7 (fotnot 27). Författarnas förklaring till skillnaden är att det tar tid för konkurrensen att få fullt genomslag. Detta är möjligt men samtidigt är det en dramatisk förändring av konkurrensens konsekvenser på bara tre år.
Nästa problem är att endast resultaten i engelska och matematik analyseras vilket beror på att det bara är i dessa ämnen som författarna anser sig ha tillgång till jämförbara data. Gott så, men det är också problematiskt eftersom skolans uppdrag är bredare än dessa både ämnen och det finns en oro att andra mål kan åsidosättas på bekostnad av undervisning i ämnen med nationella prov. Ett annat problem är att resultatutvecklingen i matte och engelska ser väldigt olika ut och kan drivas av olika faktorer (se nedan utvecklingen av betyg och resultat på nationella prov).
Figurerna väcker frågan om vi kan lita på resultaten på de nationella proven som mått på elevernas prestationer; trots att resultaten i matematik enligt internationella undersökningar dalat har det inte hänt så mycket med provresultaten. Vidare är engelska ett av få ämnen där svenska elever verkar klara sig bra, vilket även avspeglar sig i resultaten på de nationella proven. Frågan är dock om detta inte främst beror faktorer bortom skolans kontroll. Dessutom finns farhågan att konkurrensen påverkar hur generöst de nationella proven rättas.
Resultaten i studien tyder onekligen på positiva genomsnittseffekter av friskoleexpansionen men det är närmast omöjligt att helt utesluta andra förklaringar och det är svårt att mäta resultaten i skolan på ett helt trovärdigt och heltäckande sätt. Alltså finns en osäkerhet om hur stora effekterna egentligen är och vad som exakt ligger bakom dem vilket Anders och Mikael var öppna inför under SNS-diskussionen. Detta är också den rimliga hållningen för även om författarna gör ett gott arbete så finns ett grundläggande problem: metoden som används blir mindre och mindre pålitllig ju längre tiden går och samtidigt verkar resultaten bli starkare och starkare över tid.
Några andra reflektioner är att det även behövs studier över hur friskolekonkurrensen påverkat resultat och effektivitet på gymnasiet. Det finns tecken på att kvalitetsproblemen är större i gymnasiet är i grundskolan (se tex här och här) vilket kanske inte är så förvånande: eleverna har större inflytande över gymnasievalet än när familjerna väljer grundskola, friheten i programutformningen är större, den externa kvalitetskontrollen är svagare och antagningen sker till skillnad från i grundskolan på grundval av elevens förmåga (betyg). Dessa skillnader gör det svårt att generalisera resultat från grundskola till gymnasiet, vilket samtliga paneldeltagare verkade hålla med om.
Slutligen är det viktigt att betänka att oavsett vilka effekterna på genomsnittsresultaten är så måste skolans regelverk kunna hantera opportunistiska aktörer som vill utnyttja systemets svagheter. Det regelverk som krävs för att hantera sådana aktörer påverkar hela skolsystemet och riskerar att bli destruktivt (argumenten för detta har jag utvecklat här, här och framförallt här). En relaterad fråga är om en konkurrensneutral styrning av skolan, där de skolvårdande myndigheterna i princip ser till så att regelverket efterlevs, verkligen är optimal? Kanske vore det bättre med mer aktiva och diskretionära insatser, men en sådan myndighetsroll är svår att kombinera med ett marknadsbaserat system. Studier som bygger på att jämföra utvecklingen i olika kommuner kan alltså inte fånga denna typ av effekter, oavsett om de är positiva eller negativa.
Uppdatering: Anders Böhlmark och Mikael Lindahl svarar på kritiken i kommentarstråden.
Ekonomistas 
Du glömmer en del i historien.
1968 avskaffades realskolan och studentexamina.
Tidigare gick man skilda vägar efter 6:an. De yrkesinriktade realskolorna var otroligt populära. När de ersattes av den 9-åriga grundskolan sjönk nivån på de tidigare bäst presterande (något som man accepterade, se Hadenius avhandling). Samtidigt gick andelen som behövde stödundervisning upp från 3 till 40 procent.
Endast 30 procent av en årskull ansågs ha haft förutsättningar att överhuvud taget ta sig igenom den teoretiska realskolan. Sedan läste de på gymnasium och universitet i en takt som byggde på den grunden.
På 60-talet tjänade min mor enligt egen utsago tre gånger så mycket som en industriarbetare, dubbelt så mycket som sin bror som var polis. Hon var nämligen fil-mag och lärare på Malmfältens folkhögskola i Kiruna.
Det tar tid att lämna kulturella mönster. Trots att lönenivåerna sjönk så gick det 10 sökande på varje plats ganska länge. Numera kan man knappt fylla platserna. Att skolan kommunaliserades 1991 är i mina ögon bara ett sammanträffande. Skolans förstörelse har sin grund i “reformerna” på 60-talet.
En lärare 1960 var en av de mest begåvade av sin årskull. Han eller hon hade också gått igenom realskola och gymnasium så att, jämfört med var vi ligger idag, kunskapsnivån torde ha legat 3 år före dagens. Numera tillhör lärarna dessutom de minst studiebegåvade i en årskull.
Kring 1850 ondgjorde man sig över den låga utbildningen av småskolelärare. Det krävdes för inträde att man behärskade de fyra räknesätten och sitt modersmål i tal och skrift. Sedan var lärarutbildningen bara ett år. (Därför fölängdes den.)
Idag, efter 16-17 års utbildning (grundskola, gymnasium, lärarutbildning) kan man inte vara säker på att en legitimerad lärare kan skriva korrekt svenska eller behärskar multiplikationstabellen. (En kollegas 7-åring fick en dyslektisk, legitimerad lärare som skrev “ett stuga” och “en hus”.)
Din beskrivning av skolväsendet innan grundskolan stämmer inte med mina erfarenheter. Minst 2/3 gick till realskolan efter klass 6. De praktiska realskolorna var få, någon i varje län. Och det taladeslika mycket om den sjunkande kunskapsnivån och dåliga disciplinen. Vi löser inte problemen med att utmåla en gyllene forntid, som inte existerade
Realex 1963, Student 1967
Jag tror varken på gyllene forntid eller framtid. Jag tror inte ens på skolplikt…
Jag tog siffrorna från Karin Hadenius avhandling. 30 procent gällde bara den teoretiska delen av realskolan. De andra måste ha gått den praktiska realskolan. Men lärarna togs från den teoretiska realskolan. Vill minnas att skolplikten förlängdes till 7 år 1938, i alla fall på 30-talet. Så de som inte gick realskola gick ett allmänt orienteringsår efter 6-an.
Grundskolan genomfördes inte med föräldrarnas stöd. Det enda test som gjordes av samskolan på 60-talet var synnerligen impopulärt och inte särskilt lyckat. Man påstod dock att det lyckats.
När jag gick i grundskolan på 70-talet var vi tämligen medvetna om att vi gick i en flumskola. Men “alla ska gå tillsammans” var redan då dogmen. Att ta andelen som behöver stöd från 3 till 40 procent säger ju en del.
Valfritt arbete hade vi. Men av ideologiska skäl fick detta valfria arbete varken användas till ett extra språk (jag kan därför inte tyska) eller till praktiska ämnen som de mer praktiskt inriktade skulle ha velat ha. Det var på 70-talet som disciplinproblemen uppstod. Dock aldrig i praktiska ämnen… I teoretiska ämnen var det dock ofta fullständigt kaos.
Det enda positiva med den långa obligatoriska skolgången är, om man tillåts vara lite cynisk, att mycket bra och mycket arg musik skapats av dem som annars satt uttråkade på skolbänken mellan 13 och 18 års ålder.
Undersökningen har genererat viss internationell entusiasm: http://www.forbes.com/sites/modeledbehavior/2012/12/03/lessons-on-school-choice-from-sweden/ Det verkar vara svårt för Ozimek att motstå frestelsen att vara okritisk till resultat som visar det han vill tro är sant.
Kanske låter du ändå det bästa bli det godas fiende Jonas. De osäkerhetskällor du nämner är såklart relevanta, men det finns ju inget som tyder på att denna osäkerhet (som ju alltid finns efter empiriska studier) skulle vara systematisk i någon riktning – de sanna effekterna kan antingen vara mer positiva eller mer negativa om dina invändningar visar sig vara av kvantitativ betydelse.
Även om sista ordet såklart inte är sagt, så är det väl ändå rimligt att påpeka att uppsatsen är en gedigen analys baserat på en typ av ansats som är allmänt acepterad inom modern empirisk forskning, och som i stora drag liknar vad både du och jag använder oss av i vårt dagliga värv. Dessutom innehåller den väl egentligen både fler och noggrannare känslighetsanalyser än vad man vanligtvis ser i literaturen. Även om ett antal osäkerhetsfaktorer såklart kvarstår (som alltid) så är åtminstone min tolkning att uppsatsens resultat är den bästa gissning vi har (i nuläget) av vilka effekter friskoleexpansionen har haft (lokalt) på ungdomars studieresultat.
“Dessutom finns farhågan att konkurrensen påverkar hur generöst de nationella proven rättas.” Ett understatement. Jag har direkt fått höra från lärare på friskolor i Sthlm att man rättar om och sedan återigen rättar om resultaten (under skolledningens närvaro) till dess att skolledningen accepterar resultatet. När det skapas starka ekonomiska incitament till att både ge glädje betyg och mycket generös bedömning vid nationella prov ja då blir det en utmaning att använda dessa verktyg vid utvärdering.
Min (religiösa?)tro är att Friskolor gynnas av att:
– de lockar till sig elever med goda förutsättningar samt ser till att inte locka till sig de mer resurskrävande eleverna.
– de sätter glädjebetyg
– de är långt ifrån sakliga vid bedömningen av nationella prov
– de fokuserar hårt på kärnämnen där det finns nationella prov och minimerar kvalitén på ämnen utan nationella prov
– de bidrar till att göra läraryrket mindre attraktivt (Detta gynnar visserligen inte friskolorna)
Denna bild har jag fått främst av vänner och släktingar som är verksamma som lärare inom Kunskapsskolan och Vittras friskolekoncerner i Sthlms området samt styrkt av det jag fått se och höra av ytterligare ett par friskolor.
Jag har kanske inget att tillföra till diskussionen mellan Jonas V och Oskar N S men anser att det är mycket naivt att basera forskning på resultaten av nationella prov eller betyg. Skolan idag är så skev att den måste vara svår att uvärdera.
Tidigare, för mycket länge sedan, var studentexamina något som universiteten skötte. Den var deras inträdesprov istället för något gymnasieskolan ordnade. Med konkurrens på skolans område torde något liknande snabbt ske hos näringslivet. Universiteten, statliga som de är, har något mindre incitament att reagera snabbt här.
—
– de fokuserar hårt på kärnämnen där det finns nationella prov och minimerar kvalitén på ämnen utan nationella prov
—
Du får det här att låta som en dålig sak.
Ja det är en dålig sak om man tycker att historia, samhällskunskap, estetiska ämnen och naturvetenskap – bildning, kreativitet och demokrati – är viktigt. Det är inte önskvärt att den svenska skolan utbildar robotar som på sin höjd behärskar svenska, engelska och matte om du frågar mig (och läroplanen).
Att var inkompetent på naturvetenskapens område verkar ju vara en förutsättning för att kunna bli journalist (54 procent miljöpartister på SvT t ex) eller för att bli miljöminister…
Läsa biologi eller fysik och få politiskt inflytande verkar inte gå ihop.
Man kan aldrig veta vilken bias som utelämnade faktorer ger, framförallt inte när de potentiellt är många och påverkar varandra på intrikata sätt. Det finns dock anledning att tro att åtminstone vissa av faktorerna ge en positiv bias. i) Betygsintagning till gymnasiet påverkar rimligen beteendet mer när det finns många skolor att välja mellan. Det tenderar även att vara orter med många skolor och friskolor. ii) Högskoleexpansion tenderar att ske i regionala centralorter, vilket även är där friskoleexpansionen varit som störst. iii) Ökad utslagning pga nytt betygssystem tenderar att få större betydelse i orter med många svagpresterande elever. Det är inte där friskolorna expanderat mest. iv) Föräldrar som bryr sig om utbildning tenderar sannolikt att själva sätta in kompensatoriska åtgärder i högre grad när skolan inte verkar fungera bra. Att bry sig om utbildning samvarierar sannolikt positivt med andelen friskolor. v) På samma sätt är utbildning en fråga av olika politisk vikt i olika kommuner och det samvarierar sannolikt med friskoleexpansionen. Osv.
Så ja, det är den mest gedigna studien hittills men det är problematiskt med en 17-års diff-in-diff där treatment är endogen. Kan man fortsätta göra samma studie om 10 år? Om 30?
Sen är det viktigt att betona att det faktiskt är grundskolan som undersöks och friskoleexpansionen är betydligt större på gymnasiet. Alla i panelen var rörande överens om att resultaten inte kan generaliseras till gymnasiet men det tenderar att glömmas bort i den allmänna debatten.
Sen är det också viktigt att se till styrningen av skolsystemet i stort och då tänker jag framförallt på den roll som renodlad kontrollant som Skolinspektionen har och Skolverkets roll som allmän informationsspridare. I flera framgångsrika skolsystem har myndigherna en mycket mer aktiv roll i skolutvecklingen: man identifierar inte bara problem utan bistår även med hjälp till lösningar och ett aktivt skolutvecklingsarbete. En sådan roll är svår att förena med marknadsstyrning eftersom sådan baseras på en konkurrensneutral hållning från myndigheternas sida. Även om effekterna av olika styrmodeller på denna nivå är ännu svårare att identifiera empiriskt än friskoleeffekter så betyder det inte att de inte är viktiga.
Det upprepas ofta att den svenska skolan främjar kreativt och demokratiskt tänkande. Finns det några empiriska belägg för detta? Finns det några skäl att a priori tro att minskad betoning på kunskap och logiskt tänkande främjar kreativitet och demokratiskt tänkande?
Vad jag vet finns det inga belägg för detta men det är å andra sidan något som det är notoriskt svårt att finna belägg för. Något som delvis talar emot detta är att svenska elever klarar sig förhållandevis bra i mekanisk räkning men uppvisar relativt svag förståelse för matematiska och naturvetenskapliga begrepp och de är svaga på problemlösning (enligt dem som kan analysera de internationella undersökningarna).
Samtidigt ska man inte avfärda att svenska skolan har styrkor inom dessa områden och jag hade gärna sett några undersökningar av saken. Vad jag däremot har mycket svårt att tronpå är att det skulle föreligga någon djupare motsättning. Skulle dagens gymnasister vara så mycket kreativare än de som gick ut i början av 1990-talet? Skulle detta, i så fall, vara en kausal effekt av deras svagare matematikkunskaper?
Knappast. Tidigare började de flesta arbeta vid 14 års ålder, som min pappa, precis innan hälften blir skoltrötta. Sedan deltog de aktivt i samhället i 7 år (rösträtt vid 21 års ålder), tjänade pengar, sparade, köpte saker, etc.
Nu sitter man istället på skolbänken i 5 år till, många uttråkade, utan att lära sig något nytt. Tanken är att man ska lära sig hur man deltar i samhällslivet genom att läsa om det, istf att praktisera det.
George Washington, Benjamin Franklin hade 2 års skolgång. Abraham Lincoln 52 veckor under hela sitt liv. Jane Austen 18 månader.
Alla kunde läsa och skriva i Sverige innan folkskolan infördes 1842. Fram till 1882 då skoltvång infördes var det många, främst bland de rikare bönderna, som inte satte sina barn i skolan. Att lära ett barn att läsa tar 6 veckor enligt John Gatto, “årets lärare” både i staden och delstaten New York. Sedan kan de praktisera själva.
http://www.johntaylorgatto.com/underground/prologue.htm
I en rapport jag såg beställd av Svenskt Näringsliv jämförde man betygsinflation så att man jämförde mängden friskolor i en kommun, då såg man ingen ökning av betygsinflation. Alltså, bidrar friskolor inte till betygsinflation, var slutsatsen. Min fråga är när friskolereformen träder ikraft, det var väl 1991, då träder väl också incitamenten för varje skola ikraft – oavsett om den är kommunal eller är friskola – för att konkurrera med betygen I HELA LANDET? Vad anser du Jonas Vlachos om det här? Varför beräknar man då bara på kommunal nivå?
Jonas kritik gäller två potentiella problem med vårt papper: 1 ) hur vi mäter utbildningsresultaten och 2) vår identifikationsstrategi. Vi diskuterar dessa separat.
1) Fångar utbildningsresultaten faktiska förändringar i kunskap eller inte?
Även om betygsinflation är ett allvarligt problem som har ökat över tiden så behöver inte detta bero på en ökad andel friskolor. Vi testar för detta genom att utgå från att det bör vara lättare att inflatera betyg utan nationella prov, något mindre lätt i ämnen utan nationella prov och svårast att manipulera resultat på nationella prov. Att detta gäller är också tydligt om man ser på hur utvecklingen av dessa mått har sett ut över tiden, där man observerar en större ökning för de mått som är lättare att manipulera. Med denna utgångspunkt borde man förvänta sig att om detta driver våra resultat så borde vi få olika effekter av friskoleandelen på dessa utfallsmått. Eftersom vi inte hittar några skillnader i effekstorlekarna för dessa olika mått så tycker vi att en rimlig slutsats är att våra resultat inte drivs av inflaterade mått. Att vi också hittar positiva effekter för senare utfall på gymnasiet och högskoleutbildning stödjer också detta.
Jonas nämner också att nationella prov inte heller är oproblematiska: ”Dessutom finns farhågan att konkurrensen påverkar hur generöst de nationella proven rättas.” De empiriska belägg som finns om detta är de omrättningar av nationella prov som skolinspektionen låtit göra. Men detta ska inte påverka våra resultat. Som vi skriver i SNS-rapporten ” Eftersom de nationella proven rättas lokalt kan det finnas skäl att tro att rättningen görs mer eller mindre korrekt på olika skolor. Detta har nyligen undersökts av Tyrefors Hinnerich och Vlachos (2012). De har låtit personer utan anknytning till skolan rätta om prov som tidi¬gare rättats lokalt. Dessa jämförelser visar att elever i friskolor generellt får för höga resultat på de nationella proven i årskurs 9 i grundsko¬lan, men också att det finns stor variation mel¬lan olika tester. För matematik finner de ing¬en statistiskt säkerställd skillnad mellan elev¬er i friskolor och kommunala skolor medan de för engelska finner att elever i friskolor får för låga resultat på de nationella testerna. Eftersom vi använder testresultat från nationella prov i matematik och engelska bör inte våra skatt¬ningar påverkas nämnvärt av ”testresultatin-flation.” Möjligen tyder deras resultat för engel¬ska på att vi om något underskattar den positiva effekten av friskoleandelen på testresultaten.”
2) Jonas skriver: ”Identifikationsstrategin är tveksam, vilket gör att man inte kan utesluta att kommuner där friskoleetableringen kom att öka mer också är kommuner där man även utan friskoleetablering skulle ha funnit ökade utbildningsresultat” Här kan man dela in kritiken i två delar:
a) Det är alldeles korrekt att det inte är slumpmässigt var friskolor etablerar sig. Tyvärr genomfördes inte friskolereformen som försök i vissa kommuner, men detta är något som nästan alltid är fallet med reformer och man kan kanske tycka att skattefinansierade samhällsforskare ändå har en skyldighet att försöka utvärdera dessa reformer.
Vi gör en mängd justeringar för att kommuner ska bli mer jämförbara: i) Vi testar för trender i utbildningsresultaten innan reformen genomfördes och hittar inte att dessa skiljer sig åt mellan kommuner som senare kom att erfara olika grad av friskoleetablering, ii) Vi kontrollerar för en rad bakgrundsfaktorer (tex föräldrars utbildning och inkomst, andelen invandrade elever, elevpopulations storlek) både mätta som förändring över tiden och som skillnader vid reformperiodens början. Vi noterar också att trots att andel förklarad variation ökar mycket med dessa kontroller (om vi tar betyg som exempel så är R2=0.10 utan kontroller, 0.28 med kontroller var variabler mätta som förändring över tiden, och 0.33 om vi också lägger till kontroll för initiala skillnader innan reformperioden) så påverkas estimaten endast marginellt.
b) Vi analyserar utfall över en lång period och mycket annat kan hända. Som Jonas utrycker det ”så finns ett grundläggande problem: metoden som används blir mindre och mindre pålitlig ju längre tiden går och samtidigt verkar resultaten bli starkare och starkare över tid.”
b1) Vad beror då detta på?
Vi tycker att det finns starka skäl för varför det bör ta ett flertal år innan vi kan upptäcka eventuella effekter (positiva eller negativa). Några av dessa är:
-Den elevkohort som haft möjlighet att gå hela grundskolan i det nya systemet är den som går ut åk 9 2001.
-De friskolor som existerade i början av reformperioden var få till antalet: det var främst privatskolor som existerade redan innan reformen och som valde att acceptera de krav som fanns för att få kalla sig friskolor och därmed gå över till att finansieras via skolpeng. Dessa var ofta skolor med specialpedagogisk eller religiös inriktning. Vi tror att det är tveksamt om dessa skolor sågs som konkurrerande om samma elever som de kommunala skolor.
-Det tar säkert en viss tid för kommunala skolor att reagera på konkurrens om elever och att förändra undervisningsätt och organisationen. Givet att detta är den stora delen av effekten som vi hittar för senare år så är det inte konstigt att estimaten blir större med tiden (men fortfarande inte speciellt stora vilket är viktigt att påpeka).
-Det var först efter en del regeländringar de tidiga åren som frisketableringen tog fart. Tex så infördes en ny bidragsmodell och inga elevavgifter tilläts från läsåret 97/98.
Man kan nästan uttrycka det som att om vi har hade hittat effekter för de tidiga åren så hade vi nog varit ganska tveksamma till om dessa verkligen hade kunnat vara kausala effekter av fler friskolor. Speciellt med tanke på hur stora dessa skulle behöva vara för att kunna vara statistiskt signifikanta. Våra standardfel är stora i början. Men vi tror också att effekterna nog är obefintliga i början (dvs oavsett precision i skattningarna). Detta är viktigt för att förstå resultatskillnader mellan en tidigare och den senaste versionen av vår rapport. I en tidigare version utnyttjade vi data för alla år efter reformen (dvs även de tidigaste åren) och eftersom effekten av friskolor för de tidiga åren bör ha gett obefintliga effekter så trycks genomsnittseffekten ned. I den senaste WP så ser vi istället på förändringen över tiden och fångar därför effekten över hela perioden (dvs förändringen över tiden från skolkohorten 1992 till den sista skolkohorten för vilken data var tillgänglig). Detta gör att om effekterna tar först realiseras efter en tid så kommer den senare metoden att ge större skattningar än en modell där alla år används och genomsnittseffekten beräknas. Detta förklarar skillnaden i resultaten för gymnasiebetyg som Jonas diskuterar i följande stycke
”Den skeptiske kan alltså undra om det inte är att något annat än just friskoleexpansionen som kan driva resultaten. Farhåga förstärks av att jämföra de skattade effekterna av friskoleexpansionen i grundskolan på elevernas gymnasiebetyg med resultaten i en tidigare version av uppsatsen. I den gamla versionen undersöks expansionen fram till 2003 och författarna finner då ett statistiskt osignifikant estimat på 2,7 (Tabell 4). I den nya versionen undersöks perioden fram till 2006 för detta utfall och (det signifikanta) estimatet ligger då på 13,7 (fotnot 27). Författarnas förklaring till skillnaden är att det tar tid för konkurrensen att få fullt genomslag. Detta är möjligt men samtidigt är det en dramatisk förändring av konkurrensens konsekvenser på bara tre år.”
Vi noterar också att vi hittar positiva effekter efter ca 8-10 år. Vi redovisar resultat med en 9 års DID (så långe det tar att gå igenom hela grundskolan) och får positiva estimat för 4 av 5 analyserade utfall. Precisionen i dessa skattningar är dock låg och endast 2 av estimaten är statistiskt signifikanta. Detta är ändå värt att notera i relation till det Jonas skriver (längre ned i kommentatorstråden) :
”Så ja, det är den mest gedigna studien hittills men det är problematiskt med en 17-års diff-in-diff där treatment är endogen. Kan man fortsätta göra samma studie om 10 år? Om 30?”.
b2) Vi kan naturligtvis inte helt utesluta att de confounding factors (som Jonas listar) är viktiga. Det är dock (som Oskar N S påpekar) oklart i vilket riktning eventuell bias kan förväntas ha i många fall. Jonas spekulerar (längre ned i kommentatorstråden) att några av dessa bör ge bias i riktningen att vi överskattar effekterna. Låt oss bara notera att vi får liknande resultat som i våra baseline skattningar om vi estimerar en modell där vi gör skattningarna på 1) läns- istället för kommunnivåer, 2) på enbart på kommuner i Stockholms län, eller 3) enbart använder kommuner med friskola 2009, 4) kontrollerar för förändring i hur stor andel elever som aktivt väljer en annan kommunal skola än den anvisade och förändringar i kommunens skolkostnader, 5) kontrollerar för shiften i politisk majoritet under perioden. Vi genomför dessutom kompletterande skattningar där vi enbart använder variationen i friskoleandelen som beror på utvalda faktorer som existerade innan reformens genomförande (instrumenten i dessa IV regressioner är kommunspecifika och mäts innan friskolereformen genomfördes och är avsedda att generera variation i friskoleetableringen som beror på faktorer som inte påverkar förändringen i utbildningsresultaten vi andra kanaler än förändringen i andelen friskoleelever. Se vårt engelska WP för en utförligare diskussion av dessa skattningar). Om man argumenterar för att det existerar confounding faktorer (vare sig det är senare skolreformer eller internet och datoranvändning eller vad man nu kan tänka sig) så måste man tex argumentera för att dessa har olika påverkan i olika kommuner på ett sätt som är korrelerat med friskoleetableringen, och inte fångas upp av alla våra kontrollvariabler, inkluderande specifika kontroller för flera andra skolreformer och politiska majoritetsskiften, och att de är korrelerade med våra instrument som fångar situationen i innan friskolereformen.
Även om vi inte kan utesluta att andra faktorer är viktiga och att de skulle kunna driva våra resultat så tycker vi ändå, givet hur robusta våra resultat är för den mycket omfattande känslighetsanalys vi genomför, att sannolikheten för detta är mycket liten.
Anders Böhlmark och Mikael Lindahl
Tusen tack för ert utförliga svar. Syftet med mitt inlägg var att peka på den typ av osäkerhet som finns kring studier som denna, både vad gäller vilken typ av endogenitet man kan tänka sig och att sätta storleken på de skattade effekterna i ett sammanhang. Jag har inte enormt mycket att tillägga utöver vad som redan sagts förutom ett par saker:
1) Visst kan det ta tid innan effekter slår igenom, men det gäller även övriga möjliga förklaringsfaktorer (som kommunaliseringens effekter). Plötsliga hopp i estimaten kan dock tyda på att det är något annat som pågår. Det vore därför intressant att se hur olika estimat ändras över tid: är det en jämn ökning eller sker det plötsliga hopp.
2) Vad gäller spillover-effekterna så finns tydliga skillnader mellan resultaten (för senare utbildningsutfall) på arbetsmarknadsnivå och på länsnivå. Jag har svårt att förstå hur dessa skillnader kan tolkas.
3) Vad gäller provinflation har vi inte undersökt relationen mellan friskoleexpansion/konkurrens och generositet i bedömningen av de nationella proven.
4) Att det finns allvarliga styrproblem i dagens skola förefaller uppenbart. Risken att dessa åtminstone delvis, hänger samman med det decentraliserade ansvaret för skolan är uppenbar. Denna typ av effekter fångas som sagt inte av analyser som jämför kommuner med varandra.
På nationell nivå ökade antalet utdelade MVG med tio gånger åren 1997-2007. När friskolereformen träder ikraft 1991, så antas i förekommande studier en kommunal skola i en kommun utan friskola resonera ungefär så här: “I vår kommun finns ingen friskola, därför finns ingen anledning för oss att sätta högre betyg på eleverna av konkurrensskäl”. Är det inte så att den kommunala skolan ifråga i studier ofta antas ha en mycket begränsad utblick på världen? Den sociala effekten av friskolereformen antas i studierna endast ha kommunal utbredning. Men är det inte så att en skola, oavsett om det i kommunen finns konkurrerande friskolor till kommunala skolor, i och med systemskiftet (dvs. införandet av friskolor) får anledning att höja betygen? Det kan till exempel ske genom ändrade attityder bland skolledare och lärare, som ju möter andra lärare från andra delar av landet på möten och konferenser. Helt enkelt att en mer tillåtande kultur utvecklas och som inte är begränsad en viss kommunal konkurrenssituation. Sociala effekter är notoriskt svåra att bestämma och hur isoleras den endast till en viss kommunal konkurrenssituation mellan olika skoltyper?
Jo, det är tänkbart, kanske framförallt vad gäller betygsinflation där jag misstänker att den allmänna betygsnivån i landet är viktig. I min rapport om friskoleexpantionen och betygsinflation (se länk i inlägget) resonerar jag kring detta och drar därför slutsatsen att mina skattningar sannolikt underdriver effekten av konkurrens på betygsinflation. Sen är det dock inte uppenbart att detta skulle påverka Anders och Mikaels resultat i någon större utsträckning eftersom de skattar relativa effekter mellan kommuner.
Din kommentar är egentligen samma kommentar som min att reformer som denna även har systemeffekter som inte fångas av kommunjämförelser. Dessa kan vara positiva eller negativa och de är mycket svåra att skatta, vilket dock inte betyder att man ska bortse från dem.
Tack för ditt intressanta svar.
Eftersom Sverige och USA har varit något av pionjärer för att testa Milton Friedmans hypotes om friskolans överlägsenhet i jämförelse med offentliga sådana kan det vara på sin plats med en kort jämförelse av erfarenheterna mellan länderna i denna fråga.
Först ska vi konstatera att svenska friskolor ofta drivs som vinstdrivande aktiebolag medan amerikanska för det mesta är icke-vinstdrivande. Harvardprofessorerna Donahue, Zeckhauser (2011) menar bland annat att vinstdrivande friskolor brottas med den kroniska svårigheten att mäta det pedagogiska värdet, som friskolan ska få betalt för samt att det är svårt att åstadkomma meningsfull konkurrens. De ställer sig skeptiska till vinstdrivande friskolor. (s. 91)
Donahue, Zeckhauser är dock i grund och botten mycket positiva till den icke-vinstdrivande friskolan och betonar särskilt vikten av att försöka ta vara på erfarenheterna från framgångsrika, enskilda sådana. Men tillägger sedan: “One thing can be said at this stage with a fair degree of confidence: there is no large and systematic difference, on average, between charters and regular schools in the educational results they deliver. If charter schools as a group enjoyed a large performance edge over other shools, or suffered a large performance defecit, we would know by now.” (s. 99)