Tester i skolan – inte hela lösningen

skolbussGenom att anordna en internationell konferens om skolfrågor lär man sig hur svårt det är att prata om skolsystem över nationsgränserna. För en amerikan är det självklart att elever genomför standardiserade prov regelbundet under hela sin skoltid. Provresultaten ligger till grund för både statliga interventioner och — på sina håll — för lärarnas lönesättning. I Sverige diskuterar vi i stället hur själva testandet påverkar barnen och i framgångslandet Finland ställer man sig frågande till hela diskussionen; det går ju så bra utan några prov.

Sanningen är väl den att testandet inte i sig spelar någon större roll. Visst, några elever kanske skärper sig medan andra tappar sugen, men att fokusera på dessa effekter leder tanken fel. Provens värde ligger i stället i att de ger en grund för extern och intern kontroll av skolornas verksamhet.

Utan jämförbara tester är det omöjligt för politiker, byråkrater, föräldrar, elever och rektorer att utvärdera vad de håller på med. Funkar det bra att ha eleverna i åldersblandade klasser? Ska vi ha halvklass eller två lärare i ett och samma klassrum? Ska man börja med engelska i ettan eller i trean? Utan tester är det svårt ens för de ansvariga lärarna att få ett hum om svaret på dessa frågor. Än svårare är det att lära av varandra och hjulet måste uppfinnas gång på gång.

Problemet med att testa ligger i att man riskerar ett överdrivet fokus på just det som går att testa medan mer svårmätbara kvalitetsmål kan trängas undan. Det är per definition svårt att ha en empiriskt grundad åsikt om hur allvarliga dessa problem är, men jag skulle vilja påstå att Skol-Sverige är i stort behov av ökad extern kontroll.

Anledningen är att den svenska skolan är väldigt decentraliserad. Dels ligger huvudansvaret för skolan på kommunal nivå, dels har vi ett nästan världsunikt skolpengssystem som ger mycket makt till enskilda föräldrar, elever och skolor. Decentraliseringen kan vara en styrka eftersom olika skolor och kommuner både kan konkurrera med och lära av varandra men makten kan också missbrukas. Standardiserade prov vore en dellösning på problemet, inte minst då dessa ger föräldrar och elever en reell möjlighet att jämföra skolor. Ändrad högskoleantagning är en annan möjlig väg, som dock inte skulle påverka skolans lägre årskurser.

De amerikanska konferensdeltagarna häpnade inför beskrivningen av den svenska skolan. ”What about checks and balances?”, frågade de med konfunderade miner. Min gissning är att de har en viktigare poäng i detta sammanhang än när de analyserar fotboll.

Se även ”26-faldig ökning av andelen toppstudenter”, ”Osunt elev och betygsfokus” och ”Den sämsta av världar”.

Skolor som verkligen påverkar

Med en fot inne i den empiriska skolforskningen är det lätt att bli blasé. Nog går det att hitta belägg för att lärarkvalitet, klasstorlek och stökiga klasskamrater påverkar skolresultaten, men i allmänhet är effekterna förtvivlat små. Det enda som verkligen verkar spela roll är föräldrarnas utbildningsbakgrund, elevens kön och om eleven är nyinvandrad. Men så kommer Roland Fryer med en studie som ställer allt på ända; skolor som gör rätt saker kan mer än utradera skillnaden mellan svarta och vita elever i New York. Fryer själv beskriver detta som skolforskningens motsvarighet till att lösa cancerns gåta.

Resultatet kommer från en utvärdering av ett ambitiöst projekt att utveckla utsatta områden i Harlem. En central del av Harlem Children’s Zone (HCZ) är att erbjuda bra utbildning vid Promise Academy. Eftersom dessa skolor är mycket populära fördelas platserna med lottning och Fryer har följt och jämfört vinnarna och förlorarna i lottdragningen. Resultatet visas bäst i en figur.

promize_acad

Utförliga test gör det troligt att det är just Promise Academy’s överlägsna skolor och inte HCZs övriga insatser som ligger bakom resultatförbättringarna. Vad gör de då på Promise Academy? Följande ger en fingervisning:

  • Eleverna har långa skoldagar och korta lov. De som ligger efter i undervisingen har ungefär dubbelt så många timmar i skolan som elever på andra skolor. Även de som är i fas går ca 50 procent mer än andra elever i Harlem.
  • Skolan erbjuder hjälp efter skolan och extra lördagsklasser för dem som ligger efter.
  • Skolorna satsar hårt på att hitta och behålla de bästa lärarna och drar sig inte för att säga upp dem som inte håller måttet. Lärarna utvärderas och belönas på basis av hur elevernas resultat på standardiserade prov förbättras.
  • Lärarna har mycket stöd med administrativa uppgifter för att de helt ska kunna fokusera på undervisningen.
  • Eleverna erbjuds gratis skolhälsovård och deras hälsa kollas regelbundet. Skolmaten är naringsriktig och olika typer av familjestöd erbjuds.
  • Eleverna belönas med både pengar och resor när de presterar bra. Kunskapsutvecklingen mäts med regelbundna prov.
  • Ett kunskapsfokus präglar allt skolan gör. Eleverna har höga förväntningar på sig och hårt eget arbete betonas.

Tyvärr är det inte metodologiskt möjligt att svara på vad i allt detta som egentligen spelar roll, vilket gör det svårt för andra skolor att göra sig enkla lärdomar. Även om alla elever, svaga som starka, verkar gynnas ungefär lika mycket av att gå på Promise Academy är det dessutom tveksamt att samma program skulle vara lika framgångsrikt i en mindre socialt utsatt miljö. Värdet av långa skoldagar kan ju bero på om det är knarklangare eller ungdomar på väg till schackklubben som rör sig utanför skolan.

Ur ett svenskt perspektiv skulle Promise Academy innebära en veritabel slakt av heliga kor, även om programmet påminner om det som fått Haninges skolor att lyfta. Dessutom är det uppbart att åtgärderna inte är gratis. Trots detta är studien hoppfull eftersom den visar att skolor verkligen kan påverka. Det är därför dags för skolforskningen att höja ambitionsnivån. Personligen tror jag att vad lärarna egentligen gör med sin tid är en viktig, men underforskad fråga (att svenska lärare gör mycket annat än undervisa är uppenbart). Så det är väl bara att börja samla data.

Den nya gymnasieskolan

När gymnasiets tvååriga yrkesutbildningar gjordes treåriga var tanken att sänka tröskeln till högre utbildning genom att ge alla högskolebehörighet (cyniker menade att man ville gömma undan ungdomsarbetslösheten). Invändningen har varit att det är meningslöst att tvinga teoretiska studier på dem som ändå inte vill läsa vidare. I värsta fall kan detta få eleverna att hoppa av vilket lämnar dem utan vare sig yrkesutbildning eller högskolebehörighet. Regeringen har tagit fasta på kritiken och vill göra en tydligare åtskillnad på gymnasiets teoretiska och yrkesförberedande utbildningar. En sällsynt vältajmad IFAU-rapport tyder på att detta är rätt väg att gå.

Som hade man IFAUs framtida utvärderare i åtanke gjordes yrkesprogrammen om stegvis i olika kommuner. Doktoranden Caroline Hall har därför kunnat jämföra elever i försökskommunerna före och efter reformen med samtida förändringar bland elever i andra kommuner. Resultaten är nedslående. Avhoppen bland eleverna på yrkesprogrammen ökade med 3,8 procentenheter; en dramatisk ökning med tanke på att ca 11 procent hoppade av i snitt. Ökningen av elever utan kompletta betyg var än större. Då de negativa effekterna nästan helt koncentrerades till dem med svaga akademiska förutsättningar ser det betydligt värre ut bland dessa elever.

Någon ökning av benägenheten att läsa vidare står däremot inte finna. En förklaring kan vara att komvux redan tidigare lyckades bra med att fånga upp de yrkeselever som kom på att de ville studera vidare. Eftersom eleverna på framtidens yrkesutbildningar ska garanteras plats på komvux förefaller regeringens förslag att vara välgenomtänkt, åtminstone på denna punkt. Sedan är det sorgligt att regeringen väljer att behålla styggelsen kursvisa betyg (se här och här), men det är en annan fråga.

Sätt arbetslösa att bygga forskningsdatabaser!

imageI samband med den ekonomiska krisen och den arbetslöshet som medföljer har ett gyllene tillfälle infunnit sig för Sveriges forskare. Den s k jobb- och utvecklingsgarantin möjliggör nämligen subventionerad arbetskraft i form av personer som stått utanför arbetsmarknaden under lång tid. Som reklambilden från Arbetsförmedlningen till höger visar är denna arbetskraft dessutom helt gratis för arbetsgivaren!

För svenska forskare innebär detta en unik möjlighet. Är det något vi forskare behöver för att öka vår produktivitet och göra oss gällande internationellt, så är det att besvara viktiga frågor med hjälp av unika, högkvalitativa dataset. I våra rika svenska historiska arkiv ligger en mängd (mikro-)databaser och batra väntar på att samlas in och analyseras. Att detta inte gjorts tidigare beror på bristande på resurser för dessa stora datainsamlingar. Nu är alltså detta avgörande hinder potentiellt övervunnet.

Vilka databaser borde då de arbetslösa sättas att hjälpa forskarsamhället att bygga? Här är några av förslag som vi skulle vilja se:

  • Expandera SCB:s flergenerationsregister bakåt i tiden.
  • Digitalisera Folk- och Bostadsräkningarna från tiden före 1950.
  • Digitalisera de historiska kyrkoböckerna över befolkningen på församlingsnivå.
  • Mönstringsdata från tiden före 1969.
  • Betygsdata för perioden innan 1988 (1985 för gymnasiet).
  • Kodning av ägar-, styrelse- och ledningsstrukturen bland svenska börsföretag från slutet av 1800-talet och framåt.

Förutom att dessa databaser skulle ge förutsättningar till fantastisk forskning, är deras insamlande helt i linje med regeringens och Vetenskapsrådets uttryckliga ambitioner att förbättra forskningens infrastruktur. Krisen har gett vetenskapssamhället en unik chans att förverkliga drömmar. Man kan bara hoppas att forskarna inser detta innan konjunkturen vänder.

DN,SvD

Massor av personal men stora klasser

Med drygt åtta heltidstjänster per 100 elever borde klasserna i den svenska skolan kunna vara Bullerby-små. För de flesta med barn i skolåldern förefaller emellertid siffrorna vara hämtade från en annan planet. En informell undersökning (tyvärr saknas statistik över klasstorlek) visar att 25 till 30 elever är kotym i lågstadiet. Diskrepensen beror på att all pedagogisk personal, även fritidspedagoger och förskollärare, räknas som ”lärare” i statistiken.

tidigare forskning visat att små klasser är bra men att extrapersonal i en stor klass är av intet värde kan man ifrågasätta den svenska modellen. Slutsatsen beror dock på exakt vari nackdelarna med stora klasser består. Några nya studier tyder på att dessa är de förväntade: sannolikheten att bli störd ökar i större klasser och det är svårare att motivera enskilda elever i dessa.

Anna Aizer utnyttjar att barn med ADHD uppvisar mindre beteendeproblem efter att de fått diagnos (och behandling). Aizer visar (gratisversion här) att det går betydligt bättre för klasskamraterna till ADHD-elever efter att dessa diagnosticerats än innan. Intressant nog verkar pojkar påverkas mer än flickor av att ha en stökig klasskamrat och dessutom är de negativa effekterna mindre i små klasser än i stora. Carell och Hoekstra finner (gratisversion) snarlikna resultat genom att följa klasskamraterna till elever vars föräldrar misstänks misshandla sina barn. Även i denna studie visar sig pojkar påverkas betydligt mer än flickor.

Det finns fler pusselbitar. Om lärare främst fungerar som förmedlare av kunskaper och färdigheter borde små klasser vara särskilt bra för akademiskt svaga elever. Om lärarens roll i stället är att motivera eleverna att arbeta och anstränga sig borde små klasser vara särskilt bra för oengagerade elever. Med hjälp av väldigt detaljerade data finner Babcock och Betts tydliga belägg för det senare.

Även om tolkningen av resultaten är inte självklar förefaller den svenska modellen vara riskfylld. Visst kan hjälplärare bidra till ordningen i klassrummet men om de misslyckas kommer varje elev som stör att störa många klasskamrater. Att dela upp eleverna i olika grupper riskerar att minska varje enskild lärarens förmåga att motivera eleverna. Frågan är då vilka fördelar den svenska modellen egentligen för med sig? Tyvärr är det svårt att ge ett svar eftersom denna typ av forskning inte kan bedrivas i Sverige. Till det saknas två centrala ingredienser: ett elevregister och mätbara utfall innan årskurs nio.

Ojämställd forskningsfinansiering

Många doktorander och forskare i Sverige finansieras med skattefria stipendier. Hur vanligt detta är varierar mellan lärosäten och discipliner, men det är vanligt i nationalekonomi bland annat eftersom Handelsbankens forskningsstiftelser finansierar så mycket nationalekonomisk forskning.  

Att finansieras med stipendier innebär att man i princip står utanför de sociala trygghetssystemen. Stipendier är inte pensionsgrundande och man får nöja sig med lägstanivåerna i exempelvis sjuk- och föräldraförsäkring. Detta innebär förstås ett problem för jämställdheten — eftersom kvinnor fortfarande tar ut större delen av föräldraledigheten blir det mer kostsamt för kvinnor än män att doktorera och forska.

Många lärosäten rör sig i en juridisk gråzon när det gäller hanteringen av dessa stipendier. Till exempel skapas ibland tillfälliga anställningar — i vissa fall till och med retroaktivt! — för att möjliggöra föräldraledighet med högre ersättning än lägstanivån. Förutsättningen för att stipendiegivare ska kunna betala ut periodiska stipendier skattefritt för forskningsändamål är att inga krav på motprestation ställs. Det är dock väldigt vanligt att krav ställs på att doktorander och forskare skall undervisa, närvara vid seminarier m.m. för att få stipendierna. Det är lärosätet som ställer dessa krav, men med tanke på de ofta nära banden mellan stipendiegivare och lärosäten torde de juridiska läget vara oklart.

Både stipendiegivare och lärosäten vill förstås att så mycket forskning som möjligt produceras, så någon frivillig övergång till att betala ut lön i stället för stipendier kommer inte att ske. Det krävs därför förmodligen politiska åtgärder för att få en förändring till stånd. 

Nuvarande system innebär en subventionering av forskning och forskarutbildning i jämförelse med andra sektorer. Detta är en märklig form av subventionering som  skapar godtyckliga skevheter mellan de som har ”riktig finansiering” och de som är stipendiefinansierade, ställer till problem för enskilda och skapar ett jämställdhetsproblem. Vem skulle drömma om att subventionera hushållsnära tjänster genom att möjliggöra för privatpersoner att ge skattefria stipendier till städaren? 

Ett bättre sätt att subventionera forskning och forskarutbildning är att sänka de sociala avgifterna eller inkomstskatten for forskare. Någon form av allmän subvention krävs eftersom ett borttagandet av möjligheten att ge skattefria periodiska stipendier annars skulle innebära en kraftig minskning av antalet doktorander och forskare. 

Avslutningsvis bör sägas att jag talar i egen sak i den här frågan (jag har hittills varit stipendiefinansierad i fem år). Men som jag skrev för någon vecka sedan kan det vara bra att särintressen kommer till tals eftersom de kan sitta inne med information som kan hjälpa beslutsfattare att fatta bättre beslut…

Är det bra med läxor?

laxaSynen på läxor som ett viktigt komplement till den undervisning som ges i skolan har varierat över tiden. 1901 förbjöd till exempel Kalifornien läxor för barn under 15 år, men i och med framgångar av först Sovjetunionen och senare Japan ändrades den amerikanska synen på vikten av hemarbete.

Som jag ser det finns det två viktiga frågor att ställa sig när man ska bedöma om läxor är ngt att ha. Den första självklara frågan är förstås om elevers prestationer och framtida löner förbättras av läxor. Den andra, och minst lika viktiga, frågan är om läxor ökar gapet mellan barn till hög- och lågutbildade. Vi vet att även i det jämlika Sverige med studielån och fri utbildning  råder en social snedrekrytering till högre studier. Om det skulle vara så att läxor förstärker denna så behöver beslutsfattare fundera en gång till.

Den första frågan, dvs om läxor gör att elever presterar bättre analyseras i en ny forskningsrapport av Ozkan Eren och Daniel J Henderson. De undersöker hur mängden läxor som läraren ger eleverna påverkar elevernas betyg i åttan. Efter att ha kontrollerat för såväl elevfixa effekter som lärarfixa effekter finner de att matte-läxor förbättrar elevernas prestationer, men att läxor i naturkunskap, engelska och historia är verkningslösa. Den förklaring de ger till detta resultat, och som låter sannolik, är att matteläxor i större utsträckning handlar om problemlösning, medan läxor i andra ämnen mer är utantillärande.

Eren & Henderson finner också att matteläxorna har större postivia effekter  för vita och barn till ”medelutbildade” (med high school eller viss collegeutbildning). En tolkning av detta kan vara att det krävs att föräldrarna faktiskt har förmåga (och tid) att hjälpa sina barn för att läxläsningen ska ge resultat.

Att det är viktigt att få hjälp i läxläsningen visar också svensk evidens från de s.k. arbetsstugorna som fanns i Norrbotten på 1940-talet. I dessa stugor fick barn som bodde långt från skolan bo under terminerna och i dessa stugor fick barnen hjälp med läxläsning av personalen som var utbildade i pedagogik. Per Johansson och Christian Andersson visar att arbetsstugebarnen förbättrade sina betyg från klass 1 till klass 7 mer än de barn som bodde hemma. Viktigast var detta för barn med dåliga resultat i klass 1.

En väldig viktig aspekt för att läxor ska fungera bra och inte öka segregeringen i samhället måste därför vara att samhället satsar på att ge barn som inte kan få hjälp med läxorna hemma alternativ läxhjälp. Särskilt viktigt kan detta tänkas vara för barn vars föräldrar inte behärskar det svenska språket. ”Fritids” (eller skolbarnomsorg som det heter på korrekt språk) spelar här en viktig roll.

Hungriga vargar jagar bäst

Jag har hört sägas att förr i tiden så kunde en forskare den dagen han blev professor (för det var alltid män som blev professorer förr i tiden) lägga ner pennan för att aldrig ta upp den igen. Nu är väl detta inte riktigt sant idag, många av dagens professorer deltar aktivt i forskarvärlden och publicerar nya artiklar. Men om man jämför antal seminarier under en termin per doktorand och nydisputerad forskare med antal seminarier per professor är jag övertygad om att  de nya forskarna kommer att dominera över de gamla.

Min förutfattade mening att en forskare är som mest aktiv när hon eller han är ny får stöd i ett pågående forskningsprojekt som bedrivs av Ali Sina Onder vid Vanderbilt University. Tillsammans med med 3 medförfattare undersöker han hur antal publicerade artiklar i topp-tidskrifter avtar ju längre tid som går efter doktorsexamen. I figuren nedan framgår hur antal publicerade sidor i topp-tidskrifter avtar med tid sen disputationen bland disputerade från topp-20 universitetn i USA. Mönstret ser likadant ut för studenter från sämre universitet, även om nivån är lägre.

aer

Källa:  Conley, J.P., M.J. Crucini, R.A. Driskill, A.S. Onder (2009), ”Why Can’t New Professors Get Tenure? The Effect of Publication Lags on
Life Cycle Productivity in Economics”, manuscript.

Nu beror säkert en del av minskningen på att en del nydisputerade forskare lämnar den akademiska världen och därför upphör att publicera sig (det enda som kurvorna i figuren betingar på är att forskaren har åtminstone en publikation). Trots detta tror jag att en inte obetydlig förklaring är att nydisputerade forskare är i stort behov av att bygga upp en CV för att kunna meritera sig och få fasta positioner, men att detta behov avtar när de väl har fått sina fasta anställningar. Så det är kanske som de säger: att hungriga vargar jagar bäst.

Lurig inkomstfördelningsstatistik

Att ha korrekta mått på inkomstfördelningen är en förutsättning för en konstruktiv diskussion om välfärdens utveckling, inte minst för att motverka de politiska krafter till höger och vänster som ofta avsiktligt misstolkar inkomstdata. Tyvärr syndar ibland även forskare, nu senast en amerikansk forskare vars nya inkomststatistikdatabas presenterats som bättre än föregångarna men vilket en närmare betraktelse inte ger stöd för.

Det var via Andreas Berghs hemsida som jag fick reda på den nya amerikanska databasen, med namnet ”SWIID” (det är en förkortning för ”standardiserad” WIID, där WIID i sin tur är en välkänd kollektion av allsköns oberoende inkomstfördelningsresultat från olika länder, några usla, andra bättre). Amerikanen hävdar att hans dataset ”minimerar effekten av problematiska antaganden genom utgå från så mycket information som möjligt från näraliggande år från samma land” (min kursivering). Men en närmare titt på SWIID:s dokumentation visar att databasen inte innehåller nya, bättre data utan enbart ompaketerar gamla dataserier t ex genom att väga upp vissa observationer och skapa årsserier med hjälp av glidande medelvärden. Detta kan knappast vara att ”minimera” de problem som de gamla serierna led av.

Hur levererar då den nya databasen SWIID i fallet Sverige? Ett test är att jämföra dess enda fördelningsmått, gini-koefficienten, med motsvarande mått från SCB:s inkomstfördelningsundersökning (data här). Serierna är inte helt jämförbara eftersom SCB studerar s k konsumtionsenheter (personer inom kosthushåll) med SWIID förmodligen bokföringshushåll. Och SCB:s disponibla inkomster innehåller realiserade kapitalvinster vilket SWIID förmodligen inte gör. Jag säger ”förmodligen” eftersom SWIID:s dokumenation är urusel, vilket i sig är ett tecken på låg kvalitet.

Diagrammet nedan visar Sveriges gini 1991-2006 i SWIID och SCB . Varken trender eller nivåer stämmer överens. SWIID:s serie ligger inte bara betydligt lägre utan faller kraftigt 2001-06 medan den stiger i SCB:s serie. Än värre förefaller SWIID:s serie vara linjärt interpolerad mellan vissa år (se de spikraka strecken mellan 1993, 1996, 2000, 2004). 

image

Slutsatsen är att SWIID-databasen inte håller vad dess upphovsman lovar. Tvärtom lider databasen av precis samma problem med ”skit in, skit ut” som tidigare databaser (vilkas data SWIID också återanvänder). Den varning som inkomstfördelningsnestorn (och framtida nobelpristagaren?) Anthony Atkinson och Andrea Brandolini utfärdade för femton år sedan angående dessa internationella inkomstfördelningsdatabaser står sig med andra ord än idag:

We are not convinced that at present it is possible to use secondary datasets safely without some knoweldge of the underlying sources, and we caution strongly against mechanical use of such data-sets.

Lovande första nummer av ny tidskrift

Applied.ai

En sak som det knappast råder någon oenighet om bland oss ekonomer är att American Economic Review (AER) hör hemma i tidskrifternas topp-fem. Nu har AER ynglat av sig i fyra nya tidskrifter AEJ:Macroeconomics, AEJ: Applied Economics, AEJ: Microeconomics och AEJ: Economic Policy. Tanken är att dessa tidskrifter ska ta emot egna artiklar och även att artiklar som inte riktigt plats i AER men som ändå är av hög kvalitet ska kunna slussas vidare till någon av AEJ-skrifterna. Nyfikenheten har varit stor.

I veckan damp första numret av det två förstnämnda ner i mitt postfack och det är sannerligen en högintressant mix av artiklar som redaktörerna har fått ihop. I AEJ Applied diskuteras bland annat indiska offentliga bankers utlåning till regioner med osäker valutgång under valår, alkoholens dödlighet för ungdomar, betydelsen av textböcker för framgången för skolbarn i Kenya, arbetsutbudseffekter av en ålderspension på den yngre generation, och betydelsen av olika studiefinansieringssystem för juristers framtida yrkesval. Bland författarna finns Sendhil Mullainathan, Joshua Angrist, Anne Case m fl intressanta namn. Kort sagt, mycket intressant att sätta tänderna i.

AEJ Applied har också (troligitvis inspirerade av de livliga diskussionerna här på Ekonomistas) startat ett online diskussionsforum där medlemmar i AEA kan gå in och direkt diskutera och ställa frågor kring artiklarna. Det ska onekligen bli spännande att hur livlig denna diskussion kommer att bli.