Bäst när det gäller

Hur olika grupper påverkas av att stress och press när de ska prestera är en fråga som intresserar både ekonomer och andra. I en ny uppsats jämför bland andra Analia Schlosser hur beteendet ändras när man skriver prov där vad som står på spel skiljer sig markant mellan provtillfällena. Studien jämför hur resultaten på det amerikanska GRE-provet påverkades när provdeltagarna efter det riktiga provet fick skriva ett nytt prov där det gjordes tydligt att resultaten inte spelade någon roll.

GRE är ett högskoleprovsliknade test som används vid antagning till forskarstudier. Föga förvånande skrev de flesta bättre på det eventuellt livsavgörande än på det betydelselösa provet. Gruppskillnaderna var dock slående: Män försämrade sig betydligt mer än kvinnor och vita provdeltagare försämrade sig betydligt mer än asiater, svarta och spansktalande (hispanics) när inget stod på spel.

En förklaring är att män och vita var särskilt benägna att lämna väldigt snabba svar när provet var betydelselöst vilket tyder på att de helt enkelt inte brydde sig särskilt mycket. En annan möjlig förklaring är att kvinnor och minoritetsgrupperna stressar och oroar sig mer när proven är viktiga. Då det inte fanns några systematiska gruppskillnader i sannolikheten att förbättra sina resultat vid det andra provet förefaller detta emellertid inte att vara en hållbar förklaring. En möjlighet som inte går att testa är att män och vita presterar särskilt bra vid det viktiga provet.

Det är välkänt att pojkar får lägre betyg än flickor med motsvarande resultat på de nationella proven. Schlossers studie tyder på att en förklaring kan vara att pojkar är mindre benägna att anstränga sig i skolans vardagliga arbete. En intressant vidareutveckling av studien hade därför varit att undersöka om viktiga eller betydelselösa provresultat har bäst prediktionskraft i olika sammanhang. Efter vad vi vet om betyg och prov så gissar jag att de betydelslösa proven är viktigare för att avgöra akademisk framgång men det kan se annorlunda ut i andra sammanhang.

Lite överraskande ger studien även svar på frågan varför nationalekonomer och ”skolfolk” talar så olika språk när det gäller incitament. Figuren nedan visar nämligen att nationalekonomer försämrar sig mest medan de som har sin grundutbildning i utbildningsvetenskaper försämrar sig minst när provet är betydelselöst. Alltid denna introspektion.

Deadline för uppsatser till nationella konferensen!

imageDet är inte ofta man får tillfälle att kombinera nytta med nöje. Men i höst ges ett sådant alla nationalekonomer i Sverige med intresse för den akademiska forskningen. Det är i samband med den andra nationella konferensen den 16-17 september i Uppsala.

Sista dagen att skicka in uppsatser till det vetenskapliga programmet är den 15 maj, dvs om en vecka. Uppsatser ska skickas till denna e-postadress.

förra årets konferens presenterades 65 uppsatser på 17 sessioner inför 140. Det är rimligt att säga att “Alla var där”. Notabelt var den höga vetenskapliga nivån på samtliga sessioner. Programmet bestäms i hög grad av vilka uppsatser som skickas in. Men att vice riksbankschef Lars E O Svensson kommer och ger anförande.

För den som vill presentera sin forskning inför den samlade svenska nationalekonomiska forskningssfären är det nationella mötet ett gyllene tillfälle. För den som vill delta men inte presentera är sista anmälningsdag den 30 juni. Läs mer på konferensens hemsida.

Skolfolkets bristande förståelse för incitament

Jag har i flera inlägg här på bloggen lyft fram frågan om betygsinflation. Ett relaterat problem är betygens bristade likvärdighet vilket Magnus Henrekson, Örjan Hansson och jag skriver om i senaste numret av Axess. Medan problemet är välkänt så lyfter vi fram Skolverkets och Skolinspektionens lama och naiva hållning: Varför får skolor och lärare tillgång till de nationella proven i god tid innan de skrivs? Hur kan man delegera frågan om likvärdighet i betygssättningen till skolorna (sid 4)? Varför rättas de nationella proven lokalt, trots att de uppenbart bedöms på olika sätt? Varför nämns inte betygssättningen när Skolinspektionen granskar betygsgenerösa Jensen Södra medan den kritiseras på Solna gymnasium som sätter betyg i linje med provresultaten?

Oviljan att på allvar hantera likvärdighetsproblemet finns även på politisk nivå då ingen ansvarig politiker exempelvis velat slå fast hur relationen mellan resultat på de nationella proven och betygen ska se ut, vilket Skolverket närmast ber om i en senfärdig rapport från 2009 (sid 18). Regeringen har även valt att behålla systemet med kursbetyg på gymnasiet trots att detta i praktiken gör det omöjligt att koppla provresultat och betyg till varandra (sid 591-592).

Vårt förslag är att de nationella proven hålls samtidigt på alla skolor, att proven inte tillhandahålls i förväg och att de rättas av personer utan koppling till den betygssättande skolan. (Jag skulle även vilja se en reglering av mängden tid som får läggas på provförberedelser.) Betygen på skolnivå får sedan inte avvika mer än marginellt från provresultaten, vilket även  bör gälla för betyg i ämnen utan prov. Naturligtvis skapar även ett sådant system vissa problem: ett för stort fokus på de nationella proven är det mest uppenbara. Dagens situation är dock ohållbar, i varje fall om man vill ha kvar betygen som urvalsinstrument till högre studier (vilket man nog vill).

Frågan är dock om man kommer att se någon förändring så länge inte de skolvårdande myndigheterna börjar se till skolors och lärares incitament. Utan synbar förståelse för att betygen kan användas som strategiskt marknadsföringsinstrument eller för att lärar/elevrelationen gör att både betyg och bedömning av elevens provresultat lätt blir generösa, så verkar likvärdighetsfrågan betraktas som ett informationsproblem. Regeringens gymnasieutredare (sid 592) anser att en provbank kan hantera problemen medan både utredningen om mål och kunskapskrav i grundskolan (sid 253) utredningen om överprövan av betyg (sid 101) anser att rektorn ska få större befogenheter att ifrågasätta lärarnas betygssättning. Det är som om man missat att dagens skolledare inte är statens utsända representanter utan lokalt tillsatta chefer för en konkurrensutsatt verksamhet.

Slutligen förundras man över hur mycket kraft som läggs på att utreda betyg och nationella prov på grundskolan medan det är förhållandevis tyst om frågan på gymnasienivå. Trots allt är det gymnasiebetygen som ligger till grund för högskoleval med livsavgörande konsekvenser. En lös spekulation är att detta beror på att den kurs- och programbaserade gymnasieskolan är så komplex och oöverskådlig att ingen vet ens hur den ska analyseras. Eller så beror det kanske på att man inte brytt sig om att systematiskt samla in resultaten från de nationella prov som trots allt hålls.

Se även SvD och SDS

När kan skolan göra skillnad?

Enligt Aftonbladet är ett undervisningsråd på Skolverket upprört över att det finns ett tydligt samband mellan föräldrarnas utbildningsbakgrund och elevernas resultat på de nationella proven redan i årskurs 3. Naturligtvis kan man uppröras över sociala skillnader, men är det verkliga den tidiga manifestationen av dessa som är upprörande? Trots allt har ju inte skolan haft så mycket tid på sig att kompensera för skillnader i hemmiljön när de nationella proven i årskurs 3 skrivs.

Ett större misslyckande för skolan vore det om föräldrarnas utbildningsbakgrund fick allt större genomslag ju längre tid eleven gått i skolan. Ungefär det mönster som verkligheten visar upp, med andra ord.

(Och ja, jag är medveten om att proven inte är helt jämförbara.)

Tipstack till Björn TH.

Ny nationell konferens i nationalekonomi

imageFörra året ägde den första nationella konferensen i nationalekonomi rum i Lund. Mötet var en stor succé, med över 140 deltagare, 63 vetenskapliga uppsatspresentationer, en plenarföreläsning av Torsten Persson och en spännande paneldebatt om arbetsmarknadspolitik mellan Lars Calmfors, Peter Fredriksson, John Hassler och Magnus Henrekson.

Nu är det så dags igen. Den 16-17 september 2011 äger den andra nationella konferensen i nationalekonomi rum, denna gång i Uppsala. Formen är densamma: en och en halv dag, parallella sessioner, plenarföreläsning – denna gång med vice riksbankschef Lars E O Svensson – och en paneldebatt.

Alla som vill presentera vetenskapliga uppsatser vid mötet kan skicka in förslag på uppsats senast den 15 maj. (Instruktioner finns på konferenshemsidan).

Väl mött i Uppsala i september!

Segregation, skolval och skolresultat

Det finns två fakta om den svenska skolan som få bestrider: resultaten har fallit och skolorna har blivit mer segregerade. Den ökade segregationen visar sig i att den del av den totala kunskapsspridningen som kan förklaras av vilken skola eleverna går på — mellanskolvariansen — enligt PISA-undersökningarna ökat kraftigt under 2000-talet (sid 137). En studie av bland andra Bo Malmberg visar dessutom övertygande att en överväldigande del av denna ökning troligen* kan förklaras av det fria skolvalet (då även det fria valet mellan kommunala skolor).

Sedan tar enigheten slut. Lena Sommestad, Bo Malmberg och Ingrid Carlgren hävdar exempelvis att den av skolvalet orsakade skolsegregationen är en avgörande orsak till resultatförsämringen. Friskoleförespråkare som Timbros Markus Uvell menar i stället att resultatutvecklingen i den svenska skolan hade varit ännu sämre om det inte vore för konkurrensen från friskolorna. Forskargruppen på IFAU anser däremot att förklaringar bäst söks på annat håll.

För att bringa någon klarhet i detta kan man först konstatera att den empiriska grunden för att ökad spridning mellan skolorna skulle vara orsaken till de fallande genomsnittsresultaten är skakig. Mycket av argumentationen förefaller bygga på nedanstående figur som dock bara visar att det finns en negativ korrelation mellan spridning och genomsnittsresultat. Korrelation är emellertid inte kausalitet och det finns tusen och en faktorer som samvarierar med mellanskolvariansen vilka i sig kan påverka elevernas genomsnittliga skolresultat.

Mellanskolvarians och genomsnittlig elevprestation i OECD/Pisa data, 43 länder 2000-06.

Medan hypotesen om mellanskolvariansens betydelse passar som hand i handske med svaga elevers försämrade skolprestationer så har den svårare att förklara varför även de starkaste eleverna presterar allt sämre. Om dessa i allt högre grad omges av studiemotiverade elever från trygga hem borde de — i någon grad — prestera bättre än tidigare. Men det gör de alltså inte.

Faktum är att det inte ens är självklart att det är resultaten bland de svaga eleverna som försämrats mest. Figuren nedan visar förändringar i medelresultat och spridning (skillnaden i resultatförändring mellan elever i 95e och 5e percentilen) på ett antal internationella kunskapsmätningar.

Förändring i medelvärde och spridning (mellan elever i 95e och 5e percentilen). PISA-resultaten anges både relativt OECD-genomsnittet och som absoluta förändringar.

Enligt RLS/PIRLS och PIRLS kännetecknades både perioden 1991 till 2001 och 2001 till 2006 av försämrad genomsnittlig läsföreståelse och minskad spridning mellan eleverna i årskurs tre respektive fyra. Detta talar direkt mot hypotesen att ökad spridning skulle orsakat försämrade genomsnittsresultat. Samma mönster syns i TIMSS-undersökningarna för matematik och naturvetenskap bland åttondeklassare under perioden 1995 till 2007. PISA-undersökningarna — även de för åttondeklassare — finner däremot att spridningen ökat och snittprestationerna försämrats mellan 2000 och 2009.

En delförklaring till varför mönstren ser olika ut är att PIRLS/TIMSS har ambitionen att mäta absoluta kunskapsförändringar medan förändringar i PISA mäts relativt OECDs genomsnitt. Då spridningen minskat i andra OECD-länder så har den svenska spridningen ökat relativt dessa. Som kan ses i figuren är detta dock inte hela förklaringen utan även den absoluta spridningen bland svenska elever har enligt PISA ökat i naturkunskap och läsning, medan den minskat något i matte. Det är inte självklart vilka resultat som är mest rättvisande men att — som Sommestad m.fl. — lyfta fram PISA men bortse från PIRLS/TIMSS förefaller tveksamt.

Låt oss dock för sakens skull anta att PISA-resultaten om ökad spridning stämmer. Kan man därigenom dra slutsatsen att det är skolvalet och den ökade skolsegregationen som ligger bakom de försämrade genomsnittsresultaten? Om så vore fallet borde rimligen resultaten försämrats mest i storstäderna; det är trots allt där skolvalet är en realitet och det är i storstadsregionerna som spridningen mellan skolorna ökat. Figuren här intill förmedlar ett annat budskap: under 2000-talet har resultaten försämrats överallt och om något så har de fallit mest på landsbygden.

En relaterad fråga är om familjebakgrunden fått ökad betydelse för elevernas prestationer? Nästa figur visar att betygsfördelen av att vara barn till en högutbildad moder minskat något mellan 1990 och 2008. Detta skulle kunna betyda att familjebakgrunden fått minskad betydelse men en troligare förklaring är att andelen högutbildade mammor ökat. Det visar sig emellertid även att betygsskillnaderna mellan barn till föräldrar på olika nivåer i inkomstfördelningen i princip är stabila över tid. Nackdelen av att vara utlandsfödd har ökat något vilket kan bero på ökad segregation, men det kan även bero på förändringar i familjebakgrund, ursprungsland och invandringsålder bland de utlandsfödda.

Att undersöka betyg är inte utan problem: förändringar betygssättningsnormer kan ha påverkat förhållandet mellan betyg och faktisk kunskap olika för olika grupper. Exakt hur sådana faktorer påverkar dessa samband är dock oklart och efter att ha granskat figuren ovan så är det svårt att med säkerhet hävda familjebakgrundens ökade betydelse.

Min sammanfattande tolkning är att den ökade spridningen mellan skolorna inte är en hållbar förklaring till den allmänna försämringen av svenska elevers kunskapsnivå. Därmed inte sagt att den saknar betydelse: det är möjligt att de fallande resultaten bland svaga elever i någon grad kan förklaras av ökad segregation. Därutöver kan man anse att ökad skolsegregation är problematisk även av andra skäl. Någon enkel, ideologisk välförankrad lösning på skolans problem finns däremot troligen inte. Mycket vore vunnet om man kunde sluta hoppas att så är fallet.

* Jag skriver ”troligen” då studien jämför den faktiska betygsspridningen mellan skolorna med den som hade rått om alla elever i stället gått på den närmast liggande skolan (men behållit sina betyg). Då analysen dels förutsätter att betygen inte påverkas av vilken skola eleven går på, dels att möjligheten till fritt skolval inte påverkat familjernas bostadsval så kan ansatsen överdriva skolvalets betydelse något. Se även Helena von Schantz, Christer magister, LibDeb, Tomas Englund, Arbrörelsen, Anders Lindbom, Lotta Edholm, TTF, Mats Olsson, Viharrräknat, Niclas Berggren, Andreas Bergh, Alliansfritt, Anders Jakobsson mfl, Utredarna, LR, Heidbrink, Ekonomisten, Plura.

Ny databas med världens toppinkomster

Få har väl missat att de senaste årens diskussioner om inkomstojämlikhetens utveckling allt oftare uttryckts i termer av toppinkomster och hur stor andel av alla inkomster som de rika tjänar. Bakgrunden är den forskning som bedrivits under ett antal år, där långa tidsserier över ojämlikheten konstruerats.

I en ny databas, skapad och underhållen av forskarna Thomas Piketty, Tony Atkinson och Emmanuel Saez, tillhandahålls alla befintliga dataserier över toppinkomsterna i olika länder. Serierna är fritt nedladdningsbara och bygger på insatser av ett flertal forskare från olika länder (däribland serien för Sverige skapad av Jesper Roine och mig själv).

I dagsläget täcker databasen 22 länder från alla världsdelar och ytterligare ett 30-tal länder är under konstruktion. Resultatet är en unik paneldatabas med jämförbara serier över inkomstojämlikheten under nästan ett helt sekel.

image

Analysen av toppinkomsternas relativa andel täcker inte in alla relevanta aspekter av inkomstojämlikhet. När det t ex gäller frågor som rör de fattigas eller medelklassens inkomster är dessa serier tysta.

Samtidigt är toppinkomstandelarna starkt korrelerade med andra mått på inkomstspridning, t ex Gini. Toppinkomsterna erbjuder unikt långa tidsserier, ofta över 100 år, vilket förklaras av att de rika var de första att beläggas med inkomstskatter. Att närstudera de mest framgångsrika och välbärgade i samhället kan dessutom ge svar på frågor som rör globaliseringens effekt på jämlikheten eller hur eliten påverkas av finanskriser.

Så för alla er som är nyfikna på att få veta mer om dessa frågor kan jag rekommendera ett besök på Top Incomes Database.

PISA, TIMSS och tillväxten

I diskussionen om standardiserade prov i skolan finns en legitim oro för att ett ökat fokus på provresultat kan tränga undan skolans mer subtila uppdrag. Det finns även en syn att svenska elevers svaga resultat i internationella jämförelser beror på att arbetar på ett tillämpat sätt som tränar deras självständighet och kreativitet, men kanske inte maximerar provresultaten. (Intressant nog anser vissa finska forskare att de finska elevernas framgångar beror på att den finska skolan har ett praktiskt fokus som tränar elever i att dra egna slutsatser.)

Det kan därför vara intressant att veta om internationella provjämförelser fångar något som vi faktiskt är intresserade av. Figuren nedan visar det starka sambandet mellan ekonomisk tillväxt (1960-2000) och landets genomsnittliga resultat på olika internationella prov, efter att hänsyn tagits till initial BNP/capita och initial genomsnittlig utbildningslängd (från denna studie).

Sambandet mellan tillväxt och utbildningslängd (efter att hänsyn tagits till genomsnittliga provresultat och initial BNP/capita) är däremot inte riktigt lika tydligt…

Tillväxt är inte allt och korrelation är inte kausalitet (en fråga som diskuteras utförligt i studien) men nog visar dessa figurer att det finns anledning att se på nedanstående svenska resultatutveckling med viss oro.

För övrigt verkar Skolverket anse att innehållet i både TIMSS och PISA i stora drag fångar den svenska läroplanens mål.

Utbildningsfinansieringens nya kläder

Alltsedan bonden kom på att en morot hängandes framför åsnan får den att dra bättre har intresset för incitamentens betydelse varit stort. Men även om incitament ofta är en produktiv sporre kan de ibland förleda människor att göra fel saker, t ex lura till sig moroten utan att behöva dra kärran. Ekonomistas har lyft fram flera exempel på detta från både teori och praktik om bl a försörjningsstödets utformning, underskattningen av prestige, eller bonus för döda gerillamän.

Idag (25/2-11) beskriver statsvetaren Johan Tralau i DN ett annat exempel på missriktade incitament: Skolor och universitet som får pengar för att ge höga betyg till sina elever och studenter. Att konkurrensen om elever i kombination med att måttet på en bra skola är ett högt medelbetyg har gjort att högstadie- och gymnasieskolor successivt höjt sina betyg för att se bättre ut och locka till sig fler elever — och få mer skattepengar. Om detta har bl a Jonas Vlachos skrivit (bl a här och här).

Tralau påpekar emellertid att samma problem finns vid våra universitet och högskolor. Institutionerna får anslag efter antalet examinerade högskolepoäng och därmed ges lärarna direkta incitament att inte bara godkänna alla studenter utan även sätta höga betyg så att ryktet sprider sig om lätta poäng och höga betyg, vilket ger ännu mera pengar när studenter strömmar till . Likt pojken som ropade ”Men han har ju inga kläder på sig!” när han såg den nakne kejsaren framhåller Tralau det som alla redan vet men som ingen talar högt om.

Kontentan är naturligtvis att kunskapen tar stryk och att värdet på befolkningens humankapital gradvis urholkas, såväl absolut som relativt andra länder. Det är dags för en översyn av kvalitetsmätning och finansieringsformer i det svenska utbildningssystemet.

Rapport om betygsinflation

En rapport om hur konkurrensen påverkat betygssättningen i de svenska skolorna som jag skrivit åt Konkurrensverket släpptes igår. I korthet finner jag att den ökade konkurrensen haft en måttlig påverkan på betygsinflationen i grundskolan. Huvudförklaringen måste dock sökas på annat håll och då är betygens bristande förankring i objektiva kunskapsmätningar en trolig kandidat. Vidare konsterar jag – precis som Skolverket gjort tidigare – att det inte finns några systematiska skillnader i hur fristående och kommunala skolor sätter betyg.

Det måste betonas att jag på grund av bristande datatillgång på gymnasienivå främst undersöker betygssättingen i grundskolan. Troligen är dock problemen betydligt allvarligare på gymnasiet då i) gymnasiebetyg är viktigare än grundskolebetyg för eleven, ii) den faktiska graden av konkurrens är betydligt högre på gymnasiet och iii) på grund av kursbetygssystemet så är gymnasiebetygen sämre förankrade i objektiva kunskapsmätningar än grundskolebetygen.