Den som har barn i dagens svenska skola slås av hur få jämförelser som görs mellan barnen. Medan jag själv minns att medelvärden och medianer ständigt redovisades så verkar fokus idag ligga på hur väl eleven presterar i förhållande till mer eller mindre abstrakta mål. Medan det kan vara bra att undvika den destruktiva konkurrens som eventuellt uppstår när elever utvärderas mot varandra, så innebär detta även att ett potentiellt värdefullt styrmedel går förlorat.

En relativ jämförelse med klasskamrater vars prestationer och förmågor man känner till kan för det första bidra till att eleven får en mer realistisk uppfattning om sina förmågor. Detta kan i sin tur påverka hur hårt eleven anstränger sig. En annan möjlighet är att en relativ jämförelse helt enkelt triggar elevernas tävlingsinstinkt och får dem att arbeta hårdare.

En ny studie av Ghazala Azmat och Nagore Iriberri (gratisversion) utnyttjar ett naturligt experiment på en stor gymnasieskola i Spanien. Under ett läsår rapporterades där inte bara elevernas egna betyg utan även klassens genomsnittsbetyg. Trots att denna information egentligen var betydelselös fick den eleverna att förbättra sina prestationer med ca fem procent, vilket i sammanhanget är en stor effekt. Eftersom ökningen var jämnt fördelad bland eleverna drar Azmat och Iriberri slutsatsen att det är elevernas tävlingsinstinkt som ligger bakom detta. Den relativa jämförelsen ökade helt enkelt värdet av att prestera bättre än andra vilket fick alla att anstränga sig hårdare.

Förutom att övergången till ett målstyrt betygsystem verkar ha lett till betygsinflation (som i sin tur troligen försämrar elevernas prestationer), ökad utslagning från arbetsmarknaden och ökade sociala skillnader så kan alltså frånvaron av relativa jämförelser i sig ha påverkat elevernas kunskapsutveckling negativt.

Kunskap är emellertid inte allt och Azmat och Iriberri har utvecklat sina undersökningar i ett labbexperiment. Även i labbet finner de att relativa jämförelser påverkar hur hårt försökspersonerna anstänger sig. De kan emellertid även konstatera att sådana jämförelser ökar spridningen i välbefinnande mellan hög- och lågpresterare; trots att vare sig spridningen i prestationer eller belöningar ökar.

Det verkar alltså som om relativa jämförelser kan vara ett mycket billigt sätt att få oss att arbeta hårdare och lära oss mer. Samtidigt verkar de öka spridningen i psykiskt välbefinnande vilket i sin tur kan ha stora kostnader. Vem har sagt att livet ska vara enkelt?

Idag presenterades regeringens förslag om lärarlegitimation. Den nyfikne undrar naturligtvis under vilka premisser som ett lärarleg kan dras in och finner att detta bland annat kan ske om undervisningen inte ”bedrivs i enlighet med vetenskap och beprövad erfarenhet” (sid 59).

Parallellen till läkaryrket är tydlig men det finns ett uppenbart problem: pedagogisk verksamhet kommer aldrig att vara evidensbaserad på samma sätt som sjukvården. Regeringen låter inte en sådan petitess utgöra ett hinder utan ska, precis som jag förutsåg för ett par år sedan, instifta en motsvarighet till sjukvårdens HSAN, ”Lärarnas ansvarsnämnd”.

I propositionen diskuteras konsekvenserna av förslaget men något som inte tas upp är kostnaden för all den administration som kommer att uppstå när lärarna producerar journalliknande behandlingsplaner. Inte för att sådana planer gör någon större nytta, utan för att lärarna ska kunna visa vad som gjorts om någon elev är missnöjd med sin behandling.

Man undrar varifrån tiden till journaladministrationen ska tas? Naturligtvis kommer undervisningsplanering och uppföljning att få stryka på foten, vilket ju är synd. Mer positivt är att en del tid säkert kan frigöras när skolorna slutar använda sig av Social och emotionell träning (SET). För rimligen kan sådant kvacksalveri inte vara förenligt med lärarlegitimationens krav på vetenskaplighet.

DN123, SvD, SDS, GP

I somras skrev jag ett inlägg om att högskoleprovet inte verkar vara särskilt bra på att fånga framtida akademisk framgång. Nu har Björn Öckert på IFAU låtit mig ta del av en presentation där han fördjupar analysen av högskoleprovet som antagningsinstrument.

En spekulation som verkar stämma är att betygen fångar en betydligt bredare uppsättning förmågor än högskoleprovet. I figurerna nedan plottas betygen och resultaten på högskoleprovet mot de kognitiva och icke-kognitiva utvärderingarna från den militära mönstringen (alla mått är på skalan 1-100). Den icke-kognitiva utvärderingen fångar faktorer som ansvarstagande, stresstålighet och uthållighet; faktorer som är betydelsefulla för framtida framgång på arbetsmarknaden. Medan högskoleprovet förfaller vara ett renodlat intelligenstest så fångar betygen även andra viktiga egenskaper.

En annan intressant aspekt är att resultaten på högskoleprovet i genomsnitt förbättras markant för varje gång man skriver det. Till viss det beror detta på att man blivit äldre men till stor del är det en ren träningseffekt (den streckade linjen i den vänstra figuren nedan visar träningseffekten). Att ta provet fler gånger gör emellertid inte att examenssannolikheten ökar, vilket syns i den högra figuren. Givet att man tar hänsyn till gymnasiebetygen så är resultaten både på första och andra provtillfälllet orelaterade till sannolikheten att ta examen inom fem år efter att studierna inletts.

Det är alltså knappast förvånande att de flesta som uppnår höga resultat på högskoleprovet har skrivit provet flera gånger, vilket visas i den vänstra figuren nedan. Samtidigt är det betydligt vanligare att barn till högutbildade föräldrar skriver provet flera gånger, vilket syns till höger. Antagning baserad på högskoleprovet leder alltså till att studenterna blir äldre och att den sociala snedrekryteringen ökar. Samma mönster finner man för övrigt bland dem som läser upp sina betyg på komvux: en studie visar att konkurrenskompletteringarna är ren luft; det höjda meritvärdet är överhuvudtaget inte relaterat till förbättrade akademiska prestationer. En annan studie visar att betygskomplettering är betydligt vanligare bland barn till högutbildade.

Man skulle kunna tro att gymnasiebetygens goda prognosförmåga är ett svenskt fenomen som beror på att gymnasieutbildningarna och betygssättningen — trots skolval och betygsinflation — är relativt likvärdiga. I takt med att skolsystemet blir alltmer differentierat skulle då värdet av antagningsprov öka. Så förefaller emellertid inte vara fallet. I USA, där skillnaden i gymnasieskolornas kvalitet är mycket stor, finns en kritik mot användandet av SAT som antagningsinstrument, just då gymnasiebetygen verkar vara bättre på att förutspå akademisk framgång.

Även i Italien, ett land där betygen ytligt sett verkar kunna betyda vad som helst, verkar betyg vara bättre än antagningsprov. Figuren nedan visar i vilken utsträckning slutbetygen på Bocconi i Milano – Italiens motsvarighet till Handelshögskolan i Stockholm – kan förklaras av studenternas gymnasiebetyg och resultaten på universitetets eget antagningsprov. Visst har provet ett visst prognosvärde men det är begränsat i förhållande till betygens. (Michele Pellizzari vid Bocconi varit vänlig nog att ta fram dessa uppgifter, exklusivt för Ekonomistas läsare.)

Högskoleprov verkar alltså sakna prognosvärde, givet att man tar hänsyn till betygen. Dessutom leder det till att studiestarten försenas och till ökad social snedrekrytering, vilket även gäller konkurrenskompettering av betyg på komvux. Ovanpå detta är det troligt att möjligheten till en andra chans gör att studenterna anstränger sig mindre på gymnasiet, en mekanism man funnit belägg för i USA och som i Sverige sannolikt främst påverkar dem som skrivit bra på provet redan under gymnasiet.

Även om ett humant utbildningssystem bör ge människor som en gång valt fel väg en andra chans, så är det svårt att se det stora samhällsvärdet av denna ordning. En rimlig slutsats är därför att användandet av högskoleprovet bör hållas till ett minimum. Och att läsa upp betyg på komvux borde nog inte tillåtas alls.

Uppdatering: En viktig fråga är naturligtvis hur olika antagningsinstrument är relaterade till framtida arbetsmarknadsutfall. Medan betyg har ett starkare samband till framtida inkomster än resultat på högskoleprovet, så verkar inte avkastningen på en given utbildning vara nämnvärt relaterad till betyg eller provresultat. Om något är avkastningen större för personer med höga betyg, men skillnaderna är små. Alltså är det urvalsinstrumentens akademiska prognosförmåga som främst bör beaktas.

Svensk skoldebatt följer till en förbluffande hög grad den amerikanska. Det är nu tio år sedan George Bush drev igenom No Child Left Behind, en lag som knyter statliga medel till delstaternas förmåga att öka andelen elever som uppnår godkänt på standardiserade prov i vissa kärnämnen. I Sverige har vi haft målrelaterade betyg sedan mitten på 1990-talet och på senare tid har behovet att tydligare knyta dessa till nationella prov blivit tydligt. I Stockholm har dessutom moderaterna börjat prata om att knyta resurstilldelningen till hur väl skolorna lyckas få eleverna att ge eleverna behörighet till studier på nästa nivå.

Lagom till detta har pendeln i USA börjat svänga. Inte minst ifrågasätts det kloka i att ha som övergripande ambition att alla elever ska över en viss kunskapsnivå; att alla ska ”uppnå målen” som det heter på skolsvenska.

Ambitionen påminner om Vägverkets nollvision och ett problem är att målet inte går att diskutera kritiskt utan hamna i en omöjlig situation. Påhopp som ”Vafalls! Du tycker att folk ska dö i trafiken?!” eller ”Vilka elever anser du inte ska lära sig läsa och skriva?” är ju svåra att hantera. Problemet är bara att eftersom människors studieförutsättningar tenderar att vara normalfördelade så finns det alltid elever i den nedre delen av fördelningen som kommer att ha ytterst svårt att komma över godkänt-gränsen, om inte gränsen sätts på en så låg nivå att den blir snudd på meningslös.

I en ny artikel kritiserar Derek Neal denna typ av målstyrning och lyfter framförallt fram att det får skolorna att fokusera sina resurser på de elever som ligger kring den kritiska nivån.  Eftersom avkastningen på de resurser som läggs på en enskild elev är avtagande så innebär detta att skolans resurser används ineffektivt. Det finns även en hel del evidens som citeras i studien för att både duktiga och riktigt svaga elever presterar sämre under denna typ av målstyrning. Och i Sverige finns det evidens för att det målstyrda betygssystemet orsakat social utslagning.

Dessutom lyfter han fram problemet att systemet ger skolor (i USA även delstatsmyndigheter) incitament att manipulera mätmetoderna. I Sverige, där det är elevens lärare som avgör om ”målen uppnåtts”, är denna typ av manipulation väldigt enkel. Man sätter helt enkelt ett G och slipper allt det merarbete ett IG för med sig.

Neal skissar i stället på ett system som ger skolorna incitament att ta hänsyn till samtliga elever och visar att ett belöningsystem där de som lyckas relativt sett bäst med att lyfta eleverna kan uppnå detta. Medan detaljerna i förslaget är baserade på en amerikansk verklighet är det generella budskapet värt att ta till sig. Skolorna svarar på hur incitament och sättet resurserna fördelas på bör få lärare och skolor att bry sig om alla elever. Så är det inte idag.

I dagens DN landar Johannes Åman i att det var rätt att ersätta det relativa betygsystemet med ett målstyrt, trots att han samtidigt konstaterar att systemet missgynnat elever från hem med låga inkomster (se LRs rapport kring detta). Argumentet är  att det nya betygssystemet gynnat dialogen mellan elever och lärare. Ett annat sätt att säga samma sak är att betygen blivit en förhandlingsfråga och statistiken tyder på att denna förhandling systematiskt gynnar elever från resursstarka hem.

Eftersom det målstyrda systemet orsakat en omfattande utslagning från arbetsmarknaden, betygsinflation och troligen försämrade kunskaper så väntar man ivrigt på belägg för att systemet haft några positiva effekter överhuvudtaget. Finns det?

Ett motiv bakom det målrelaterade betygssystemet är att det gör det svårare för skolor och lärare att låta svaga elever flyta genom skolan utan att göra mycket mer än att fysisikt närvara. I den IFAU-rapport som lades fram igår (se här och här) presenterades även baksidan av detta mynt; vissa elever uppnår inte godkänt vilket betyder att de står utan avgångsbetyg. Detta leder i sin tur till att eleverna har svårt att få jobb — troligen då det är en negativ signal till arbetsgivaren att sakna gymnasieexamen.

Forskarna drar denna slutsats genom att jämföra personer födda 1976 och 1977 med dem födda 1978 och 1979. Dessa elever fick betyg enligt det relativa betygssystemet i grundskolan och gymnasieskolan var utformad på samma sätt för båda grupperna. Enda skillnaden var att de äldre fick relativa gymnasiebetyg medan de yngre betygssattes enligt det målrelaterade systemet. Resultaten är nedslående: andelen som tog gymnasieexamen sjönk, liksom inkomsterna och sannolikheten att ha ett arbete. För samtliga utfall är de negativa effekterna starkast för elever med låga grundskolebetyg.

Det målrelaterade betygsystemet har orsakat betygsinflation och därmed troligtvis även försämrade kunskaper bland de högpresterande eleverna. Nu visar sig systemet även resultera i social utslagning. Det kan förefalla en aning onödigt.

Det spekuleras med jämna mellanrum kring vilka urvalsinstrument till högre studier som är bäst. I teorin är svaret att det instrument som bäst förutspår framgångsrika studier bör användas. I praktiken är det desto svårare inte minst då det är svårt att definiera vad som menas med ”framgångsrika studier”. I IFAUs utbildningsöversikt undersöker man hur gymnasiebetyg och högskoleprov samvarierar med sannolikheten att ta en kandidatexamen inom fem år efter att man lämnat gymnasiet.

Figuren nedan visar att högskoleprovet inte har någon prediktiv kraft efter att man tagit hänsyn till gymnasiebetyget. Gymnasiebetyget har däremot god prediktiv förmåga efter att man tagit hänsyn till högskoleprovet. Detta är kanske inte så konstigt då flera lärares samlade bedömning troligen ger en mer exakt bild av elevens förmågor än vad ett prov kan göra. Dessutom visar det sig att man i genomsnitt blir bättre och bättre på högskoleprovet för varje gång man skriver det men det finns inget som tyder på att detta gör en till en duktigare student.

Slutsatsen är att ett välfungerande och rättvist betygssystem är av stort värde. Tyvärr tyder det mesta på att det svenska systemet havererade när vi gick över från ett relativt till ett målrelaterat betygssystem (se här, här och här). Så onödigt, kan man tycka.