Det är uppenbart att betygens koppling till den faktiska kunskapsutvecklingen i den svenska skolan är svag: betygen stiger medan kunskapsnivån enligt internationella jämförelser faller. Ett relaterat problem är att betygssättningen skiljer sig betydligt från skola till skola, vilket har uppmärksammats i flera rapporter från Skolverket (tex här och här). Hur stora skillnaderna i betygsättning är kan emellertid vara svårt att få ett grepp om. Det kan därför vara värdefullt att sätta siffror på hur stor spridningen mellan olika skolor egentligen är.
För att bedöma spridningen i betygssättning mellan skolor jämförs i figuren nedan avvikelsen mellan genomsnittsbetyg och genomsnittligt resultat på de nationella proven i årskurs 9. Detta är naturligtvis inte perfekt eftersom en elevs betyg inte enbart ska avspegla resultaten på de nationella proven. Inte heller ges prov i alla ämnen. Provresultaten är dock de mest jämförbara och heltäckande kunskapsutvärderingarna som finns att tillgå. En hel del av de motiverade avvikelser mellan betyg och provresultat som kan finnas för enskilda elever borde dessutom jämna ut sig, eftersom det är skillnader på skolnivå som presenteras.
Den heldragna linjen visar avvikelsen mellan standardiserade medelbetyg och standardiserade provresultat för ett enskilt år. Skillnaden mellan en skola som sätter låga — men inte väldigt låga — betyg relativt provresultaten och en skola som sätter höga — men inte väldigt höga — betyg, motsvarar cirka 26,5 meritpoäng. För en medelpresterande skola innebär 26,5 meritpoäng att skolan skulle klättra nästan 600 placeringar på en rankinglista av landets cirka 1500 högstadieskolor. Två skolor med samma genomsnittliga provresultat kan alltså hamna på vitt skilda positioner när skolorna rangordnas efter betyg.
En del av dessa avvikelser beror sannolikt på slumpen snarare än på att vissa skolor är systematiskt generösa eller snåla med betygen. Den streckade linjen visar därför spridningen i de genomsnittliga avvikelserna under fyra år, snarare än under ett enskilt år. Som väntat minskar spridningen men den är fortfarande betydande. Så betydande att en medelskola som går från att vara hyfsat snål i betygsättningen till att vara förhållandevis generös kan klättra 500 platser i betygsrangordningen. Detta betyder att elever som har ungefär samma kunskapsnivå enligt de nationella proven kan få mycket olika slutbetyg beroende på vilken skola de går på.
En annan aspekt av denna fråga är hur tillförlitliga de nationella provresultaten egentligen är. Proven rättas trots allt lokalt på skolan och då ofta av den betygssättande läraren själv. I en rapport till Skolinspektionen (bilaga 5, sid 86-) har Björn Tyrefors Hinnerich och jag analyserat avvikelser mellan internt och externt bedömda nationella prov och funnit flera intressanta mönster. En tabell som inte kom med i slutrapporten visar att spridningen mellan skolor även i detta avseende är betydande.
Mittenkolumnen visar hur stor spridningen (en standardavvikelse) i avvikelsen mellan internt och externt rättade prov är på skolnivå uttryckt i standardiserade provresultat. Kolumnen till höger uttrycker i meritpoäng vad denna spridning motsvarar om man skulle skriva sina prov på en skola som rättar proven relativt strikt jämfört med en som rättar proven generöst. Skillnaden är betydande och storleksordningen kan jämföras med den genomsnittliga betygsskillnaden mellan elever med och utan högutbildade föräldrar. Riktigt så stora är dock inte skillnaderna i praktiken eftersom en skola inte är lika generös vid bedömningen av alla prov.
För övrigt finner vi i vår analys att elever som tillhör grupper som i genomsnitt uppvisar goda studieresultat tenderar att bedömas relativt generöst av den egna läraren jämfört med den externa bedömaren. Vidare förefaller fristående skolor vara generösare vid provrättningen än kommunala. Vi gör även en uppdelning av fristående skolor som drivs som aktiebolag och icke-vinstdrivande friskolor. Om något tyder resultaten på att de icke-vinstdrivande friskolorna är ännu generösare i provrättningen än aktiebolagen, även om båda grupperna gör generösare provbedömningar än de kommunala skolorna.
Huruvida dessa skillnader är så stora att de bör åtgärdas finns det inte något entydigt svar på. Kanske är de åtgärder som krävs för att uppnå ökad likvärdighet i provbedömning och betygssättning för kostsamma eller för inkräktande på skolors och lärares autonomi för att vara motiverade. Det kan emellertid trots detta vara bra att ha ett hum om hur stora problemen egentligen är.
___________________________
Med standardiserade betyg och provresultat menas att dessa ges medelvärdet noll (0) och standardavvikelsen ett (1). För att möjliggöra en jämförelse över tid har enbart provresultaten i matematik, svenska och engelska använts vid jämförelsen med elevernas genomsnittsbetyg. Den som själv vill analysera betygs- och provdata kan vända sig till Skolverkets skoltabeller för grundskola och gymnasium. Läs gärna Christian Lundahls inlägg om nationella provs tillförlitlighet och relevans, då främst vid bedömningen av enskilda elevers studieprestationer.
Ekonomistas 
Om jag förstår siffrorna rätt är spridningen mindre i matematik än i engelska, och mindre i engelska än i svenska. Det verkar intuitivt rimligt, då det är tydligare om en matematikuppgift är korrekt löst än om en engelsk mening är välskriven, och än svårare att avgöra kvaliteten på en längre uppsats på svenska. (Jag utgår här från att proven på det stora hela ser ut som de gjorde för ~30 år sedan. Är det ett rimligt antagande?)
Men om detta nu är intuitivt rimligt, hur kommer det sig att spridningen är så stor i kemi? Det hade jag väntat mig skulle ligga närmare matematik än något annat. Finns det alltså andra saker än “svårighet att avgöra kvaliteten på ett visst svar” som orsakar spridningen?
Kemin som prövas är den som grundskolans läroplan föreskriver. Den är alltså helt konceptuell, inga som helst beräkningar, förmodligen inte någon formel, antagligen inte någon kemisk beteckning. Inte för att läroplanen förbjuder formler eller kemiska beteckningar, det finns dock inget krav på att de ska behandlas så de kan följaktligen inte tas upp i nationella prov.
Proven som den här rapporten bygger på är sekretessbelagda men här har du en länk till dagens prov som till stor del liknar de som gavs 2010 och 2011. Delen som avviker mest är A2-delen, den är ny men viss motsvarighet har tidigare funnits i A1-delen.
http://www.edusci.umu.se/np/nap/tidigare-givna-prov/
Sekretessbelägger man prov som delats ut till tusentals lärare och tiotusentals elever? Det är ju helt absurt och säger en hel del om tillståndet inom skolpolitiken och -forskningen.
Ja. Man sekretessbelägger nationella prov. Det har ifrågasatts eftersom det försvårar en del av syftena med nationella prov. Däremot tror jag inte alls att det uppfattas som absurt i skolvärlden. Ingen tror att det innebär att ingen kan få tag på proven ifråga. Bara att det blir svårare. Ett stängsel har man inte för att stoppa en planerad attack utan för att slippa att folk genar över industritomten och i förbifarten ställer till med ofog. Timss och Pisa delas också ut till många tiotusentals personer men likväl är de inte öppet tillgängliga. Det var inte heller de militära inskrivningsproven.
Jag tror det är dålig policy att sekretessbelägga våra nationella prov. Men det baserar jag på att policyn faktiskt verkar fungera som avsett.
Om man inte med måttligt kostsamma och integritetskränkande åtgärder kan få en rimligt rättvis och konsekvent betygssättning är kanske den rimliga åtgärder att slopa betygen? I synnerhet som det förefaller att nuvarande betygssystem och -sättning konsekvent gynnar högpresterande elever med högutbildade föräldrar. Kanske är det mer rättvist att lotta ut gymnasie- och högskoleplatserna än att fördela dem med ett orättvist och felvisande betygssystem?
I en nyligen sänd Econtalk-podcast (http://www.econtalk.org/archives/2013/09/capitalism_gove.html) pratar en av gästerna, Mike Munger, om North Carolina State Fair’s “Big Pretty Pig contest”. Den korta versionen är att det bara är två deltagare. Domarna ser den ena, tycker den är ful och ger priset osett till den andra.grisen. (Lyssna på hela podcasten – rekommenderas! – eller läs från 00:07:35 för hela historien.)
Detta låter som ett typexempel på att välja den andra grisen osett. “Det här systemet har brister” är inte ett argument för att välja ett annat system. “Det andra systemet har bättre utfall”, däremot, är ett gott skäl, men då måste man förstås påvisa att det andra systemet verkligen har ett bättre utfall i praktiken. Var finns studierna eller teorierna kring varför lottning skulle ge ett bättre system än det nuvarande systemet?
För övrigt har jag lite problem med att förstå varför ett system som gynnar högpresterande elever skulle vara dåligt. Är du verkligen en så benhård och principfast motståndare mot meritokrati?
Rättvisa är väl inte det primära målet med ett betygssystem utan snarare att allokera platser på högskolan till motiverade och presterande elever samt att skänka eleverna viss motivation under skoltiden?
Nu säger jag inte att betygssystemet uppnår detta helt perfekt – eller ens nära vilket blogginlägget tydligt visar. Men jag tror nog att man på makronivå kan acceptera ett orättvist system så länge det levererar på de två viktigare punkterna.
Spridningen i no-ämnena är onekligen stor. Det kan bero på att dessa prov är nya vilket både kan påverka provens kvalitet och lärarnas förmåga och vana vid att bedöma proven. Relaterat är att lärarna tidigare kan ha satt betyg på ett ganska godtyckligt sätt och att de inte vill avvika från tidigare betygsnivåer. Därmed kanske dessa tidgare betygsnivåer bli styrande för hur proven rättas.
Alla antagningssystem har sina svagheter och styrkor. Betyg är attraktiva då de har en rätt god prediktiv förmåga vad gäller framtida studieprestationer; bättre än breda antagningsprov som högskoleprovet. Lottning är naturligtvis också ett alternativ men man måste då ta hänsyn till vilka konsekvener det har, exempelvis vad gäller kostnader av felallokerade utbildningsplatser och incitamenten att faktiskt jobba och lära sig saker och ting i skolan.
Många länder har ett centralt test som avgör intagning till högre studier. Hur bra prediktiv är denna typ av prov och intagningsmetod?
Några svar ges här: https://ekonomistas.se/2010/09/30/andra-chansen-%E2%80%93-for-vem-och-till-vilket-pris/
Intressant läsning – tack!
En aspekt som jag tycker saknas är att nationella prov inte är gjorda för att sätta betyg efter kursplanernas kunskapskrav, och det finns alltså en skillnad i vad provbetygen och kursbetygen ska betyda. Det kan förklara en del av spridningen (och skillnaden mellan provbetyg och kursbetyg), och gör att nationella prov blir ett lite osäkert verktyg när man ska titta på betyg.
Man kan i och för sig tro att det är en rätt stark korrelation mellan provbetyg på nationella prov och kursbetygen, och på många sätt är det ju det bästa verktyget vi har för att jämföra kunskaper mellan olika skolor och olika år. Men det är inte tänkt att vara en kalibrering för kursbetyg.
Micke: man kan även ur ett meritokratiskt perspektiv tycka att det är ett problem att elever som tillhör grupper som i genomsnitt presterar väl eller som tidigare har presterat väl får sina prov mer generöst bedömda än andra.
Itangalo: det är sant att proven inte ska kalibrera betygen. Däremot är ett av motiven bakom proven att främja likvärdighet i betygssättningen även om de naturligtvis inte är perfekta utvärderingar för detta syfte. Som skrivet är avvikelser mellan betyg och provresultat på elevnivå inget konstigt: läraren har betydligt mer information om eleven än vad ett enskilt prov ger vid handen. Däremot borde dessa skillnader i stor utsträckning ta ut varandra på skolnivå.
Visst ska man inte kasta ut ett system för att välja en nytt som är sämre. Det gamla relativistiska systemet hade ju stora av brister, men det nuvarande betygssystemet blev ju inget uppåtlyft precis. Det finns ett uttryck, “det kan inte bli sämre i alla fall”, som verkligen är felaktigt. Det kan alltid bli sämre. Samtidigt får man ju inte blunda för de stora problemen med dagens betygssystem.
Med dagens betygssystem hamnar läraren ungefär i en liknande roll som många läkare tidigare hade, när det var mer förmånligt att vara sjukskriven. De blir nyckelhållare till förmåner, istället för att göra det de ska göra, nämligen att hjälpa människor att bli friska, respektive att hjälpa barnen att bygga upp kunskaper som de har nytta av senare i livet.
Jag har pratat med lärare som är väldigt rädda för vissa elever och deras föräldrar. Vissa elevers föräldrar bryr sig inte om sina barns kunskaper, men kämpar som lejon för att trissa upp deras betyg. De kan uppträda hotfullt mot lärare på deras arbetsplats, eller ständigt gå till rektorn för att klaga, indirekt på dåliga betyg. De driver en kampanj mot läraren för att den oengagerade eleven inte uppnår kunskapsmålen för ett visst betyg. Till slut orkar läraren inte stå emot utan går de utagerande föräldrarna till mötes, eller lämnar sitt yrke.
Det blir väl alltmer uppenbart att lärarens frihet att sätta vilka betyg de vill, slår tillbaka både mot de själva och skolorna, särskilt för de lärare och skolor som försöker upprätthålla någon slags rättvisemoral i betygssättningen.
Överlag tycker jag skillnaderna ändå är relativt små. Det är trots allt väldigt olika skolor som jämförs. Tror det är svårt att få ner skillnaderna till så mycket lägre nivåer, i alla fall, i de ämnena som har mindre spridning.
Vore kul att se lite regressionsresultat också kring determinanter för ovanligt låga/höga betyg/prov, samt lite korrelationer och R2-värden. Fast det kanske är en artikel som är på gång!
Huruvida skillnaden är stor eller liten ligger naturligtvis i betraktarens ögon. Betänk dock att en skillnad på 25 meritpoäng betyder att alla skolans elever får A snarare än C i fem av sexton ämnen.
Man borde slopa betygen, och istället använda intagningsprov. Betyg har ju trots allt en halveringstid, hade man MVH i matematik för tio år sedan, men inte använt det, är man betydligt sämre utrustad för högskolan än en nybliven utsprungen gymnasist med ett VG- i bakfickan.
Något som skulle vara intressant att undersöka är om betygsättningen skiljer sig mellan skolor med höga antagningspoäng respektive låga antagningspoäng, kanske finns sådana studier redan? Det fanns när jag läste på gymnasiet en föreställning av att det kan vara “taktiskt” att gå på en skola med låga antagningspoäng eftersom betygsättningen där ansågs vara mer generös.
Två elever testade dessutom denna hypotes i ett empiriskt:
En identisk uppsats lämnades in på två skolor med mycket skilda antagningspoäng, båda årskurs 3 på gymnasiet. I skolan med mycket höga antagningspoäng bedömdes uppsatsen som Godkänd (G) i skolan med mycket låga intagningspoäng bedömdes uppsatsen som Mycket Väl Godkänd (MVG, dvs det högsta betyget
Visst verkar en sådan effekt finnas. Se detta och detta inlägg.
Detta verkar i så fall motverka att elever med högutbildade föräldrar otillbörligen gynnas. Jag antar att sådana elever i större utsträckning går i skolor med högre antagningskrav. Är det korrekt?
I så fall, hur hänger det ihop att elever vars föräldrar är högutbildade får höga betyg, men det är lättare att få höga betyg i de skolor där dessa elever inte går? En teori är förstås att elever till lågutbildade föräldrar som går på skolor med höga antagningskrav *verkligen* missgynnas. Är det så det är?
Det är ett lite märkligt mönster, men skulle tro att det beror på att det ena är en skolnivåeffekt och att det andra är en individeffekt. Det skulle alltså kunna vara som du säger och det är värt att undersöka.
Om det är så är ju konsekvensen att det är mycket dåligt för motiverade och begåvade elever med lågutbildade föräldrar att söka till de bästa skolorna, iaf betygsmässigt. Vilket genuint underkännande för skolsystemet, i så fall! Precis de elever som det bör vara viktigast att ta väl hand om är de man misslyckas mest med. Ouch!
Inte nödvändigtvis. Det kan ju vara så att skolor gör något annat än att sortera elever på diskriminerande grunder. Till exempel utbildar elever.
Med tanke på kamrateffekter, lärareffekter via en högre attraktivitet som arbetsplats, effekter från en högre stabilitet i ekonomin och den effekt krävande föräldrar kan ha på kvaliteten på undervisningen så kan det inte uteslutas att det även rent konkurrensmässigt är bättre att gå på ett gymnasium med höga antagningspoäng. Men det är en öppen fråga.
Mer rakt på sak är Alli Klapp-Lekholm och Cristina Cliffordsons studie som visade att engagerade och motiverade elever med högt självförtroende och engagerade föräldrar betygsätts högre i förhållande till sina np-resultat än icke engagerade, icke motiverade elever med lågt självförtroende och icke.engagerade föräldrar. Detta sker framförallt bland elever som presterar dåligt. (Klapp Lekholm, A. & Cliffordson, C. (2009). Effects of student characteristics on grades in compulsory school. Educational Research and Evaluation)
Det är knappast överraskande och förmodligen en faktor som bidrar till att betyg är bättre predikatorer till framtida studieframgång än provresultat. Dessutom är det inte omöjligt att det ens är ett exempel på diskriminering. Antag att de nationella proven inte kan mäta alla relevanta dimensioner av förmåga som kursplanerna anger. (Har man försökt konstruera ett nationell prov så vet man att det är sant). De förmågor som är svåra att mäta i provsituationen är generellt sådana att de kräver ett samspel med andra eller längre tid. (Sammanlagt provtid för no-proven 3,5 h fördelat på två tillfällen). Jag ser det inte som en orimlig hypotes att just motivation hos en elev är något som skulle kunna samvariera med prestation på sådana typer av uppgifter givet ett np-resultat.
Att elever som presterar bra främst betygsätts efter sina kunskaper medan elever som presterar dåligt betygsätts efter sina kunskaper och sin motivation är också ett fenomen beskrivet utanför Sverige, se exempelvis Stiggins, R. J., Frisbie, D. A. & Griswold, P. A.(1989). Inside high school grading practices: Building a research agenda. Educational Measurement: Issues and Practice, 8(2).
Att det skulle vara så är också något jag som lärare känner igen anekdotiskt. Det ska mycket till för att man som lärare ska underkänna någon som kämpar och sliter och presterar nära gränsen till godkänt betyg. Däremot är det mycket lättare att inte dela ut ett MVG eller ett A (fast kanske inte på högprestigeskolor i Stockholm.) Alla skräckhistorier därifrån till trots har jag aldrig haft en förälder som överhuvudtaget invänt på min betygsättning, men så jobbar jag heller inte med högpresterande elever där det spelar någon roll. De enda som inte går kvar på de lokala gymnasierna är de som går något spets- eller specialgymnasium, och där hänger det ändå inte på meritvärdena i någon större utsträckning. Annat är det med de lågpresterande pojkarna, där är det strid på kniven om de attraktiva platserna på industri, bygg, el och fordonsprogrammet för alternativet är omvårdnad och barn och fritid.
Så jag hade tagit det lugnt med att utropa någon kris för högt presterande högt motiverade barn med lågutbildade föräldrar. Så kanske det är, men det är en lång väg innan det är visat och det finns indikatorer på att det inte alls är fallet.