Genom att jämföra hur betygen förhåller sig till resultaten på de nationella proven har Skolverket flera gånger uppmärksammat bristande likvärdighet i betygssättningen i grund– och gymnasieskolan. Eftersom lärarna själva ofta rättar de nationella proven underskattar sannolikt dessa undersökningar problemens omfattning; det är exempelvis inte orimligt att lärare och skolor som är generösa i betygssättningen även är generösa vid rättningen av de nationella proven.
Ett av Regeringens medel för att skapa likvärdighet mellan skolorna är att införa fler nationella prov. Dessa prov ska dock även fortsättningsvis rättas lokalt vilket fått Lärarnas riksförbund att protestera mot den ökade arbetsbördan detta för med sig. Regeringen går här i Skolverkets fotspår genom att inte se den lärartid som går åt till provrättning som en kostnad.
Man inser lätt att det här finns en möjlighet för Jan Björklund att slå två flugor i en smäll. Genom att låta rättningen ske centralt kommer dels ökad likvärdighet i bedömningen att uppnås, dels kostnaden för provrättningen att göras tydlig. Finns det några vettiga argument emot en sådan ordning?
Ekonomistas 
I Björn Tyrefors och Erik Höglins avhandlingar ingick en studie som tittade på diskriminering i nationella prov där de lät lärare som inte kände eleverna rätta om det nationella provet i svenska. De hittade inga tecken på diskriminering (d.v.s. anonym vs icke-anonym rättning gav samma resultat med avseende på kön), men däremot fann de att lärare som inte kände eleverna gav betydligt lägre resultat. De rapporterar bland annat att MER ÄN HÄLFTEN de anonyma betygen skiljer sig från de icke-anonyma (på en femgradig skala). Det var till och med så att ett par studenter som fick högsta betyg vid icke-anonym rättning fick det lägsta vid anonym rättning. Så visst finns det utrymme för läraropportunism vid rättning av nationella prov!
En fara med ett sådant system är att då kostnaden blir tydlig kommer man att försöka hitta metoder för att få ned den. I provsammanhang innebär det ofta att man konstruerar prov som är “lätträttade.” Det innebär prov av multiple-choice-karaktär eller prov med korta och väl avgränsade frågor och den typen av prov har visat sig ha stora validitetsproblem.
Problemet med central rättning av samtliga prov är ju att proven inte är jämt fördelade över året (av naturliga skäl) och att det är svårt att skapa en kostnadseffektiv organisation för central rättning av nationella kursprov.
Vill du veta med om central rättning kan du väl fråga din forskarkollega Erik Lakomaa, det var han som gjorde Skolinspektionens utredning i frågan.
David: Om man inte anser att ökat informationsvärde i form av ett bättre konstruerat prov är värt den ökade rättningstiden så gäller detta oavsett vem som står för kostnaderna.
Mikael: Det var väl väldigt fantasilöst. Varför inte skicka ut de nationella proven till lärare som får extra betalt för att rätta dem? Dessa lärare har ju inte sina egna elevers prov att rätta så det borde ju finnas tid över. Dessutom skulle man kunna tänka sig att våra skolgranskade myndigheter avsatte folk till rättning under delar av året och till andra uppgifter under andra delar av året. Eftersom prov rättas centralt i stora delar av världen är jag säker på att det finns en lösning.
Vad gäller Erik Lakomaa så kan jag väl alltid prata med honom men Skolverket anger Kristian Ramstedt som rapportförfattare.
Jag håller med dig Jonas om att det är bra att kostnaden för rättning tydliggörs och att man genom extern bedömning kan öka reliabilieten i bedömningarna.
Dock tror jag att när kostnaden på central nivå blir tydlig riskerar det att leda till negativa konsekvenser. Som du skriver ses inte rättning som en kostnad idag. En förutsättning för att de negativa konsekvenserna ska utebli är att man på central nivå är medveten om olika provtypers “pro’s and con’s”.
Grund- och gymnasieskolan kostar ca 120 miljarder kronor per år. Enligt Skolverkets utredning skulle central rättning kosta ett par hundra miljoner kronor per år — och då räknar man inte in den kostnadsbesparing det innebär i form av frigjord lärartid.
Reformen som dramatiskt skulle öka likvärdigheten i bedömningarna över landet skulle alltså högt räknat kosta några promille av den totala skolbudgeten. En fråga man ställer sig är hur mycket andra åtgärder för att öka likvärdigheten kostar och hur kostnadseffektiva dessa åtgärder är?
Jonas:
Jag tror inte att det är en bra idé att låta personalen på skolmyndigheterna sitta och rätta prov eftersom provrättning kräver andra kompetenser än att exempelvis granska ansökningar om tillstånd för fristående skolor eller att hantera skolstatistik. För att rätta exempelvis en uppsats i engelska krävs i princip att man är engelskalärare. Skall personalen på skolverket eller skolinspektionen ägna sig åt provrättning får de antingen byta ut den nuvarande personalen mot personer med nya kompetenser eller så får man göra prov som kan rättas med mallar (med fasta svarsalternativ)- Tror inte att någondera är en bra idé
Dessutom syftade jag på Skolinspektionens rapport. Inte Skolverkets.
Mikael: Jag kan inte hitta någon rapport från Skolinspektionen i denna fråga men du får gärna länka till den. Sedan var faktiskt min första idé att man skulle skicka ut proven till lärarna för rättning. Som sagt, Sverige är tämligen unikt i att proven rättas lokalt så jag är övertygad om att det finns sätt att lösa detta. Om man så vill, det vill säga.
Annars kan man fortsätta att ha ett skolsystem där betygen saknar egentlig jämförbarhet, där kvalitetsjämförelser är omöjliga och där man svårligen kan få nya insikter om vad som funkar och inte funkar i olika undervisningssammanhang.
Och där lärarkåren dränks av en allt tyngre dokumentationsplikt som syftar till att åtgärda alla dessa problem.
Med central rättning blir det mycket krångligare för eleven att överklaga rättningen. Mindre bra.
Jag vill minnas att på den gamla goda tiden, då vi skrev standardprov, så skickades en delmängd av proven in för central omrättning för att kolla att rättningen gick rätt till.
Hur kalkylerar man för kostnaden att rätta centralt? Skulle det inte tex vara svårt att rekrytera personer med rätt kompetens som också är villiga att utföra ett så monotont arbete? Eller har jag fel i hur ett sådant arbete skulle se ut, tänker mig att det idag kanske inte är det roligaste en lärare gör men att man accepterar det då det bara upptar en del av arbetet.
Sen är det givetvis oerhört underligt att man inte räknar med vinsterna i frigjord lärartid som det innebär att rätta centralt.
En lösning till det rättningsproblematiken skulle kunna vara att lärare fortsätter att rätta proven, fast inte prov från den egna skolan eller distriktet. På så sätt skulle proven rättas av arbetskraft med rätt kompetens och risken för upprättning av sina egna elever minimeras.
Dock kvarstår problemet att det är svårt för eleverna att nå fram med en eventuell överklagan av provresultatet.
Äck vad jag saknar nationella prov.
Jag har brådskande fått ta över en nia som jag ska sätta slutbetyg på i kemi efter sammanlagt 4 timmars undervisning. Allt jag har att gå på är naturligtvis tidigare provresultat och liknande.
Efter att ha läst igenom proven de skrivit tidigare under terminen kan jag konstatera att de bara har prövats mot cirka en tredjedel av betygskriterierna, nämligen de som har med “Naturvetenskaplig förståelse av omvärlden ” att göra.
Kriterierna som rör “Naturvetenskapens karaktär” och “Naturvetenskapen som mänsklig och social aktivitet” saknas helt.
Enligt reglerna som säger att för att ge ett visst betyg ska samtliga kriterier vara uppfyllda så ska alltså hela klassen underkännas, eftersom de undervisats av en vikarie fräsch från gymnasiet. Det vill inte mina elever, och inte min chef heller.
Vilken tur att de har lottats till att ha sitt nationella prov i fysik och inte i kemi!
Säger min rektor.
Jag vill hävda att provens innehåll – vad de faktiskt mäter – är den absolut viktigaste frågan. Som Markus ovan berättar, försvinner ju ofta dimensioner som har att göra med kritiskt tänkande och att sätta in kunskaperna i en meningsfull helhet (vilket är en nödvändig förutsättning för att något av det man lärt sig ska stanna kvar).
Markus: Jag förstår att du under dessa förutsättningar önskar en hjälpande hand, men de nationella proven kan väl bara vara till hjälp om de verkligen mäter alla betygskriterier i kursplanen. Gör de det?
Varför i hela friden skulle det vara svårare att överklaga ett provresultat för att det är anonymt och centralt rättat?
Nationella prov har vi och de kommer att bli fler. Självfallet är det viktigt hur de utformas men här gällde frågan hur de ska rättas.
Både rja:s och Markus kommentarer visar värdet av att ha en betygssättning som inte slaviskt följer resultaten på de nationella proven; proven kan inte fånga allt av värde och det finns alltid enskilda aspekter (på elev eller skolnivå) att ta hänsyn till.
David har helt rätt som beskriver det hela som en avvägning mellan provens validitet och reliabilitet. Detta är en avvägning vi måste leva med och som pekar på att proven kan spela en viktig men inte avgörande betydelse i exempelvis betygssättningen.
Det kan till och med vara enklare att överklaga ett prov som rättats centralt, eftersom eleven inte behöver väga in relationen till sin lärare om han eller hon vill överklaga. Att överklaga ett prov innebär ju faktiskt att säga till läraren att denne har gjort ett dåligt jobb. Samma individ som senare ska sätta betyg. Anonymitet och distans kan ha sina poänger.
David: Jag skulle nog säga att de nationella proven i kemi, biologi och fysik som gavs förra året för första gången för grundskolan är riktigt välkonstruerade. De är i mitt tycke verkligen allt man kan önska sig vad gäller att täcka hela bredden på ämnena.
Tyvärr tror jag att de lider av ett ordentligt tankefel, men det är inte för att de inte följer kursplanen, utan just för att de följer kursplanen.
Stoffträngseln gör att alla aspekter på alla delområden i säg fysik inte kan hinnas med i undervisningen, utan man får försöka lyfta olika delar under olika ämnesområden. Får att ta min undervisning som exempel så har mina elever under avsnittet om mekanik fått öva sig i att planera och utvärdera undersökningar medan de i avsnittet om energi och energiförsörjning tittat närmare på hur vetenskapen påverkas av att stå i centrum för en viktig samhällsfråga.
När väl nationella provet kommer blir det en ordentlig skillnad i resultat beroende på om man råkat pricka in rätt aspekt inom rätt ämnesområde. Exempelvis fanns på fysikprovet en fråga där man skulle ge exempel på hur uppfinningen linser kom att påverka samhället.
Har man då talat om hur Jupiters månar och kratrarna på månen skakade om i teologin så klarar många elever frågan, men har man lämnat den biten för att kanske ta den kring evolutionsteorin istället så klarar de inte sig.
Det är helt enkelt för mycket begärt att eleverna på den tillgängliga tiden ska tillägna sig förmågan att generalisera kring många av aspekterna som ska bedömas. Det är rimligt att man ska ta upp alla de aspekter som nämns i kursplanen, och att eleverna ska testas på dessa, men inte att man ska ta upp särskilt många aspekter av varje enskilt ämnesområde.
Detta till trots är de nationella proven i no verkligen ett fall framåt.
Men det blir spännande att se hur länge de kan komma på fungerande undersökningar att göra till laborationsdelen, i synnerhet i biologi.
Ökad likvärdighet får man säkert med centralt rättade prov, men hur nödvändig är likvärdigheten i kunskapsmätningar för elevernas kunskapsnivå? Varken Finland eller Japan har ju nationella examensprov, och dessa ligger före Sverige. Samtidigt har England och Nederländerna många nationella prov, och dessa ligger också före Sverige. Fiskas det kanske i fel ände av sjön?
Eftersom att de centrala proven används som stöd för betygsättningen vilken i sin tur är elevernas biljett till jobb och högre utbildning så anser i alla fall jag att vi måste sträva efter så hög grad av likvärdighet som möjligt.
Så vitt jag vet har man i Finland examensprov.
Russel: Om man tror att nationella prov i sig ska leda till förbättrade prestationer är man nog fel ute. Däremot kan de vara ett verktyg för att lära sig om vad som funkar och inte funkar i skolan. Dessutom är de – som David skriver – viktiga för likvärdigheten i bedömningen. Detta är särskilt viktigt i Sverige där vi har ett decentraliserat och konkurrensutsatt skolsystem där betygen är viktiga för antagningen till högre studier.
Och ja, i Finland har man examensprov och jag är tämligen (men är inte helt) säker på att så även är fallet i Japan.
Min källa var den rapport som nämndes i inlägget:
“I de nyligen presenterade resultaten från PISA 2006 kan man notera att flera länder utan nationella examensprov ligger i toppskiktet (t.ex. Finland, Japan och Korea).
Även länder med många test och examensprov som Nederländerna och Storbritannien ligger dock före Sverige.”
(Dnr 64-2008:258, s.34, Kristian Ramstedt)
Inlägget handlade iofs inte om det jag talar om, och jag kan hålla med om att man bör tillämpa central rättning med hänsyn till likvärdigheten eftersom betygen spelar så pass stor roll.
Tror vi pratar om olika stadier. I Finland har man en studentexamen i gymnasiet. Jag vet inte säkert hur det ser ut i Japan men jag har för mig att de också där har studentexamen.
Jag vet inte heller hur antagningen till högskolan ser ut i Japan (eller Korea) och det är ju centralt för att avgöra hur viktig likvärdigheten är.
I Sverige är betygen viktiga både för antagningen till gymnasiet och högskolan. Alltså är likvärdigheten viktig både på högstadiet och gymnasiet.
Det kan vara så att skillnaden ligger i begreppet “nationella”. Jag tror att de flesta eleverna i Finland väljer att skriva studentexamen, och att de då väljer tre ämnen att skriva i.
Dessa prov, i alla fall i historia, rättas av lärarna ute på skolorna efter att kriterier tagits fram av experter och erfarna lärare. Svaren skickas sedan in till en grupp experter som gör en kontroll av rättningen.
Så det finns prov som rättas centralt, men de skrivs inte av alla elever. Finlands skolsystem verkar för mig som utomstående en aning svårgenomträngligt.
Hej
Det kommer snart en ny version av den studien Robert refererar till med mig Erik Höglin och Magnus Johannesson som författare. Man kan väl säga att precis som Jonas misstänker så visar den på att lärarna sätter betydligt högre betyg på sina egna studenter nationella prov i svenska än vad en extern lärare gör som inte känner personen eller dess identitet. (10-15 % av genomsittsbetyget) Om betygsinflation existerar, så torde det vara rationellt att också inflatera standarprovsbetygen.
Vidare kan beläggas att pojkar i denna undersökning är betydligt sämre än flickor (10-15 % av genomsittsbetyget), men att den bästa gissningen på en diskrimineringseffekt är att den inte finns, dvs punktestimatet är väldigt nära noll, om med standardfel som visar på en modest osäkerhet. Ett 95 % konfidensintervall för diskriminerngs effekten är plus minus 4.5 % av genomsnittsbetyg.
Notera dock att undersökningen gäller nationella prov i Svenska B 2005/2006, så även om vi tror mycket på våra resultat, så är extrapolering till andra ämnen upp till var och en.
MVH Björn Tyrefors Hinnerich
Tack för input, Björn!
Om man önskar ta ett steg tillbaka slås man av hur denna artikel skildrar kunskap som en stapelvara, en problematik, en allt vanligare problematik, som på många sätt, riskerar att fortsätta och än mer låsa in hela skolan i en kunskapssyn som knappast genererar framåtskridande utan leder snarast till fostran av duktiga protokollförare. Självklart antar jag att idén om massrättning låter effektiv i en rationella ekonoms öron. Men gör artikelförfattaren här inte antingen själv medvetet, retoriskt avsiktligt eller omedvetet, samma misstag som Björklund – och leder diskussionen om skola och lärande i en allt trängre gränd av rättningsexercis…?
MB
Alla betygssystem – målrelaterade mer än relativa – bygger på tanken att kunskap i någon mån kan bedömas, mätas och kommuniceras. Om man inte tror att detta är möjligt torde det vara mer angeläget att kritisera betygssystemet än de instrument som ska göra betygssättningen mer likvärdig.