Rättvisa eller rättvisande betyg

De flesta skulle nog hålla med om att en elev som uppnått en viss kunskapsnivå på en skola i ett socialt utsatt område på många sätt är en duktigare elev än den som uppnått samma kunskapsnivå på en välartad medelklasskola. Det är ju svårt att bortse från den skolmiljö eleven möter och det torde vara svårare att lära sig något på en skola där flertalet elever har annat än skolarbetet i tankarna och från vilken lärarna flyr så fort de får en chans. Även om det inte är vare sig meningen eller i linje med regelverket så verkar det dessutom som om lärarna tar hänsyn till denna typ av faktorer när de sätter betyg: det är helt enkelt lättare att få bra betyg på en skola med många svaga än med många starka elever och detta gäller idag liksom under det gamla relativa betygssystemet (se tidigare inlägg).

En rapport som utvärderar ett diagnostiskt prov i matematik som i höstas hölls bland nyblivna gymnasister i Stockholm kan tjäna som en illustration av fenomenet. Elevernas provresultat har nämligen delats upp per avsändande grundskola och sedan jämförts med vilka mattebetyg eleverna hade med sig. Om man plottar avvikelserna mellan betyg och provresultat mot ett index på elevernas bakgrundsfaktorer på den grundskola eleverna kommer ifrån (jag har använt Skolverkets SALSA-databas) så syns det tydligt att betygssättningen är generösare på skolor elevernas bakgrund gör att man kan förvänta sig svaga studieresultat (de ser ungefär likadant ut om jag i stället använder grundskolans faktiska meritvärde).

Det första man kan konstatera är alltså att betygen inte är rättvisande om man med detta menar att samma kunskapsnivå ska bedömas likadant överallt. En kanske intressantare fråga är emellertid om betygen är rättvisande vad gäller framtida studieprestationer, vilket ju trots allt är vad man försöker utröna genom att använda sig av betygen som urvalsinstrument. Så skulle kunna vara fallet om elevernas potential att prestera bra är viktigare än de kunskaper de har med sig. Idealt skulle alltså lärarnas kompensatoriska betygssättning kunna höja både den samhällsekonomiska effektiviteten och främja social mobilitet i utbildningssystemet. Att ta reda på hur beteende egentligen påverkar eleverna vore ett intressant forskningsprojekt (som någon kanske redan genomfört).

I Texas har man försökt hantera dessa frågor genom att garantera plats på delstatens bästa offentliga universitet åt de tio procent av de bästa studenterna i respektive avgångsklass, oavsett hur dessa presterar i förhållande till elever vid andra high-schools. Som visas i en studie av bl a Julie Cullen har en konsekvens av detta blivit att skolor med många socialt underpriviligierade elever blivit betydligt populärare bland vissa elever. Cullen m fl finner att så många som 25 procent av de elever som skulle kunna dra nytta av att strategiskt byta skola faktiskt också gör så — trots att detta innebär att de hamnar på skolor som på många sätt kan karakteriseras som ”sämre”.

Idag är det i Sverige upp till den enskilda skolan att avgöra hur man sätter betyg, vilket lämnar stort utrymme för godtycke och risken att systemets svagheter utnyttjas är uppenbar. Ett sätt att minska dessa problem är att tydligt koppla en skolas betyg till resultaten på jämförbara kunskapsmätningar. Detta innebär emellertid inte att ett välförankrat betygssystem är vare sig rättvist eller rättvisande i någon mer fundamental mening; det beror helt på vad man avser med dessa begrepp. Vad som dock står klart är att ett sådant välförankrat system skulle gynna elever som går på skolor med många duktiga elever; i Texas har ”the ten percent rule” väckt starka protester just bland familjer med barn på sådana skolor.

Att bedriva omfördelningspolitik via betygssystemet är antagligen varken träffsäkert eller önskvärt, men det finns anledning att fundera över betygens roll som antagningsinstrument. Även om det skulle få vissa märkliga konsekvenser för hur en del familjer väljer skola, så vore det kanske bra att ha kvotgrupper där en del platser vigs åt de duktigaste eleverna från en viss skola. Dessutom vore det intressant att studera hur en sådan reform skulle påverka samarbetsklimatet bland eleverna…

Uppdatering: Om något vill leka med datamaterialet så finns det i xlsx-format här. Jag tar dock inget ansvar för materialets kvalitet och tänker inte besvara några frågor om det (det är bara att gå till grundkällorna).

Comments

  1. Svante says:

    Intressant inlägg och rapport. Är själva provet offentligt, eller är det hemligt?

  2. Nils Lindholm says:

    Men hur funkar detta med tanke på att friskolorna påstås ska ge bättre betyg än dom kommunala, o friskolorna ska ha dom ‘finare’ eleverna, åtminstone föräldrar?
    Ger ‘dom sämre’ skolorna bara bättre betyg till dom bra eleverna o ännu sämre betyg till dom dåliga eleverna så att snittet ändå blir att friskolorna har något större betygsinflation än kommunskolan?

    • markus says:

      ”Efter att avvikelserna har summerats visar resultatet att det finns en viss skillnad mellan de olika skolformerna och ett statistiskt test genomförs för att utreda huruvida denna skillnad är signifikant. Testet visar dock att skillnaden mellan fristående och kommunala skolor inte är statistiskt säkerställd. Den skillnad som observeras mellan kommunala och fristående grundskolor beror alltså på enskilda skolors betygsättning och är inte någon följd av att kommunala respektive fristående skolor systematiskt skiljer sig åt i
      betygsättningen.” (sidan 25 i rapporten)

      Skillnaden är att friskolorna i snitt är mer restriktiva och de kommunala i snitt mer generösa. Hur författarna kommer från att skillnaden inte är statistiskt säkerställd till att det inte finns någon systematisk skillnad går över mitt huvud.

      Så rapporten går på tvärs med en berättelse som friskolor som mer generösa med betyg. Men det kan vara värt att komma ihåg att matematik är ett ämne och dessutom inte är utpekat som ett ämne där betygsinflationen är större jämfört med andra ämnen. När betygen ökat sedan det förra betygssystemet infördes har vad jag förstår praktiskt-estetiska ämnen stått för en oproportionerligt stor del av ökningen.

      I matematiken är det säkerställt att kunskaperna minskat. Betygen har åtminstone inte dalat. Vad som hänt med kunskaperna i säg musik har vi ingen aning om, men vi vet att betygen gått upp.

  3. Eva Nisser says:

    Skall ett regelverk ha trovärdighet borde inga manipulationer tillåtas. Bristen i systemet är det stora utrymmet för godtycklighet. Det är inte alltid en fördel att som sextonåring fått sockrade betyg, komma in på drömskolan/drömlinjen, för att nesligen upptäcka att man inte klarar av det och måste byta. Jag tycker tankemödan borde koncentreras på att utforma hållbara, rättvisa och enhetliga betygssystem. Kunskapen finns, men viljan saknas.

  4. pontus says:

    Väldigt intressant. En tanke är förstås att det också kan vara så att i de blindas land är den enögde kung. Alltså att studenterna med goda betyg från de sämre skolorna inte alls har bättre potential än motsvarande studenter från de bättre skolorna. I så fall är ju förstås en ”10% rule” orättvist från ett individperspektiv. Men detta är ju rena fabuleringar från min sida förstås.

    I England byter en viss andel studenter från privatskola till en kommunal skola under sitt sista år på ”A-levels”, eftersom det ökar chanserna att komma in på Oxbridge. Sånt är ju lite tragiskt förstås.

  5. Jag har gjort egna analyser och varken vad gäller provresultaten eller betygsavvikelsen finns några signifikanta skillnader mellan friskolor och kommunala skolor efter att hänsyn tagits till elevpopulationens sammansättning. Några av friskolorna i samplet är väldigt restriktiva i betygssättningen, såsom Maria Elementar, Enskilda Gymnasiets grundskola, Internationella engelska skolan i Bromma och Enskede, samt Lilla Akademiens Musikskola. Detta är också skolor med höga förväntade elevresultat.

    Tyvärr är inte alla stadens grundskolor med i undersökningen, men resultatet är i linje med tidigare studier: det verkar inte som om betygssättningen skiljer sig markant mellan firstående och kommunala skolor.

    • markus says:

      Nu kanske jag gör mig ordentligt dum, men jag reagerade på rapportförfattarnas sätt att beskriva en icke statistiskt säkerställd skillnad. Jag föreställer mig att om det finns en skillnad och den är icke signifikant på vilken nivå man nu arbetar så innebär det just att skillnaden inte är bevisat betydelsefull. Alltså, den skulle kunna vara betydelsefull, till skillnad mot att
      det är bevisat att den inte är betydelsefull. Sen får man fundera på vad det betyder genom att relatera till storleken på vad den minsta möjliga betydelsefulla skillnaden skulle vara.

      En sak jag funderade över i dataanalysen är topp- och botteneffekter. Hur stor del av sambandet mellan betygsnivån och avvikelsen går att förklara med sådana? Jag tänker mig att om en skola har massor av elever kring G-gränsen och en och annan som knappt klarar MVG medan en annan skola har en och annan elev som inte klarar VG så är det ju inget konstigt med att den första skolans G-elever presterar betydligt sämre på testet än den andra skolans. I synnerhet eftersom urvalet är okontrollerat kan det kanske vara lite knas på den fronten, men finns det något sätt att kvantifiera det?

      Rapportförfattarna nämner också summer slump. Jag känner bara till det som ytligast. Är det någon som vet hur forskningsläget ser ut eller har någon bra hänvisning?

  6. Per S says:

    Teoretiskt resonemang; givetvis omöjligt i praktiken:

    Om (i) elever väljer skola efter betyg, (ii) graden av betygsmotivation är positivt korrelerad med studieförmåga, (iii) det finns mer än en klass per årskurs i en skola och (iv) lärare inte kan (eller kan förbjudas) samarbeta om att hålla ned undervisningsnivån torde kombinationen (a) fritt skolval, (b) antagning efter tidigare betyg och (c) ett relativt betygssystem med samma snitt i alla skolor vara en i många avseenden robust jämvikt.

    Betygsinflation är omöjlig; lätta skolor drar till sig duktiga elever vilka höjer nivån; elever har fortsatta incitament att kräva bättre undervisning.

    Eller tänker jag fel?

  7. markus says:

    Tack för materialet. Det sparade mig tid att slippa plocka ut själv.

    Jämförde lite med nationella provet. Jag väntade mig nog kunna se ett tydligare mönster. Vittra Sjöstaden exempelvis som nettohöjde 69% (alla redovisade skolors snitt 28%) av sina elevers matematikbetyg jämfört mot nationella provet har betygsavvikelsen 0 i rapportens modell jämfört mot Stockholmsprovet.

    Så jag testade korrelationen (på skolnivå) mellan betygsavvikelsen mot nationella provet och betygsavvikelsen mot Stockholmsprovet.

    Korrelationskoefficienten vart 0,247 med ett p-värde på 0,053.

    (Okontrollerat urval baserat på sammanlagt 1571 elever av 5688).

    Synd att man inte sitter på data på elevnivå. Den som lånar rapportförfattarnas data och lägger till skolverkets nationella prov-data och allra helst också skolinspektionens data över omrättade prov borde kunna göra något intressant.

  8. Känt problem. I Västberlin cirkulerade lärarna mellan olika stadsdelar
    för att de skulle kunna upprätthålla sina referensramar. Ett årtionde i
    en invandrarskola gör att du uppfattar svaga prestationer som normala.
    Tillkommer idag rektorernas påtryckningar för högre betygsnivå.

    • Ja, jag tror man förväntar sig det kognitivt omöjliga av lärarna när man säger att de inte ska påverkas av den miljö de arbetar i. Sedan kommer, precis som du säger, en massa strategiska motiv in i bilden: lärare vill visa sig duktiga, rektorer vill locka kunder, politiker vill visa upp goda resultat, byråkrater vill visa att de minsann gör rätt saker osv.

  9. Samma person som rättar proven som sätter betygen?

  10. Elisabet Kihlström says:

    Din artikel är intressant men jag funderar över hur du ser på mindre orter och skolresultat. Jag är utbildad nationalekonom och har varit politiskt aktiv men har valt att prioritera mitt barns trygghet framför ett välbetalt arbete och har bott i en mindre kommun och haft enklare arbetsuppgifter.
    I din artikel har du jämfört skolorna i Stockholm. Segreationen är ett faktum men i mindre kommuner finns oftast endast en högstadieskola och eleverna blandas socioekonomiskt sett. I min länk visar jag att skolsegreationen stämmer bra med Göteborg och skolresulta men att i Töreboda som har hög barnfattigdom jämfört med de flesta andra mindre kommuner i ”gamla R-län, Skaraborgs län” visar ett bättre resultat än de kommuner som har mindre antal fattiga barn inom Skaraborg.

    Vad tror du om detta fenomen?
    Är det för att lärarna fokuserar på de barn som ligger på undre gränsen till G?
    Är det för att det är en total socioekonomsik blandning?
    Är det för att de låga bostadspriserna och de låga hyrorna medför att bostadsbidragen blir lägre i kommunen Töreboda än i storstäderna och fler blir klassade som fattiga än de som bor i ett segregerat storstadsområde där hyrorna är högre men där de ökade bostadsbidragen medför att den som bor i en mindre ort med lägre boendekostnader klassas som fattig medan de som växer upp storstadsområden räknas som icke-fattiga (om de med samma inkomst har ett högre bostadsbidrag). Jag hopas du förstår resonemanget, att i kommunen Töreboda kan en del klassas som fattiga om de råkar bo billigt och att andelen fattiga överskattas.
    Är det för att det finns en liten segreation i Skövde som barnen i Töreboda har bättre resultat när det gäller gymnasiebehörigheten?
    Är det för att den folkliga kulturen är utgredd i Töreboda, jämfört med det mer ekonomiskt gynnade Grästorp som endast har ett skolbibliotek?

    Jag vet att jag går utanför ämnet men är mycket intressertad av att höra dina synpunkter.

    http://siris.skolverket.se/reports/rwservlet?cmdkey=common&notgeo&report=gr_beh_gy&p_verksamhetsar=2011&lankod=14&kommunkod&skolkod

Trackbacks

  1. […] Vlachos skriver på bloggen Ekonomistas om betygsättningen i matematik i Stockholm, där han påvisar att betygsättningen är generösare vid skolor som har ett lägre […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s