Dagens Nyheters reporter Kristoffer Öhrstadius har via offentliga källor lyckats baklängesidentifiera PISA-resultaten i matematik för ett antal svenska skolor och deras elever. Han har även lyckats samköra PISA-resultaten mot — tillika offentliga — uppgifter om elevers och skolors resultat på nationella proven och funnit anledning att ifrågasätta PISA-provets pålitlighet. Den tes som drivs är att svenska elever i årskurs 9 är så stressade av att ta nationella prov att de inte orkat bry sig om PISA-provet. Det finns ett antal kommentarer att göra kring detta.
För det första är det bara konstatera att Öhrstadius gjort ett fantastiskt journalistiskt jobb. Som forskare är det närmast omöjligt att få tillstånd att koppla PISA-skolornas resultat till andra datakällor ens om skolorna är avidentifierade. Anledningen är att hela PISAs idé är att varken skolor eller elever ska ha några strategiska motiv att förbereda sig inför proven. Istället ska de fungera som nedslag i skolans vardag. Undersökningar som bygger på prov som saknar egentliga konsekvenser anses ofta vara mer tillförlitliga än prov som skolorna har strategiska motiv att uppvisa goda resultat på.
Även den amerikanska NAEP-undersökningen bygger på samma idé som PISA och resultaten från NAEP skiljer sig ofta markant från resultaten på de prov som faktiskt har konsekvenser för skolorna (se även här). Om kunskapen som mäts är helt specifik för den typ av prov som skolorna förbereder eleverna på så är den nog av föga värde; kan kunskapen inte användas om proven är lite annorlunda utformade så är nog inte förståelsen särskilt djupt förankrad (se SvD om detta).
Denna styrka hos undersökningar som PISA och NAEP kan också vara ett problem: då proven saknar konsekvenser kanske eleverna inte tar dem på allvar. Till exempel kan de svenska eleverna ha blivit så trötta av alla nationella prov att de passar på att slappa när de får två timmars andrum under PISA-provet. Vad som talar emot just denna hypotes är att TIMSS2011 pekar på samma negativa utveckling av mattekunskaperna som PISA2012. Skillnaden är att TIMSS skrivs i årskurs 8, rimligen innan eleverna hunnit bli provtrötta. Samtidigt kan det finnas andra orsaker till att svenska elever blivit alltmer ovilliga att göra bra ifrån sig på prov som inte är betygsgrundande (vilket i sig kanske är oroande).
Öhrstadius ifrågasättande av PISA-resultaten bygger på att en del elever och skolor som presterar bra i matematik enligt de nationella proven verkar ha fått ganska svaga resultat enligt PISA. Vad gäller eleverna är det svårt att veta vad detta betyder; PISA är en samplingsundersökning skapad för att utvärdera hela skolsystemet och varje elev skriver bara ett urval av frågor från en större frågebank. Konstruktionen gör att PISA kan täcka in breda områden utan att proven blir särskilt omfattande eller betungande för de enskilda eleverna. Samtidigt betyder detta att resultaten för enskilda elever kan se märkliga ut.
På skolnivå borde dock sådana skillnader jämna ut sig men även på där finns en hel del märkliga mönster. En förklaring kan vara att Öhrstadius inte kunnat jämföra skolans medelresultat på PISA med medelresultaten på de nationella proven i matematik eller skolans snittbetyg i matte. Anledningen är att Skolverket inte redovisat dessa uppgifter på skolnivå. Istället jämför därför Öhrstadius hur stor andel av eleverna på PISA-skolorna som fått MVG och VG med hur stor andel som skrivit bra på PISA-provet. Detta är ett tillvägagångssätt som är betydligt känsligare för var olika gränser i skalornas dras än medelvärdesjämförelser. Tyvärr har inte Mitthögskolanuniversitetet — som har hand om PISA — eller någon annan undersökt förhållandet mellan PISA-resultat och genomsnittsbetyg eller resultat på de nationella proven. Detsamma gäller mig veterligen TIMSS-undersökningen.
En annan möjlig förklaring till skillnaderna är att ca 10 procent av eleverna inte skriver de nationella proven i matte. På enskilda skolor kan andelen vara betydligt högre och det är knappast ett slumpmässigt urval av elever som stannar hemma. Det är därför möjligt att PISA-proven fångar ett mer representativt urval av en skolas elever än de nationella proven. Slutligen är det som sagt välkänt att resultat på prov med och utan strategiska motiv kan skilja sig markant och då är frågan vilka resultat som är mest rättvisande.
Öhrstadius undersökning är en nyttig påminnelse om hur svårt det är att mäta kunskap på ett rättvisande sätt. Olika prov som syftar till att mäta i princip samma sak kan ge olika markant olika resultat. Detta är också en anledning till att många utbildningsforskare oroar sig för de strategiska effekter som uppstår när man knyter olika konsekvenser för skolan till provresultat; det är sällan lyckat att undervisningen inriktas på att göra eleverna bra på just en särskild typ av prov. Samtidigt bör man inte blint lita på att undersökningar som PISA och TIMSS mäter det som man vill att de ska mäta och det är anmärkningsvärt att ingen ansvarig verkar veta hur hög korrelationen mellan skolornas resultat på dessa internationella undersökningar och skolans betyg eller NP-resultat egentligen är.
Slutligen är det tveksamt om resultaten på framtida PISA och TIMSS-undersökningar kommer att vara jämförbara med de tidigare. Då Öhrstadius visat att det går att baklängesidentifiera de deltagande skolorna så kommer skolorna i nästa undersökningsvåg att ha anledning att förbereda eleverna på proven; resultaten kommer ju med stor sannolikhet att offentliggöras på ett eller annat sätt. Det är alltså hög tid för svenska myndigheter att utveckla egna instrument för att följa skolsystemets utveckling.
Ekonomistas 
Återigen den enkla och självklara observation som allt för sällan driver ställningstaganden i mikroekonomiskt beslutsfattande: För att fatta goda beslut krävs ett gott kunskapsunderlag.
är det känt om det finns motsvarande skillnader i andra länder – är det bara svenska elever som tar lite för lätt på PISA-testerna? (och som Christian Bennet påpekade någonstans, har så värst mycket hänt i detta avseende sendan förra PISA-studien?)
Alla problem som finns i Sverige finns självfallet också i andra länder. Huruvida de är större eller mindre är svårt att uttala sig om. I en ännu opublicerade studie försöker Borgshans och Schills att isolera elevernas ork att faktiskt slutföra PISA (de använder PISA2006) och korrigera resultaten för detta. Det visar sig att elevernas ork mycket riktigt skiljer sig åt mellan länder och att korrigera (oklart om det bör kallas för “korrigering”) ändrar rangordningen rätt markant. För Sveriges del händer dock inte särskilt mycket. Se en preliminär version av studien här: http://sole-jole.org/13260.pdf
I en kommentar jag såg “någonstans” läste jag att man efter de dåliga resultaten i PISA 2003 hade sagt att det berodde på att svenska elever var ovana vid prov. Vore intressant att se om någon kan bekräfta att det verkligen var någonting som sades då. Det känns ju en liten aning som en efterhandskonstruktion att bortförklara provresultat med “eleverna har för många prov” eller “eleverna har för få prov”, kan man ju tycka.
Och hur jobbigt är det att skriva dessa prov? Om man har ett välförtjänt MVG i matematik bör det väl inte vara några problem att skriva hela provet på mindre än halva den tilldelade tiden? Det vore ju en sak om uppgiften var “skriv 4000 ord om en postmodernistisk analys kring konservativ feminism i rysk undergroundlitteratur” eller liknande, där man kan se hur orken tryter ganska snart.
Är korrigeringen av Mittuniversitetet medveten? Anser Vlachos att de inte borde få kalla sig universitet?
Nja, jag har varit ett riktigt MVG-barn, och har alltid samtidigt haft svårt att hinna på utsatt tid, särskillt inom matte-ämnen. Plus att jag alltid är helt slut och mentalt dränerad efteråt, men nästan alltid presterar bra. Det räcker inte med att räkna rätt, man måste redovisa allt rätt för att få bra betyg, iaf med de lärare jag haft.
Hur lyckades DN med identfieringen? Är det möjligt för forskare att göra likadant eller sätter “etiken” stopp för det?
Att identifiera skolorna skulle nog låta sig göras: han har jämfört elevantal odyl ur pisa-data med officiella data. Problemet är att det blir rätt dåligt i vissa avseenden, kanske främst då att NP-redovisas dåligt i officiella data. Att eftersöka individer på det sätt Öhrstadius gjort skulle nog etiken stoppa.
Jag tvivlar på att eventuella förberedelser inför en kommande PISA-omgång kommer att vara särskilt effektiva avseende att få eleverna att svara rätt. Även om det finns några offentliga uppgifter ur proven så räcker det nog inte för att träna eleverna särskilt effektivt. Som lärare kommer man annars aldrig i kontakt med PISA, det är ju urvalsstudier som görs vart tredje år. Det man framförallt kan göra för att strategiskt påverka resultaten är nog att öva och motivera i allmänt provtagningssyfte.
Men vad gäller de nationella proven är ju möjligheterna helt annorlunda. Jag har åttor nu och funderar på hur jag ska lägga upp nästa års no-undervisning. Jag tycker att de nationella proven i no är rätt bra för det syfte jag bryr mig om mest, som en hyggligt bred bild av vad no-undervisningen på högstadiet bör bestå av. Men begränsningar i provformatet och en del lustiga skrivningar i kunskapskrav och medföljande stödmaterial gör att systemet är någorlunda enkelt att vara strategisk i. Och det på sätt som enligt min mening i princip helt saknar värde utanför just np-sammanhanget.
Exempelvis finns det en del kunskapskrav som bygger på att eleverna ska föra resonemang. I stödmaterialet från skolverket kan man sedan läsa om hur man ska bedöma elevers resonemang. Det som står där är i princip att ju fler led resonemanget innehåller desto bättre blir det. Det är något som inte är direkt utmanande att öva upp eleverna i om man bara är beredd att plocka lite tid från verklig undervisning. Det ger garanterat bättre payoff i np-resultat och sämre pay-off i alla andra meningsfulla dimensioner. Ta vilket resonemang som helst och peta in ett extra led. Eller i värsta fall, välj konsekvent att resonera om saker där du lätt kan komma upp i de magiska tre led som garanterar att du plockar A-poäng om det delas ut sådana.
Endast min yrkesheder står emellan mina elever och bättre np-resultat.
Reblogga detta på FLS – Föreningen Lärare i Samhällskunskap och kommenterade:
Svenska elever är vana vid prov som har en progression, alltså att proven blir svårare och svårare – så fungerar inte PISA. Ger svenska elever upp mitt i provet – i så fall undrar jag hur detta spelar in Sveriges PISA-resultat? /Elias Dietrichson
Svenska elever är vana vid prov som har en progression, alltså att proven blir svårare och svårare – så fungerar inte PISA. Ger svenska elever upp mitt i provet – i så fall undrar jag hur detta spelar in Sveriges PISA-resultat? /Elias Dietrichson