Ordnings- eller översättningsproblem i PISA-enkäter

Det har länge klagats på ordningen i svenska klassrum. Elever som stökar och inte lyssnar finns emellertid överallt och enligt PISA:s elevenkäter har ordningen i svensk skola länge varit medelgod eller strax däröver. Men i senaste PISA-undersäkningen hände något dramatiskt och regeringen vidtar nu åtgärder då Sverige plötsligt blivit “ett av länderna med sämst disciplinärt klimat”. Pisachefen Andreas Schleicher stämmer in med “en majoritet av eleverna inte lyssnar på vad läraren säger”. Troligast är dock att denna försämring till stor del kan hänföras till en översättningsmiss.

Nyanser i formuleringar kan ge stora skillnader i hur enkäter besvaras. Betänk exempelvis skillnaden mellan hur ofta det händer att “Eleverna lyssnar inte på vad läraren säger” och att det finns “Elever som inte inte lyssnar på vad läraren sagt”. Den förra formuleringen säger något om den allmänna uppmärksamheten medan den senare ber respondenten ange om det finns någon elev som inte lyssnar. Just denna ändrade formulering smög sig in i den svenska versionen av 2022 års PISA-enkät.

På engelska är formuleringen “Students Don’t Listen”, vilken liksom den översättning som fanns i tidigare PISA-enkäter (2012, 2015 och 2018) gäller den allmänna uppmärksamheten. Av oklar anledning omformulerades emellertid svarsalternativen vilket gör jämförelser bakåt i tiden och med andra länder svåra eller omöjliga. Som kan ses nedan var det inte den enda frågan som fick en ny formulering men svarsalternativens innebörd ändrades mest för frågan om elevernas uppmärksamhet.

Den ändrade formuleringen verkar – föga förvånande – fått stor betydelse för hur eleverna svarat. Andelen elever som anger att det varje lektion finns elever som inte lyssnar uppgick 2022 till 30 procent. Vid tidigare undersökningar har andelen på motsvarande fråga legat mellan sex och nio procent. En sådan förändring är i sig osannolikt stor och även om även övriga frågor tyder på att klassrumsmiljön försämrats något så är skillnaden slående.

Detta innebär såklart inte att det inte finns någon anledning att oroa sig för klassrumsmiljön i svenska skolor. Översättningen av “Students don’t work well” ändrades inte och även denna uppvisar en icke-trivial försämring. 2018 gällde emellertid frågan ordningen på lektionerna i svenska medan den 2022 gällde mattelektionerna. För att jämföra med mattelektioner får vi gå tillbaks till 2012 och då är försämringen liten. Därmed är det sannolikt att klassrumsmiljön inte försämrats alls lika dramatiskt som det samlande indexet i figuren nedan låter påskina.

Att missar sker vid översättningen av frågor är måhända ofrånkomligt, men det är olyckligt. Skolverket har nu att välja mellan att hålla fast vid de nya översättningarna eller att återgå till de som gällde innan 2022. Oavsett så kommer jämförbarheten i den långa tidsserie som finns i PISA-undersökningarna att vara försämrad. Detta är allvarligt, men kanske ännu allvarligare är att Skolverket inte verkar ha annonserat att enkätformuleringarna ändrats. Det hade varit på sin plats, inte minst då både regeringen och OECD reagerat kraftfullt på dessa enkätsvar.