Att mäta skolframgång

Hur ska man avgöra hur bra en skola egentligen är? Ett naivt svar är att det bara är att se hur skolorna presterar, men efter lite eftertanke inser de flesta att skolor har olika förutsättningar. Att bedöma en skola vars samtliga elever är studiebegåvade, studiemotiverade och har starkt föräldrastöd efter samma mall som en skola vars elever kännetecknas av motsatsen är både missvisande och orättvist. Ett vanligt sätt att hantera denna problematik är att undersöka vilket mervärde en skola ger. Även om detta är konceptuellt enkelt så finns det stora problem med sådana mätningar.

En skolas mervärde tas fram genom att undersöka något utfall, exempelvis resultat på nationella prov, samtidigt som man tar hänsyn till någon typ av ingångsvärde, exempelvis resultat på tidigare nationella prov. Skolans mervärde är den genomsnittliga förändringen av elevernas provresultat, vilket illustreras med linje 1 i figuren nedan. Då elever kan utvecklas i olika takt är också vanligt att ta hänsyn till faktorer som elevens kön, eventuell invandringsbakgrund, föräldrarnas utbildningsnivå, inkomst och dylikt. Dessutom kan det vara lämpligt att jämföra skolor inom en och samma region då finansiering och andra förutsättningar kan skilja sig markant.

Ett uppenbart problem med denna ansats är att skolor, lärare och elever kan ha incitament att på olika sätt visa sig bättre än vad de egentligen är. Detta kan ske genom generös provbedömning, fusk, genom att drilla eleverna på exakt den typ av uppgifter som proven brukar innehålla osv. I figuren visas detta med hjälp av linje 2; skolans utgångvärde eller slutresultat överdrivs. Till viss det kan detta hanteras med extern provrättning men en ymnig forskningslitteratur (pdf) visar att skolor är kreativa när det gäller att manipulera provresultat.

Mindre uppmärksammat är att mervärdesanalyser även kan ge skolor incitament att få ingångsvärdena att framstå som lägre än de egentligen är, vilket illustreras med linje 3 i figuren. Sådan manipulation är sannolikt enkel att åstadkomma — man kan exempelvis helt undvika att exponera eleverna för den typ av prov som används eller undervisa olika områden i en ordning som inte alls passar med provens upplägg. Belägg för detta fenomen finns i åtminstone en publicerad studie som använder sig av att skolornas incitament att göra bra ifrån sig på proven beror på vilken årskurssammansättning de har. Då det i Sverige finns en vildvuxen flora av skolor som löper över olika årskurser så är det lätt att föreställa sig att detta kan bli ett problem för eventuella mervärdesmätningar.

Exemplen ovan är tänkta utifrån att skolors mervärde fångas med hjälp av provresultat men prov ges bara i ett fåtal ämnen och skolväsendet har även mål utanför de rena ämneskunskaperna. Att det kan finnas en motsättning mellan olika mål är rätt självklart även om det inte är uppenbart hur stor denna motsättning är. En from förhoppning är därför att motsättningarna är små och att mervärdet i termer av provresultat på det stora hela fångar skolors eller lärares samlade kvalitet.

En viktig studie (gratisversion) av Kirabu Jackson nyligen publicerad i Journal of Political Economy finner emellertid att denna förhoppning är just from. Jackson genomför mervärdesanalyser av lärares bidrag till provresultat, men även till beteenden som att komma i tid och att skolka. Det visar sig att samvariationen mellan dessa mervärdesmått är mycket svag (korrelationen är 0,15) vilket innebär att de lärare som är bäst på att höja elevers provresultat är helt andra än de som har en positiv inverkan på deras beteende.

Inte heller verkar förbättrade provresultat vara det avgörande för framtida utfall: lärarnas mervärde baserat på elevernas beteende har en betydligt starkare koppling till elevernas slutbetyg, deras benägenhet att slutföra gymnasiet, att skriva högskoleprov (SAT) och att söka sig vidare till högre studier än det mervärde som baseras på provresultat.

Mervärdesmått baserade på prov kan vara värdefulla för att finna problem och styrkor hos lärare, skolor och undervisningssätt men det går inte att bortse från att de går att manipulera och att de är långt ifrån ett sammanfattande kvalitetsmått. Hur allvarliga dessa problem är beror emellertid på hur mervärdesmåtten används och problemen kan antas bli större när starka incitament som knyts till dem. Hur frustrerande det än må vara så finns det därför anledning att vara försiktig med att styra verksamheter med hjälp av mervärdesanalyser. Risken är annars att man får vad man betalar för medan man inte får det man inte betalar för.