Konkurrensen mellan högskolor om studenter, personal och resurser kräver att offentlig sektor tar ansvar för kvalitetskontroll. Men Högskoleverkets senaste utvärdering av svensk nationalekonomi är tyvärr ett exempel på motsatsen. Och felet ligger i den missriktade utvärderingsmodell som HSV använder.
Vad anser universitetskansler Lars Haikola om HSV:s utvärderingssystem?
När HSV:s kvalitetsutvärdering av nationalekonomiämnet vid svenska universitet och högskolor kom för en månad höjdes på många ögonbryn. Hela tio av 18 lärosäten ansågs ha program med “bristande kvalitet”, medan endast två program höll “mycket hög kvalitet”. Bakom domen stod ett drygt dussin nordiska forskare, utredare och studenter som hade rest land och rike runt för att skapa sig en bild av utbildningarnas innehåll. Granskningen innehåller såväl intervjuer med folk på alla nivåer som genomgång av kursmaterial, utbytesprogram, räkenskaper och uppsatser.
Men när betygen slutligen skulle sättas på respektive utbildning var det i princip endast en av dessa faktorer som spelade roll: uppsatsernas kvalitet. Detta är ingen tillfällighet, utan bygger på HSV:s nya bedömningsmodell som helt utgår från att högskolornas kvalitet är lika med hur bra uppsatser deras studenter skriver. Att så också skett framgår också tydligt i rapportens “Bilaga 1: Samlat omdöme” (även om bedömarnas utlåtanden längre bak i rapporten innehåller mer nyanserad diskussion och information).
Bedömningsmodellen är uppenbart problematisk. I en debattartikel i senaste numret av SULF:s tidning Universitetsläraren kritiserar förre universitetskanslern Anders Flodström just HSV:s uppsatsbaserade bedömningsmodell och även regeringen som varit dess största tillskyndare.
Detta är inte ett utvärderingssystem som kan säga något om utbildningarnas kvalitet. Det är ett system som med välkänt icke-reliabla metoder bedömer kvalitet på utbildningarnas studenter. Ett system som med största sannolikhet skulle generera annorlunda resultat om bedömningarna upprepades med hjälp av en ny uppsättning bedömare. Ett system vars drivkraft blir att rekrytera “bättre” studenter istället för att fortsätta den utveckling mot moderna, studentcentrerade och kompetensbaserade utbildningar som Bolognaprocessen initierat och drivit under tio års tid.
Det faktum att nationalekonomiutbildningen på Handelshögskolan i Stockholm fick högsta betyg av HSV, medan framför allt nyare lärosäten fick dåliga betyg ger vid handen att denna kritik kan vara riktig. Understrykas bör att det alltså inte handlar om att bedömargruppen gjort ett dåligt jobb; uppsatsernas bedömning förefaller grundlig och har dessutom granskats av externa bedömare.
Istället för att kunna ge rekommendationer åt Ekonomistas läsare gällande val av nationalekonomiutbildning i Sverige blev detta inlägg beklagligt nog en kritik av hur HSV betygsätter utbildningar. Förhoppningsvis kan universitetskansler Lars Haikola se till ändring sker.
Ekonomistas 
Menar du alltså att hsv inte kontrollerar för studenternas bakgrundsfaktorer såsom socioekonomi, gymnasiebetyg, h-provet etc? Låter som ren galenskap. De borde lära lite av sina kollegor på skolverket.
jag finner det ironiskt att din kritik av att använda c-uppsats som mått på utbildningskvalité i vissa aspekter påminner om den kritik nationalekonomer får för att använda bnp som mått på välstånd. Hur ska man annars göra?
Jag själv (som anser mig ligga på en relativt hög nivå) hade fallit mellan stolarna med detta mått då jag egentligen ska ha en c-uppsats färdig nu men inte producerat mer än två meningar typ, lol.
Fast skäll inte på HSV. Systemet infördes trots höga protester från det hållet. Myndigheten gör bara som den är beordrad av de förment kunskapsivrande folkpartister som toppar ett visst departement. Men i skolfrågor tror ju samma personer att dåliga skolor = låga betyg, så varför inte applicera samma system på högskolan.
Tja, det är sant – och fel. Jag var ordförande i bedömargruppen. Kritiken är riktig om utvärderingen ska användas för att fördela resurser eller om man har hoppas på en rangordning som vägledning för studenters val av utbildningsort. Kjell Härnqvist visade 1999 i en studie för ESO ett starkt samband på lärosätesnivå mellan antagningspoäng och utfall av en peer-reviewgranskning av examensarbeten i nationalekonomi, så visst kan det vara orättvist att HHS ska få belöning för uppsatser som inte kräver samma lärarstöd som de som skrivs på lärosäten med låga antagningspoäng. Däremot tror jag att granskningen som den är gjord fungerar bra om syftet är att säkra att alla håller en godtagbar minimistandard – och det tycker jag är en vettig ambition.
Förhållandevis få uppsatser har granskats. Å andra sidan sattes ribban lågt för varje examensmål. Varje uppsats har endast lästs av en bedömare. Härnqvist hade två oberoende granskare, men fann ingen större skillnad mellan dem.
“Peer review”? Du menar att de granskades av andra studenter?
Eller så kan man tolka det som att om man kommer in på HHS är det stor sannolikhet att man skriver en bra uppsats, och vice versa. Som student skulle jag tycka det var synnerligen användbar information.
Jag var en av bedömarna i utvärderingen och jag instämmer helt med Lars. Mitt intryck är att detta också var en utbredd uppfattning bland bedömarna: Utvärderingen fungerar när det gäller att bedöma minsta godtagbara kvalitet. Då spelar det ingen roll om förklaringen till detta är egenskaper hos studenterna eller hur mycket eller litet utbildningen och lärarna tillför. För att fördela pengar på de bästa utbildningarna är det dock självklart att sådan information behövs och då fungerar inte utvärderingsmetoden.
Det kan knappast vara en överraskning att Handelshögskolans uppsatser överlag har mycket hög kvalitet. Den väsentliga frågan om det beror på urvalet av studenter eller om utbildningen tillför något är dock helt obesvarad. Att handelsstudenterna skriver bra uppsatser är inte samma sak som att utbildningen är bra.
Jag håller dock inte med om att man kan generalisera och säga att små högskolor kom ut sämre; även stora universitet har utbildningar med brister. I de fall där små högskolor inte faller väl ut borde man på dessa enligt min mening fundera över om man inte spänt bågen för högt givet resurserna. Bara för att man har nationalekonomiutbildning behöver det inne innebära att man ska kunna skriva ett examensarbete på säg kandidatnivå, magisternivå etc. Att producera ett masterprogram är sedan än mer krävande och i dagsläget fick t.ex. ingen existerande masterutbildning högsta betyg.
Ett mer besvärande problem med utvärderingen är att den inte som det verkar kommer att kunna utvärderas. Tidigt tog vi upp frågan om inte datamaterial från utvärderingen med information om uppsatsförfattare, bedömare etc skulle kunna sparas så att man skulle kunna koppla informationen till LADOK och andra källor för registerdata så att man faktiskt i efterhand skulle kunna kontrollera rimliga orsaker till resultatet. HSV har dock som det verkar inte velat göra detta.
Det finns även andra metodologiska problem. Exempelvis är det examina som ska utvärderas, men det som i allt väsentligt observerats är examensarbeten. Detta alldeles oavsett om studenten tagit ut en examen eller inte eller om denna ens är i nationalekonomi.
Det finns dock en liten informell fortsättning på utvärderingen och det är den paneldiskussion om utvärderingen som kommer att arrangeras på den nationella ämneskonferensen i nationalekonomi i Stockholm i september.
Tycker att ett stort problem här generellt när det gäller den utvärderingsmodell HSV anammat och som så tungt vilar på EN parameter – examensarbetenas kvalitet – är att det långt ifrån är säkert att att man kan fånga in utbildningskvalitet med ett enda homogent mått. När det gäller traditionella “akademiska” och “teoretiska” utbildningar kan man KANSKE argumentera för att problemet inte är oöverkomligt, men vi har ju en massa mer praktiskt inriktade professionsutbildningar också på våra universitet – civilekonom-, socionom- och lärarutbildningar t ex. Är det verkligen säkert/troligt att man blir en bra lärare, socialarbetare eller revisor bara för att man skrivit ett bra examensarbete? Just när det gäller professionsutbildningarna känner nog många som i åratal jobbat med olika former av kvalitetssäkringsarbete för våra utbildningar att examensarbetesfixeringen är ett alltför trubbigt verktyg. Det känns lite som att man egentligen vill mäta något annat, men väljer en proxyvariabel och hoppas att det ändå ska vara någorlunda OK. Ett hopp för vilket det nog inte finns någon annan grund än tron. Här saknas en gedigen diskussion om vilka “warranted and relevant evidence” HSV har för sin utvärderingsmodell.
ENQA, The European Association for Quality Assurance in Higher Education, har ju också fört fram allvarlig kritik om brister i det nya svenska utvärderingssystemet och att det svenska systemet inte längre överensstämmer med den gemensamma standarden ESG.
Denna kritik bör tas på fullt allvar!
Nu behöver i och för sig inte examensarbete vara samma sak som uppsats. Men jag tycker nog att det problem du tar upp kan gälla även “akademiska” utbildningar och inte bara professionsutbildningar. Exempelvis finns det i de allmänna examensmålen krav på vissa muntliga och andra kommikationsfärdigheter, förmåga/träning att göra etiska och samhälleliga överväganden mm som inte självklart låter sig utvärderas med examensarbete i form av en uppsats. Detta är också något bedömargruppen i nationalekonomi diskuterat och försökt hantera med de övriga underlag som funnits.
Michael, det finns alltid en uppenbar fara i att basera kvalitetsutvärderingssystem – och resursfördelning som det ju i slutändan här faktiskt delvis också handlar om – på enkla “objektiva” mått när det vi vill mäta/premiera i själva verket har flera och komplexa dimensioner. Ofta har utbildningar en distinkt karaktär av “fleruppgiftsverksamhet” som svårligen på ett adekvat sätt låter sig reduceras till en, mätbar, homogen entitet. Jag tror säkert att den här bedömargruppen har gjort så gott den kunnat, men problemet ligger ju i grunden i utvärderingsmodellens “egenlogik”. Kvalitetsevidens är oerhört svåra att ens definiera, och när det gäller implementering av desamma är problemen än större. Att x fungerar för y i t är inget otvetydigt belägg för att x fungerar för w i z. Här finns en inte så liten övertro på utvärderingsinstrumentens träffsäkerhet från HSV:s sida.
[Till detta kan man ju också lägga en typ av “rättviseaspekter”, som jag tror Jonas åtminstone implicit var inne på i sin kommentar om en bristande uppsättning “kontrollvariabler” som t ex etnicitet, socioekonomisk bakgrund o d. Den obligatoriska skolan har ju en lagstiftad kompensatorisk komponent, men när det gäller högskoleutbildning tror jag inte det föreligger någon sådan, så kanske är det därför HSV negligerar den aspekten.]
Att bedömargruppen försökt hantera detta med andra underlag som varit tillgängliga innebär självklart inte att man löst problemet (tex att på ett adekvat sätt kunna utvärdera måluppfyllelsen avseende muntlig presentation) och det tror jag ingen i gruppen har några illusioner om.
Att man inte kan bedöma hur bra utbildningarna är genom att bedöma examensarbeten är också självklart som vi redan är flera som har konstaterat. Än mindre basera resursfördelning på den.
Detta är dock inte enligt min uppfattning tillräckligt för att man ska kunna döma ut hela utvärderingen. Tvärtom ska man inte underskatta den negativa kontrollen som är en väsentlig del av utvärderingen: Vilka utbildningar uppfyller inte examensmålen? I vart fall inte de utbildningar där en hög andel examensarbeten godkänns men inte uppfyller väsentliga delar av examensmålen som på ett rimligt sätt kan utvärderas med just examensarbetena. Då spelar det ingen roll om orsaken är högskolans/universitetets resurser, studenternas egenskaper eller bakgrunder, lärarnas kompetens etc. Det gäller att ta fasta på detta i utvärderingen eftersom det är relevant och användbart för alla berörda parter.
Det är glädjande att flera av medlemmarna i bedömargruppen delar de kritiska synpunkter som förts fram här på tråden. Ännu mer glädjande är det förstås om dessa kritiska synpunkter också kommer HSV till del. Kvalitetsgranskningen och den “ranking” den resulterar i tror jag de flesta av oss som jobbat med kvalitetssäkringsfrågor tar lätt på, MEN eftersom det ju också de facto påverkar resursallokeringen får detta (som det uppenbarligen råder konsensus om) ju faktiska konsekvenser för medeltilldelningen och kan därför inte helt negligeras.
Kritik från de som själva leverarar rapporterna har alltid extra tyngd.
Så – skicka budskapet vidare!
PISA- och TIMSS-undersökningarna ju brukar avfärdas med att vi i Sverige
är bäst på just det som inte mäts. Vilken sannolikhet som finns för denna pre-
sumtion anges aldrig. Diskussionen här tycks hamna i samma ståndpunkt.
Väldigt givande diskussion! Jag delar i allt väsentligt det som tidigare sagts i tidigare kommentarer. Bedömargruppen har förstås varit väl medveten om utmaningen i att genomföra en mångsidig och grundlig granskning samtidigt som HSV i slutändan ändå implementerat sin endimensionella utvärderingsmodell. Som Lars och Michael påpekade är det inte otänkbart att en granskning av examensarbeten (ffa uppsatser) kan avslöja “rötägg” på utbildningsmarknaden. (Jag har rentav själv skrivit om betydelsen av att komplettera objektíva mått på forskningsproduktivitet, t ex artikelpublikationer eller citeringar, med subjektiva bedömningar av forskningens kvalitet.)
Samtidigt är det uppenbart att HSVs endimensionella utvärderingsmodell kan slå rejält fel, med allvarliga konsekvenser. Att inte ta hänsyn till studenternas kvalitet är, som påpekats, ett generalfel som i mina ögon är tillräckligt för att upphäva modellens existensberättigande.
Dessutom används inte modellen enbart för att peka ut problemfall kring den undregränsen. HSV rapport innehåller en rangordning på flera nivåer, vilket lätt ger upphov till en “rankning” mellan utbildningarna. Här kan modellen bli direkt skadlig i den mån felaktiga signaler skickas ut till såväl finansiärer som presumtiva studenter.
Det vore lovvärt om HSV bemöter denna kritik på ett sakligt och konstruktivt sätt. Förmodligen krävs dock att även utbildningsdepartementets ledning tar upp frågan.
Jaha, här går tydligen tankarna enligt de vanliga irrspåren “duktiga elever/studenter behöver ju ingen bra utbildning för att bli duktiga för de är ju redan duktiga”. Trams, jag tycker det är alldeles rimligt att mäta kvaliteten av studenters arbeten utan att ta hänsyn till om studenterna 3 eller 5 år tidigare hade olika slutbetyg från gymnasiet.
Dessutom ska inte effekten av att studera tillsammans med begåvade studiekamrater underskattas, det gör nog minst lika mycket eller mer än utbildningens “kvalitet”.
Tidigare prestationer blir ytterst relevant. Däremot bör vi inte låsa oss till att titta på gymnasiebetyg. Det intressanta är ju att så om en person som skrev sin kandidatuppsats i Uppsala, skriver en bättre magister i Umeå. Det vore också intressant att se om en person skriver bättre själv än med en studiekamrat.