Utbildningsforskaren John Hattie fick ett stort genomslag för sin metastudie om vad som funkar och inte funkar när det gäller att förbättra elevers skolresultat. Hattie har dock fått hård kritik, bland annat då han blandar resultat från studier utan att ta hänsyn till deras forskningsmetod. Den som letar efter forskningssammanställningar om utbildningsforskning har emellertid nu fått ett nytt ymnighetshorn att ösa ur. I en massiv översikt (gratisversion) går Roland Fryer igenom 196 randomiserade fältexperiment och försöker dra slutsatser.
Att sammanfatta en omfattande översikt är inte lätt men det finns ett antal resultat som sticker ut. Först och främst så verkar skolan vara rätt plats för att förbättra skolresultat. Åtgärder som syftar till påverka elevernas hemmiljö, föräldrarnas delaktighet eller lokalsamhället i stort verkar inte ha någon effekt just på skolresultaten. Det ska dock noteras att en studie (gratisversion) — även den baserad på ett fältexperiment — nyligen visat att vilket område man bor i kan ha stor påverkan på både utbildningsnivå och framtida inkomster, även om inte skolresultaten påverkas nämnvärt. Skolresultat är med andra ord inte allt som påverkar ens livschanser.
Att åtgärder tidigt i skolgången — eller kanske redan på förskolenivå — är särskilt viktiga betraktas ibland närmast som en självklarhet, men Fryers översikt ifrågasätter och nyanserar denna slutsats. Tidiga åtgärder för att förbättra läskunnighet förefaller visserligen mer framgångsrika än senare men något sådant tydligt mönster finns inte för matematik. Att lära barn läsa tidigt i skolan verkar med andra ord vara en bra idé.
Frågan om mer resurser i skolan spelar roll har analyserats i en uppsjö av studier men sällan i randomiserade försök. Ett par nya kvasi-experimentella studier (här och här) finner att mer resurser verkligen ger resultatförbättringar, men det spelar naturligtvis roll vad resurserna läggs på. Vad Fryers översikt finner är att intensiv undervisning i smågrupper eller med enskilda elever leder till stora förbättringar även för äldre elever. “Tutoring” (finns det någon bra översättning?) kan alltså verkligen lyfta elever men det är av naturliga skäl också en dyr åtgärd. Inte heller verkar det hjälpa med några strötimmar extraundervisning i smågrupper; ska det vara så ska det vara rejält.
En annan relativt dyr åtgärd är att minska klasstorleken och det berömda STAR-experimentet finner att detta leder till förbättringar, om än inte enorma sådana (svenska kvasi-experimentella resultat tyder dock på att minskad klasstorlek är lönsamt). Däremot finns det viss tveksamhet om storskaliga minskningar av klasstorlek leder till bättre resultat.
Vad gäller lärare så finns det lite stöd för idén att vägen till framgång består i att knyta lärarnas lön till elevernas resultat. Fryer noterar dock att de experiment som hittills genomförts ger spretiga resultat och att utformningen av olika system för incitamentlöner sannolikt spelar roll. Inte heller verkar allmän fortbildning leda till några förbättringar även om det finns undantag. Fortbildning som är fokuserad på att hantera specifika utmaningar, som hur man konkret kan undervisa elever med lässvårigheter, har visat sig ha viss framgång.
Fryers översikt ger inte mycket stöd för att skolval och skolpeng (vouchers) leder till några tydliga förbättringar; ny studie finner exempelvis stora negativa effekter av en riktad skolpeng som gjorde det möjligt för elever vid lågpresterande offentliga skolor att söka sig till privatskolor. Då dessa experiment framförallt är genomförda i USA där dylika åtgärder oftast är riktade mot särskilda grupper är de dock svåra att översätta till exempelvis svenska förhållanden.
Inte heller så kallade charter schools verkar ge förbättringar för den genomsnittliga eleven. Däremot kan vissa typer av charter schools — då framförallt de som är inriktade mot minoriteter och socioekonomiskt svaga områden — leda till stora förbättringar för dessa elevgrupper. I ett mycket ambitiöst fältexperiment har Fryer själv inspirerats av framgångsrika charter schools och med goda resultat försökt införa “best practices” i offentliga skolor.
För att inkluderas i Fryers översikt krävs att studien analyserar ett faktiskt randomiserat fältexperiment i ett högt utvecklat land. Även metodologiskt starka studier som bygger på naturliga experiment utesluts därför. Begränsningen innebär exempelvis att kvasi-experimentella studier baserade på registerdata från Skandinavien lyser med sin frånvaro. Dessutom är översikten begränsad till studier som undersöker utfall på standardiserade prov i matematik och läsförmåga, bland annat då metastudiens metod kräver att effektstorlekarna är jämförbara mellan olika studier. Samtidigt finns det naturligtvis fler intressanta utfall än dessa.
Vi ser därför fram emot en uppföljande översikt som både undersöker andra utfall och som inkluderar studier med stark kvasi-experimentell forskningsdesign. I väntan på denna finns det mycket att lära av Fryers gedigna arbete.
Ekonomistas 
Jag tycker det är konstigt att man tror att studier av lokalsamhället, och liknande faktorer som rimligen ser helt olika ut, även om man jämför Sverige och Norge (pga helt olika glesbygdspolitik, invandringspolitik, bostadspolitik osv), ska gå att översätta mellan olika länder. Det är som att man låtsas att det finns ett naturvetenskapligt samband mellan ett bibliotek och skolresultat. Anekdoter vore lika meningsfulla!
Frågan i vilken grad forskningsresultat som dessa generaliserar till andra sammanhang är central. En återkommande kritik mot randomiserade fältexperiment (och annan empiri) är just denna; utan att förstå mekanismerna på djupet går det inte att avgöra om de är tillämpbara i andra sammanhang än det som studerats.
Jag håller med om denna kritik — även om den skapar viss frustration — men är inte säker på att just resultaten om lokalsamhället är särskilt svåra att generalisera.
Jag är lite orolig för att positiva kortsiktiga resultatförbättringar är just detta, kortsiktiga, när man tittar på olika metoder att försöka öka barns intelligens så kan effekten vara positiv i kort sikt men försvinner i princip alltid inom ett par år och efter 18-år är effekten noll. En metastudie från 2015 bekräftar detta: “We confirm that after an intervention raises intelligence the effects fade away. We further show this is because children in the experimental group lose their IQ advantage and not because those in the control groups catch up”: http://www.sciencedirect.com/science/article/pii/S016028961500135X
Detta ligger i linje med att intelligens är nästan till 80 % genetisk predisponerad i vuxen ålder enligt en artikel i Nature (2014): http://www.nature.com/mp/journal/v20/n1/full/mp2014105a.html
Intelligens korrelerar som bekant dryg 0.5 med betyg, och ännu mer med resultaten på objektiva prov enligt ytterligare en ny metaanalys (2015): http://www.sciencedirect.com/science/article/pii/S0160289615001269
I linje med det Fryer verkar konstatera, och till skillnad från den Svenska debatten, verkar inte toppstudenter som väljer att arbeta som lärare leda till bättre resultat förutom i förskolan: https://www.mathematica-mpr.com//our-publications-and-findings/publications/impacts-of-the-teach-for-america-investing-in-innovation-scaleup
Jag tror du har varit inne på det tidigare, att vi inte kan lära ut hur man blir en bra lärare utan det verkar vara något man har eller inte har. Frågan är då om en lång lärarutbildning är bortkastat utan att det räcker med kanske ett år och sedan se vilka som presterar bra och inte. Genom rätt incitament kan man få en snabbare genomströmning av lärare utan så starka inlåsningseffekter för de som inte visar sig ha det som krävs.
Det är naturligtvis möjligt att kortsiktiga effekter är just kortsiktiga, men samtidigt finner tex Fredriksson mfl — liksom Chetty mfls studier om lärare — att vad som händer i skolan kan ha långsiktiga effekter. Dessutom bestäms framtida utfall av betydligt mer än IQ vilket exempelvis MTO-experimentet refererat i inlägget visar, liksom Lindqvist och Vestman (AEJ, 2011).
Vad gäller lärarutbildningen så finns det rätt mycket belägg för att ämneskunskaper inte är oväsentliga och jag skulle nog vilja ha rätt bra belägg för att metoder för läsinlärning etc inte spelar någon roll innan man helt dömer ut möjligheterna att lära lärare att lära. Kirabo Jackson finner dessutom belägg för att lärare påverkar varandra. Vad gäller en politik som syftar till att sparka ut lärare som efter något eller några års tjänstgöring visar sig vara mindre bra så gör Rockoff och Staiger en simuleringsövning av en sådan politik. Givet precisionen i de value added-skattningar de utgår från så kommer de fram till att om man sparkar 80% (!) av nytillkomna lärare efter ett år så ökar skolan genomsnittliga value added med 0,08 standardavvikelser (effekten är tämligen linjär så sparkar man 40% är ökningen 0.045 std). Det kanske i isolering verkar vara en attraktiv politik, men man måste ställa sig frågan vad den skulle göra med läraryrkets attraktivitet. Det kanske även skulle vara svårt att hitta skolledare som är villiga att genomföra detta. Dessutom skulle det kräva ett testbaserat utvärderingsystem som åtminstone idag inte finns i den svenska skolan. Naturligtvis kan man införa ett sådant, men det skulle ändra skolan på ganska fundamentala sätt och effekterna (sannolikt både positiva och negativa) är svåröverskådliga.
För övrigt så kan man uppenbarligen påverka skolresultat; de svenska har som bekant fallit rejält.
Jag kanske borde förtydliga att lärarna självklart måste ha tillräckliga ämneskunskaper, något som rimligen borde kunna testas av med lämpliga prov. Sedan menade jag inte att lärare skall sparkas i den meningen bara att lönen knyts till deras resultat (något även Fryer är inne på). Detta får förhoppningsvis effekten att sämre lärare själva söker sig bort från läraryrket mot något som passar deras talanger bättre. Då kommer förhoppningsvis även effekten av Jacksons studie mer till sin rätt.
Vi är helt överens om att det går att påverka skolresultaten givet vår intelligens, den ger bara en ram innanför vi kan verka, men det blir svårt att tävla med ex. östasiatiska länder. En intressant jämförelse är där man delat upp de amerikanska PISA-resultaten efter etnicitet så ser man att asiater i USA presterar lika bra som asiater i sina hemländer och vita presterar nästan 30 poäng bättre än Sverige i matematik. Skulle vara intressant att se motsvarande siffror för fler länder så vi kan få en uppfattning om vilka realistiska resultatförväntningar vi kan ha på den Svenska skolan när det gäller olika gruppers resultat: http://isteve.blogspot.se/2013/12/overall-pisa-rankings-include-america.html
Apropå det omöjliga i att lära lärare att lära ut- Jag tror det i det sammanhanget är viktigt att hålla koll på vad det är man försöker lära en lärare.
Läraryrket är en smula udda på så sätt att det förmodligen inte finns något annat yrke där folk utanför yrket har så god insikt i hur arbetet man gör går till. I stort sett alla har sett lärare undervisa i 9000 timmar innan man lämnar gymnasiet. Det är en hel del. Jag har väldigt svårt att se att det inte skulle påverka hur snabbt man kan komma in i yrket.
Hemskolning har ju blivit rätt populär, och speciellt i USA funnits som bredare fenomen rätt länge. Vad jag förstår så börjar folk som hemskolats hela vägen till college nu dyka upp. Vore spännande med en studie där man plockar in folk med likvärdig ämnesutbildning men med vanlig respektive helt hemskolad bakgrund som lärare för lite äldre elever.
Min tro är att det man skulle få syn på är att man kan lära lärare att lära ut, men att man inte behöver det eftersom alla kandidater redan kan det, mer eller mindre.
Så då kan man ju fråga sig vad det i så fall borde betyda för lärarutbildningen. lärarlegitimation och läraryrket. Jag tänker att det skiljer sig mycket mellan gymnasiet och lågstadiet. En femårig gymnasielärarutbildning är 3,5 år undervisningsämnen och 1,5 år annat. Det finns gott om folk utanför läraryrket som har ämneskunskapen, biologer, historiker osv. På lågstadiet är situationen helt annorlunda. En mycket större del av utbildningen är kunskaper som inte återfinns utanför lärarutbildningen. Jag skulle därtill tippa på att de flesta dels har mycket bättre minnen av hur undervisning ser ut på gymnasiet än på lågstadiet, och dels också har betydligt bättre förutsättningar att förstå vad läraren sysslar med på gymnasiet.
För egen del innebär det att jag verkligen vill att mina barn ska ha utbildade lågstadielärare men att jag inte är särskilt brydd om det skulle vara så att de när de väl är på gymnasiet skulle få en ingenjör som mattelärare.
Angående att “80 % genetisk predisponerad i vuxen ålder” så är det en modifikation på två sätt, dock inte nödvändigtvis ditt fel. Jag tittade igenom artikeln, och läser man där så står det att normalt sett så är 60 % inherrited, dvs ärvt. I vissa studier har man dock funnit 80 %, vilket man då trycker på i abstract, men som jag läser det i artikeln så verkar det i verkligheten vara vanligare att man skattar ca 60 %. Sedan är inherrited inte nödvändigtvis likvärdigt med genetiskt ärvt, vilket även det framgår i artikeln (finns dock någon diskussion om hur korrelationen med vissa gener är konstanta över olika åldrar). Det faktum att korrelationen bara är 20 % när folk är barn tyder väl ändå på att det finns mer än gott om utrymme för miljön att spela roll för vad man får för IQ i slutändan?
Tjenare Joakim,
det är helt riktigt, vid 18-års åldern brukar man säga runt runt 60 %. Vad som dock är viktigt att ha med sig är att vi idag inte verkar veta något sätt att permanent höja någons intelligens såvida de uppnått en väldigt låg basnivå när det gäller kognitiv stimulans och nutrition. Ex. lades det ner hundratals miljoner på olika “head start” program i USA för att minska skillnaderna mellan svarta och vita. Skillnaden minskar lite i början men efter några enstaka år ha skillnaden försvunnit. Detta blev bekräftat i den metastudie (2015) jag tog upp tidigare i tråden: We confirm that after an intervention raises intelligence the effects fade away. We further show this is because children in the experimental group lose their IQ advantage and not because those in the control groups catch up. http://www.sciencedirect.com/science/article/pii/S016028961500135X
Värt att notera att en stor del av den “icke genetiska” skillnaden består i ex. påverkan i livmodern och test-retest variation. Inte sådant som vi i vanliga fall skulle betrakta som viktig miljöpåverkan. Tyvärr.
Oantastligt: det kan ju rimligen inte vara helt sant. Vi vet ju att de skett enorma förbättringar i IQ värden de senaste hundra åren. Det är svårt att veta hur mycket, men ordentligt över en standardavvikelse, eller kanske 20 poäng, är dock möjligt. Över 100 år är det sannolikt ännu större förbättringar. Vi kan ju också vara helt säkra på att detta inte har att göra med förändrade genfrekvenser.
Rimligen innebär detta väl att vi vet att det finns väldigt stora möjligheter att påverka IQ (permanent) som är helt miljörelaterade, trots att vi kanske inte helt rätt ut hur.
Oantaslitgt: Nu undvek du ju helt frågan om att korrelationen tidigare i livet enbart är 20 % och började istället prata om att vi inte vet vad som ökar IQ. Bara för att vi inte vet vad som spelar roll för resterande 80 % betyder ju inte att det inte går att påverka detta, det betyder bara att vi inte vet hur. För du tror väl inte att folk går tillbaka in i livmodern och att detta är förklaringen till den ökade korrelationen från 20 till 60 % under uppväxten?
Martin: Jag misstänker att du talar om den s.k. Flynn-Effekten, att IQ resultaten ökar med ca 3 poäng per decennium. Om jag har förstått det hela rätt är det ingen som riktigt vet vad detta beror på. Två saker dock, dels så verkar det vara resultaten på vissa deltester som ökat – alltså inte själva g-faktorn som är den som har nästan all prediktiv förmåga – dels så verkar Flynn-effekten stannat av, eller rent av reverserats, i många västländer. Kanske har vi mjölkat ur den effekten vi har kunnat genom ex. bättre näringsintag.
Det som är avgörande dock är att vi inte har en aning om hur man genom miljöpåverkan ökar intelligensen permanent trots att det förmodligen är ett av de områden man lagt mest pengar på att korrigera (det har lagts hundratals, om inte tusentals miljoner, på att förbättra intelligensen hos människor genom ex. head start program för tiotusentals barn eller där man flyttat mängder med fattiga familjer till rika områden etc.) Ingenting har hjälpt. Dessutom verkar Flynn-effekten inte heller påverka gruppskillnader utan dessa verkar härstamma från två olika orsaker: https://lesacreduprintemps19.files.wordpress.com/2012/01/the-flynn-effect-group-differences-and-g-loadings.pdf
Joakim: Jag vet inte riktigt vad jag skall säga men som de skriver i artikeln i Nature “Genotype-environment correlation seems the most likely explanation in which small genetic differences are magnified as children select, modify and create environments correlated with their genetic propensities.” Vad jag däremot kan säga är att vi idag inte vet något sätt att höja intelligensen även om vi ex. flyttar fattiga familjer till rika områden, låter de gå i bra skolor och ger dem extra stöd på alla sätt. Inte heller att adoptera in fattiga barn i rika familjer påverkar deras IQ i någon större utsträckning när de väl kommer upp i 18-års åldern. Vad det än är för miljöpåverkan som ökar intelligensen så ser det mörkt ut för att det är något vi kommer kunna implementera i större utsträckning.
Oantastlig: Jag förstår inte resonemanget om att det bara är resultat på olika deltest som ökat och inte det så kallade “g”. “g” är ju definierat som resultatet av de olika deltesten?
Det verkar ju som att ökningen i IQ-tester korrelerar på makronivån väldigt väl med expansionen av utbildning i västvärlden och mindre rika länder, samt även expansionen av ökad statlig inblandning i välfärd (förvisso även korrelerat med mycket annat också). Då kanske det är att ta i att tvärsäkert säga att ingenting har hjälpt eftersom vi inte vet. Men jag håller med dig att vi inte vet så mycket egentligen (bortsett från att det skett enorma förbättringar över tid som enbart beror på miljöfakorer). Vi kan nog dock vara ganska säkra på att utveckling från ett låginkomst samhälle till ett höginkomst samhälle är en miljöförändring som höjer IQ.
Martin: när man gör faktoranalys, vilket man gör när man räknar fram den s.k. g-faktorn, så spelar det ingen större roll vilken exakt nivå ett givet subtest ligger på (vilket medelvärde de har i populationen) utan vad som spelar roll är korrelationen. Således spelar det ingen roll större roll att värdena på vissa individuella deltest ökat om korrelationen inte gjort det. Låt mig ta ett exempel, det finns en korrelation mellan längd och vikt, det spelar dock ingen roll om alla blev 10 cm längre, korrelationen mellan längd och vikt skulle fortfarande vara densamma.
g-faktorn har en stor inverkan på alla subtest och eftersom det är g-faktorn som är den drivande faktorn bakom alla subtest så borde alla subtest öka om g-faktorn hade ökat. Tvärtom så har många av subtest legat still eller till och med minskat över tiden. Därför är det osannolikt att det är själva g-faktorn i sig har ändrats.
När man har räknat fram ett “raw score” standardiseras detta över hela populationen för att man skall kunna jämföra människors relativa förmåga (genomsnitt på 100 med standardavvikelse på 15). Vad en ökning i “raw score”, vilket är det enda sättet vi kan mäta flynn-effekten, betyder vet vi tyvärr inte riktigt. Det verkar i vilket fall inte påverka g-faktorn och det är g-faktorn som har i princip all prediktiv förmåga.
Även om jag också hoppas att fattiga länder kommer få se sin genomsnittliga g-faktor öka ytterligare efter de uppnått grundläggande näring, hälsa och kognitiv stimulans, så är jag väldigt tveksam.
Oantastlig: Det är en ganska konstig åsikt att påstå att det inte spelar någon roll ett subtest ligger på. Vi har ett fall med milljö A och genfrekvenser A, och ett annat fall med miljö B och genfrekvenser B. Vi vet dessutom att genfrekvenser A=B. Det går inte att få ett tydligare fall för kausal inferens. Ditt höjd exempel är för övrigt (kanske oavsiktligt) intressant, det är mycket möjligt att korrelationen mellan höjd och vikt är snarlik idag som för 150 år sedan (jag har ingen aning dock), dock vet vi att enbart genom miljöförändringar har man höjt genomsnittliga höjden och vikten rejält sedan 150 år.
Angående “g faktorn” så har du väll snarare kastat misstanke på själva begreppet “g faktor” i texten ovan. Om det inte är samma korrelation mellan olika mätbara test över tid och “g faktorn”, så verkar det ju vara ett enklare argument att det snarare inte finns en underliggande genetiskt bestämd “g faktor” som går att hitta genom faktoranalys, Det är ju iallafall helt klart att “factor loading” för olika subtest måste variera över tid.
Martin: jag förstår förvirringen, det är inte helt lätt detta. Jag vill bara börja med att understryka att jag bara återger det som flera ledande forskare på området skrivit, det är inget som jag bara hittat på i den här diskussionen. Vad som är viktigt att ha med sig är att själva typen av subtest i sig inte verkar spela någon större roll, du kan välja ut 10 slumpvis subtest av 100 olika och oavsett vilka du väljer så kommer de förutsäga din g-faktor ungefär lika bra. Därför spelar det ingen roll om testet i fråga ser ut att mäta något som verkar vara relevant för området de skall predicera, det är nämligen dess g-laddning som har det prediktiva värdet och oavsett vilken typ av test du gör (alltså oavsett vilka subtest du har med) så kommer dess prediktiva förmåga komma ur dess korrelation med g-faktorn. Om jag förstått det hela rätt så kan vi alltså göra ett iq-test, där vi tar bort alla subtest som ökat genom flynn-effekten, och bara behålla de som inte ökat, och fortfarande ha samma prediktiva förmåga. Jag tror det blev tydligare så.
Ja, höjden har ökat rejält nu när alla får tillgång till tillräckligt med näring. Nu avgörs höjden alltså nästan uteslutande av genetik (precis som g-faktorn verkar göra). Jag vet inte om detta är en lyckad liknelse men om vi säger att kvinnor av evolutionär anledning föredrar längre män så kommer kvinnor fortfarande gilla relativt längre män trots att alla blivit 10 cm längre (de som tidigare var 169cm och nu blivit 179cm är fortfarande mindre populära än de som tidigare var 179cm och nu är 189) för det är inte den absoluta längden i sig som är viktig utan vad relativ längd korrelerat med för evolutionärt positiva egenskaper.
För att faktor loading skall variera över tid så måste korrelationen ändras, inte dess absoluta värden. Jag vågar nog påstå att det är så gott som total samstämmighet i forskningsvärden (givetvis finns det säkert något undantag) att g-faktorn är det vi i vanliga fall avser med intelligens och att detta är ett empiriskt fenomen som existerar bortom våra försök att mäta den (det är ingen artefakt av de statistiska metoder vi använder).