En vanlig invändning mot IQ-test är att de inte bara mäter intelligens, utan också motivation att göra bra ifrån sig. Att detta är en relevant invändning visas i en studie som nyligen publicerades i den prestigefulla tidskriften PNAS (se även den här artikeln och den här uppsatsen).
Författarna bakom studien gör dels en metastudie av en stor mängd tidigare studier som alla fokuserar på effekten av incitament för resultat på IQ-test. Metastudien visar att incitament spelar stor roll för hur bra man presterar på ett IQ-test, vilket särskilt gäller de med låg IQ.
I den andra delen av studien låter författarna tre personer oberoende av varandra bedöma motivationen hos tonåringar som skriver ett IQ-test utifrån videoupptagningar av ungdomarna (och utan att informera bedömarna om barnens resultat och studiens hypotes). Därefter undersökte de hur graden av motivation och IQ samvarierade med bland annat utbildningslängd, arbetslöshet och brottslighet cirka 10 år senare.
IQ samvarierar i vanlig ordning starkt med senare livsutfall. Men det finns också ett starkt samband mellan IQ-resultatet och motivationsbedömningen — återigen särskilt för de med låg IQ. Både intelligens- och motivationsdelen av IQ-resultatet visade sig vara viktiga för att förutsäga framtida utfall.
Slutsatsen av den här studien är inte att IQ är ett dåligt eller oviktigt mått för att förutsäga framtida utfall, men att vi inte bara ska tolka det som ett mått på intelligens, utan även motivation. Detta är för övrigt i linje med en trend inom nationalekonomi att betona vikten av icke-kognitiv förmåga (med vilket i princip avses allt utom IQ). Ett färskt exempel är en studie av Erik Lindqvist och Roine Vestman som visar att mönstringspsykologens bedömning av “plikttjänstförmåga” är viktigare för att undvika dåliga arbetsmarknadsutfall än resultaten från ett IQ-liknande test.
Ekonomistas 
Intressant. Fast jag är lite förvånad över slutklämmen, för militärtjänstens psykologbedömning måste väl vara öppen för samma typ av tolkningsproblem.
Den citerade studien av Lindqvist och Roine är väl ett bra exempel på en intressant studie som kanske ändå övertolkar sina resultat något. Slutsatserna presenteras som om de faktiskt gällde ickekognitiva förmågor trots att de lika väl kan mäta viljan att göra militärtjänsten – eller interaktioner med fysisk förmåga eftersom vi fysiska vrak undersöktes väldigt hastigt – vilket fortfarande är intressant, men inte detsamma som icke-kognitiva förmågor.
Av de skäl som du lyfter fram tror jag att man ska vara mycket försiktig med att tolka de numera mycket populära militärtesten (men inte alls avfärda, exakt som du skriver) generellt sett. Men jag tror (vi vet förståss inte än) att det gäller ännu mer för den icke-kognitiva delen av testerna.
Ett problem med IQ-test är ju att om man har gjort ett IQ-test en gång, och sedan gör ett annat IQ-test en vecka senare, så får man ett mycket bättre resultat andra gången än man fick första gången.
I någon mening mäter väl i stort nästintill sett alla frivilliga test “motivation” utöver det man försöker mäta?
Vidare är det väl inte orimligt att se “motivation att utföra en given uppgift” som en delmängd i begreppet intelligens? Intelligens är ju iallafall ingen väldefinierad fysikalisk storhet det blir ju vad vi gör den till.
Om vi med intelligens bestämmer oss för att avse IQ så är det så. Om vi med intelligens menar något annat än IQ så är det föga intressant eller förvånande att det finns andra faktorer som spelar in?
Det blir lätt lite löjligt för att det handlar om ett känsligt område som intelligens. Om man istället pratar om t.ex. kondition så är det ingen som får för sig för att slå på stora trumman när man konstaterat att “motivation” är en viktig faktor i utfallet på ett beep-test. IQ-testet är analogt – det mäter IQ – varken mer eller mindre.
Givetvis är detta närbesläktat med det vi i dagligt tal kallar intelligens, men då ingen rigorös definition finns så är det heller inte hela sanningen analogt med hur beep-testet är närbesläktat till det vi kallar kondition men inte är hela sanningen.
Föga förvånande och närmast trivialt resultat.
Man kan definiera intelligens som förmågan att resonera spatialt och lösa logiska problem etcetera. Eftersom det inte är direkt mätbart blir det en latent variabel i mätningarna.
Resultaten blir intressanta därför att motivation är ett personlighetsdrag, och något man möjligen mäter på andra sätt. Därför kan det sabotera skattningar om det vi trodde var intelligens egentligen också innehåller element av personlighet.
I applikationer blir det intressant eftersom olika drag såsom intelligens eller personlighet kan vara mer eller mindre påverkbara, alternativt påverkbara på olika sätt. Om vi vet bättre vad vi mäter kan det vara lättare att konstruera lösningar och förbättringar.
För att jämföra med ditt exempel. Jag tror ingen skulle hävda att beeptestresultatet “är” kondition. De flesta skulle nog säga att kondition är en interaktion mellan muskelförmåga, hjärt- och lungkapacitet. Få skulle säga att “jävlaranamma” är kondition.
Detta spelar stor roll, eftersom muskler, hjärt och lungkapacitet kommer vara detsamma även i situationer när man är motiverad, så om dessa är grunden kommer resultaten vara desamma när man springer ifrån ett djur. Dessutom skulle bättre insikter i vad beeptestet mäter leda till att man vet om man ska satsa på mental eller fysisk träning.
Om du hade läst artikeln hade du dessutom sett att det intressanta var den systematiska skillnaden mellan hög/låg-IQ personer, och att detta påverkade skattningarna av intelligens effekt på livsutfall..
För mig skulle förutsättningen för ett fungerande IQ-test behöva ge samma svar varje gång. vilket nuvarande tester inte gör. Det i sin tur innebär att IQ-testen inte mäter det de borde göra. Vilket i sin tur leder till att resultaten inte alls är tillförlitliga och att användningen av testet i olika skattningar blir minst sagt otillfredsställande för att inte säga nästan humbug.
Man kan ju kolla hur stor skillnad i svar det är mellan varje gång, och därmed få en numerisk skattning av testets reliabilitet. Detta kan sedan användas i statistiska undersökningar för att korrigera konfidensintervall och dylikt för den osäkerhet du säger.
Svaret på din fråga är att variation mellan olika gånger inte automatiskt gör att testen är humbug, eftersom det går att skatta numeriskt hur stort fel detta skapar.
Psykologiska test som _inte_ redovisar data för reliabilitet och validitet är med stor säkerhet humbug.
@cosmoskitten: Sant förvisso, men vad är bäringen på diskussionen. Iq redovisar väl dessa?
HM: Poängen var att alla psykologiska test har en variation (reliabilitet under 1). IQ test har bra reliabilitet.
Det är när testkonstruktörerna inte redovisar variation som man bör osäkra sin revolver.
Om jag lät vresig, så var det för jag tänkte på arbetspsykologiska tester, där svensk praxis (åtminstone tidigare) var under all kritik. (Scientologibaserade test, direktöversatta test som inte prövats ut på svenska, grafologi, etc.)
(Kunde tyvärr inte svara direkt på din post)
Precis som HM säger så går det faktiskt att skatta reabiliteten hos intelligenstest, och gör man det visar det sig att den generellt sett är rätt hög – omkring 0,9. För inskrivningsprovet till mönstringen, vilket liknar ett generellt begåvningstest, uppskattade jag och Roine reabiliteten till ungefär 0,87 genom att använda tvillingdata. Självklart fångar intelligenstest inte enbart ren intelligens (vilket ju Roberts bloggpost också visar), men oavsett vad de fångar så gör det det med rätt hög tillförlitlighet, d v s resultaten vid ett givet testtillfälle ger en mycket god prognos för resultatet på ett liknande test under liknande förutsättningar vid ett annat testtillfälle. Det är alltså knappast frågan om “humbug” som Kristian påstår.
Det faktum att reabiliteten inte är 1 gör också att vi tenderar att underskatta korrelationen mellan prestation på intelligenstest och olika typer av utfall.
För att spinna vidare på Eriks kommentar om reliabiliteten så kan man även notera att korrelationen mellan mönstringens IQ-test i 18-19 års ålder och ett liknande test i 13-årsåldern (low stakes) ligger kring 0.86.
Något mått på högskoleprovets och inskrivningsprovets korrelation? Borde väl också vara rätt hög?
Enligt en säker källa är korrelationen mellan mönstrings-IQ och högskoleprovet 0.63 bland de 30% män födda 1972-1979 som skrivit högskoleprovet. Korrelationen mellan högskoleprov och psykologutvärderingen är i samma urval 0.03. Intressant är att korrelationen mellan mönstrings-IQ och psykologens utvärdering ligger kring 0.35.
Någon hypotes varför det nästan inte alls finns någon korrelation mellan HP och psykologutvärderingen? Den siffran var ju annars anmärkningsvärt låg.
Som jag minns det (det var inte så väldigt många år sen för min del) så var den “psykologiska utvärderingen” inte särskilt utförligt, av naturliga anledningar. Man kan inte analysera en människa på 20 minuter eller hur lång tid det nu var man pratade med honom. Och man behövde ju definitivt inte hålla sig till sanningen om det nu var så att man verkligen ville få en bra tjänst. Så den psykologiska utvärderingen kanske man inte ska dra så stora slutsatser av.
Andreas,
Det är naturligtvis sant att mönstringsprovet inte ger en fullständig bild av en människa. De mönstrandes motivation kan naturligtvis också påverka utfallet, trots att instruktionerna till psykologerna säger att man inte ska ta hänsyn till mönstrandes motivation.
Likväl är sannolikheten att hamna utanför arbetsmarknaden dramatiskt mycket högre för män som får låga poäng hos mönstringspsykologerna. Detta resultat verkar inte heller drivas av att psykolgutvärderingen är korrelerad med intelligens eller hälsa (vilket var en aspekt som nämndes tidigare i kommentatorsfältet). I mitt tycke är den rimligaste förklaringen till dessa resultat att psykolgintervjun faktiskt fångar personliga egenskaper som värderas på arbetsmarknaden men som inte låter sig mätas särskilt väl med till exempel ett intelligenstest.
Det kan också vara värt att påpeka i sammanhanget att psykologernas bedömning av de mönstrande är tämligen samstämmig (korrelationen är 0,85 när man låtit psykologer bedöma samma värnpliktiga utifrån förinspelade intervjuer).
Okej. Tur att statistiska samband bara gäller för genomsnittet och inte för den enskilda individen 🙂
Jag tror jag fick ganska “låga” poäng hos psykologen.
En hypotes kring den låga korrelationen mellan högskoleprovsresultat och bedömd plikttjänstförmåga:
Det är inte ett representativt urval som skriver högskoleprovet. De med lägst psykologskattning är rimligtvis mindre intresserade av högskolan och högskoleprov. De med högst psykologskattning har oftare de betyg som krävs för att komma in på önskad utbildning ändå, och är mindre benägna att skriva högskoleprovet flera gånger.
(Skillnaden mellan högskoleprov och betyg är ju att det senare är mer multidimensionellt och bland annat mäter sittfläsk/självdisciplin och social förmåga; bägge rimligen starkt korrelerade med plikttjänstförmåga.)
Bara en gissning; Eriks och Jonas data kan förstås slå den i småsmulor.
Per S har helt rätt. Som jag skrivit om tidigare finns det en positiv korrelation mellan psykologtestet och betyg men ingen sådan korrelation mellan högskoleprovresultat och psykologtestet. Det faktum att man skriver hskprovet är en signal om ett högre psykologresultat än genomsnittet.
Hur definierar de “låg IQ” i studien?
Standard IQ-tester mäter logiskt tänkande, vilket en gång i tiden var vad man kallade intellekt.
Intelligens är något helt annat i språkbruk idag, det vore mer passande att kalla IQ-tester för logiktester.