Opålitliga forskningsresultat om intelligens

Hur pålitliga är vetenskapliga resultat? Felkällorna är många och gäller allt från medveten manipulation av data till mer vardagliga synder som att inte rapportera motsägande resultat. Ett av de allra största problemen är förmodligen publiceringsbias, d.v.s. att det är betydligt svårare att publicera nollresultat. Detta gör både att nollresultat inte uppmärksammas tillräckligt, men också att forskare helt enkelt undviker att studera områden där de riskerar att hitta nollresultat. Detta kan i värsta fall leda till att publicerade forskningsresultat kan bli mycket missvisande.

En kommande artikel i Psychological Science — där bland andra de svenska nationalekonomerna Magnus Johannesson och David Cesarini medverkar — visar att publiceringsbias tycks vara ett problem när det gäller forskning som försöker hitta genetiska markörer för intelligens. Författarna bakom studien har satt samman ett jämförelsevis väldigt stort datamaterial för övertygande kunna påvisa sina nollresultat.

De undersöker 12 kandidatgener som tidigare visats samvariera med intelligens (med fantasieggande namn som rs2766011), men hittar bara en enda statistiskt signifikant genetisk markör (på 5-procentsnivån före korrigering för att man testat flera hypoteser!). Detta ska inte tolkas som att gener inte spelar roll för intelligens. Intelligens är ett komplext fenomen som beror på samverkan mellan en mängd olika genetiska och miljöfaktorer och inflytandet av enskilda gener är därför litet.

Budskapet när det gäller publiceringsbias är tydligt. Tidigare studier — som bygger på ett mycket mindre antal försökspersoner — har helt enkelt inte haft tillräcklig statistisk styrka för att tillförlitligt kunna belägga de svaga samband de är intresserade av. Slumpen har dock gjort att vissa resultat visat sig vara statistiskt signifikanta och det är dessa resultat som har publicerats. Förmodligen har man undersökt ett stort antal tänkbara gener, men bara rapporterat de som visat positiva resultat. Detta har resulterat i att en stor mängd publicerad forskning sammantaget givit en helt missvisande bild av verkligheten.

Comments

  1. Thomas Sowell, i ”Race and Culture” diskuterar intelligens hos olika befolkningsgrupper. Jag har den inte framför mig, men medelintelligensen hos fattiga invandrargrupper under första världskriget, italienare bl a, var kring 80 eller lägre. Efterhand, när dessa grupper integrerades och blev mer välmående försvann de.
    Man vet ju inte ens hur homosexualitet kommer till, och där är resultatet tämligen binärt (även om det verkar som om det finns olika sorters), så intelligens torde vara mycket mer komplicerat.
    Dessutom, så vet vi numera att vi inte har någon jättedator i skallen, utan att hjärnan är uppbyggd i massor av specialiserade moduler. Så beroende på vad man mäter får man olika resultat.
    Intelligenstest tar (lite) hänsyn till sådant. Här är jag rakt ingen expert, men det finns t ex språkliga och mer matematiska delar av IQ-test. Dessa viktas så att kvinnor och män i medel får samma IQ. Detta trots att kvinnor i medel är mer språkligt begåvade och män har bättre rymdkänsla (som hänger ihop med matematisk färdighet).

  2. Som sagt, det behövs sannerligen en ”Journal of Insignificant Findings” för att tillgodose behovet av en rejäl överblick över områden.

  3. Detta med att ekonomers intresse för genetik begränsar sig till…kognition…Varför är ni besatta av det? Varför inte genetiken bakom tex diabetes eller alkoholism. Bakom denna genetiska lilla fetich tycker jag mig ana att det döljs en osund längtan i till att kunna berättiga inkomstskillnader, och framför allt vill man berättiga varför dessa borde gå i arv. Klass-samhället, den nya rasbiologins darling. Nu har jag dåliga nyheter för folk med denhär sortens våta drömmar. Bara för att någontin är genetiskt betingat betyder det inte att det är genetiskt ärftligt. Förklarar mig närmare här. http://nymnchen.blogspot.com/2011/12/om-arftlighet-intelligens-och-policy.html

    • Nu är det ju ganska svårt att ta din kommentar på allvar, men man kan ju ana att just kognition har ett bredare anslag för sådant som ekonomer vanligtvis studerar än vad diabetes och alkoholism har.

      • Dennis, eftersom det helt uppenbart inte finns gener som korrelerar med kognition (man har letat med ljust och lykta länge) så är det en mycket underlig fetish, ja. Både alkoholism och diabetes har större påverkan på produktiviteten och kan dessutom behandlas. Sen finns det ju genetiskt betingade beteendefaktorer som risktagande, aggressivitet och resiliance som har minst lika ”breda anslag” och som förmodligen beror på färre gener. Besattheten är inte rationell utan slentrianideologisk. (ville du att jag skulle göra någonting åt att du inte kan ta min kommentar på allvar, eller ville du bara allmänt skriva av dig?)

      • Förlåt, jag skulle förstås förklarat varför din kommentar var svår att ta på allvar. Beteendeekonomi och neuroekonomi är två relativt små fält inom ekonomiämnet, och en del av dem är intresserade av genetik. Kognition torde vara ett centralt ämne för både beteende- och neuroekonomer, på samma sätt som t.ex. risk är det. Personligen är jag inte så säker på att de som är intresserade av genetik enbart studerar kognition, så sent som för någon dagen så sågade någon i mitt twitter-flöde en artikel som handlade om neuroekonomi, gener och Wall Street-traders, artikeln handlade vad det verkade minst lika mycket om risk-tagande. Jag är inte heller så säker på att beteende- och neuroekonomer borde intressera sig av sjukdomar som diabetes och alkoholism, däremot gör hälsoekonomer det (i vilken mån de intresserar sig av genetiken vet jag inte).

        Problemet var alltså att din kommentar inte sade särskilt mycket om vad ekonomer sysslar med, utan om din bild av ekonomer. Du väljer att använda ord som fetisher, våta drömmar och besatthet trots att det handlar om en högst begränsad förekomst. Vidare har dessa forskare inte fel i någon utsträckning som de flesta människor har fel, utan deras motiv ligger bakom det hela.

        Jag tycker inte att din beskrivning av ekonomiämnet och ekonomer är särskilt rationell, det kanske är tillåtet att undra om det inte är slentrianideologi som ligger bakom din kommentar.

      • Dennis;
        detta att skillnader i produktivitet (hälsa, utbildning och kognitiv förmåga hänger alltså ihop) skulle vara genetiskt betingade och att slaskgenerna ansamlats underklassen, som därför inte lyckas i dagens rådande meritokrati, det är tankegods jag har stött på ofta bland ekonomer. Bland annat här när jag för något år sedan diskuterade hälsoskillnader och socioekonomisk status (Jag tror bla Mats Persson, professor i nationalekonomi uttryckte sin skepsis över att utfallet skulle bero på socioekonomisk status, snarare än ärvda genetiska faktorer). Jag förstår att liberala högutbildade höginkomsttagare hellre tror att de har de bästa (ärvda) genetiska förutsättningarna för sin överlägsna position, snarare än att de råkat ärvt de sociala förutsättningarna (och därför kunnat köra om de mer genetiskt lämpade från sämre samhällsklasser). Jag fattar att det känns mer rättvist så och att man gärna letar efter vetenskapliga stöd för den uppfattningen. Det är min uppfattning om de flesta nationalekonomer, och den är rationell utifrån det urval den baserats på.
        Det finns en viss grupp människor som inte kan ta några tankegångar som inte framförs på kanslisvenska på allvar (kan det vara genetiskt?). Jag har svårt att ta dem på allvar.

      • Andreas SO says:

        Och så finns det vissa som kommenterar orsaker till finanskrisen och övriga ekonomiska ämnen trots att de inte är ekonomer. Snacka om att kasta sten i glashus…

      • Åsa Hidmark says:

        Andreas; Jag förstår att det måste vara frustrerande att vara ekonom in en forskningsmiljö som varken förusåg, förebyggde eller lyckades komma fram till en konsensusanalys när det gäller finanskrisen. Med det track-recordet menar du alltså att ekonomisk analys gjord av ekonomer inte ens får diskuteras av resten av samhället? Är detta din personliga uppfattning eller uttryck för en allmän konsensus bland resten av ekonomerna?
        Skillnaden mellan er ”forskning” och min forskning är att ekonomiska samhällsanalyser aldrig kommer att påverka utfallet inom genetiken (sorry…!), medan, som Robert påpekade, så åtminstone borde slutsatser inom genetiken påverka de ekonomiska samhällsanalyserna. Därför har naturvetare en naturlig röst inom politiken/ekonomi, men symmetri föreligger alltså inte. Jag förstår att det känns bittert, men åtminstone försök bära det med en gnutta värdighet!

      • Andreas SO says:

        Jag är inte forskare inom nationalekonomi och utalar mig hellre inte självsäkert om sånt jag inte vet något om. Se och lär.
        Det är föga förvånande med tanke på din historik på den här forumet, men du förstår i vanlig ordning inte hur komplext vårt ekonomiska system är. Att du tror att man skulle kunna komma fram till någon slags ”koncensusanalys” är skrattretande och knappt värt att besvara. Håll dig till det du kan och sluta kommentera sånt du inte vet något om.
        Du är oerhört arrogant och en fruktansvärt otrevlig person. Så du är nog inte rätt person att prata om värdighet…

      • Åsa Hidmark says:

        Andreas,
        jag tycker att du ska försöka hålla dig till en viss grundläggande etikett och inte kasta skällsord omkring dig när argumenten tryter. Vill du förolämpa mig kan du göra det på min blogg; Ekonomistas har gjort klart att man inte accepterar personangrepp. Det tycker jag du kan försöka respektera om du vill skriva här.

      • Andreas SO says:

        Åsa,
        Jag förstår ingenting. Talar du för ekonomistas? Jag har inte förolämpat dig mer än du förolämpar mig så det du skriver är bara fånigt och det vet du själv. Din blogg är uppbyggd på personangrepp så därför vill jag inte besöka den. Jag tycker att du ska försöka hålla dig till en viss grundläggande etikett.

      • Andreas SO says:

        Dessutom verkar det som att man måste ha OpenId och allt vad det heter för att skriva på din blogg och det orkar jag inte skaffa

    • Tänk, jag har alltid fått uppfattningen att det framförallt var genetiker som ägnade sin tid åt att finna kopplingar mellan genetik och diverse storheter.

      • Andreas; jag vet. Jag syftade inte på att Robert eller vänstern skulle ”osund längtan i till att kunna berättiga inkomstskillnader”. Jag syftade på en osund fetichism inom fältet (nationalekonomin) för genetiken bakom kognition, som Robert behjärtansvärt försöker bemöta/oskadliggöra (genom att påpeka att spekulationer om den kognitiva förmågan genetiska ärftlighet är helt ounderbyggda). Jag tycker vi istället borde prata om VARFÖR det behovet att påpeka detta för nationalekonomer ens existerar.

      • Jonas;
        Du, det skulle man ju kunnat tänka sig eftersom det är genetiker och inte nationalekonomer som är utbildade i att studera kopplingen mellan genetik och diverse fenotyper. Men att nationalekonomer inte har någon som helst kunskap inom ett fält har aldrig någonsin stoppat dem från att vara experter i sagda fält. Den nationalekonomiska (neoliberala) fetichismen för spekulationer i kognitionens genetik kan man studera bla här http://www.jasoncollins.org/2011/09/the-genetic-and-social-lottery/

      • piropiro says:

        Det verkar inte som att din befogade kritik fastnar. Vilket är synd.

    • pontus says:

      Åsa, jag gjorde en liten snabb googling på the genetics of IQ, och den typen av konsensus du åberopar verkar verkligen inte existera. Läs tillexempel:

      http://en.wikipedia.org/wiki/Heritability_of_IQ

      Att man inte har kunnat hitta vilka gener som korrelerar med IQ är förstås en helt annan fråga. Din argumentation påminner om kreationisternas ”argument of gaps”: Pilutta er, ni kan inte konklusivt bevisa big-bang alltså existerar den kristna guden såsom den är beskriven i bibeln. Wtf?

      Sen så är dina påhopp på ekonomer är bara löjliga. Hur många influensor (fågel, fisk eller mittemellan) har inte ni epidemiologer förutspått de senaste åren som bara visat sig vara nys? Detta efter extremt kostsamma, och i efterhand skadliga, massvaccineringar. Tillochmed den Hippokratiska eden verkar ha flugit ut genom fönstret hos detta gäng lallare.

      Och Åsa, du använder ofta dina titlar och din tjänst som forskare för att ge stöd för dina påståenden. Andra bör, enligt dig, hålla käften. Trots det är du mer eller mindre helt osynlig på google. Inget CV, ingen sida som påvisar någon anställning. Och enligt google scholar, ett väldigt modest h-index på ringa 7. Det är verkligen ingen tungviktare på sitt område vi har att göra med. Den saken är klar.

      Ståta med lånta fjädrar är ett gammalt uttryck som kommer till minnes …

      • Åsa Hidmark says:

        Pontus;
        Hade du orkat läsa blogginlägget hade du sätt att jag inte alls ifrågasätter den som finns konsensus bland forskare att skillnader i kongnitiv förmåga mellan individer med likartad uppväxt (som tvillingar) är till stor (största delen) genetisk (vad skulle det annars vara? ”den fria viljan”? hahaha). Det finns inte heller några tvivel om att barns IQ korrelerar med deras föräldrars (ffa mödrars) IQ. Det jag påpekar är att det saknas studier som visar om och isf till hur stor del denna ärftlighet är genetisk. (det är alltså helt och hållet en missuppfattning att jag hävdar att avsaknad av alleler som korrelerar med kognitiv förmåga skulle vara bevis för att den inte existerar, det är din alldeles egna tankevurpa). Ett sätt att studera genetiskt arv av kognition utan att inflytande av det sociala arvet skulle tex kunna vara genom att undersöka hur spermadonatorers kognitiva förmåga korrelerar med deras avkommas kognitiva förmåga (och med ev genotyper från fadern), men några sådana studier har jag alltså inte hittat (och jag har letat).
        Nu kan man ju dra slutsatsen att om någonting är genetiskt betinga och ärftligt så är det för att man äver gener. Det är ju tråkigt för mig att igen behöva rapa upp förklaringen från mitt blogginlägg, men det var på engelska så det kanske inte var helt lätt att förstå: Fenotyper som beror på samspelet mellan ett stort antal gener (som kognition) är alltså beroende av samspelet mellan olika genvarianter. Dvs en genvariant som förbättrar kognition in en viss gen-miljö kan mycket väl vara problematisk när den kombineras med andra genotyper.

        Nej, jag har inte diskuterat min forskning eller min titel, eftersom de är helt oviktiga i sammanhanget. Vem som helst kan leta reda på studier som visar på intergenerationell genetisk ärftlighet och posta länken här i kommentarsfältet. Var så god, kör bara, jag ser fram emot dina (vetenskapligt underbyggda) argument! Jag vänder mig bara emot att ekonomer gör slentrianmässiga antaganden inom genetik utan att lägga fram referenser.

        (Om du fortfarande av någon outgrundlig anledning är intresserad av mina forskningsmeriter så kan jag tipsa om att inom medicinsk forskning brukar vi hitta på dem på pubmed.com. Man skriver in mitt efternamn i sökfältet och trycker på ”Search”-knappen. Ett annat tips är att alla avhandlingar från Karolinska Institutet finns att ladda ner som .pdf. Enjoy!).

      • pontus says:

        Oj Åsa. Först och främst kan jag säga att jag är djupt ointresserad av din forskning, och din avhandling. Och enligt scholar, så verkar min bild här delas av dina kollegor! Däremot var jag intresserad av vem personen som åberopar sin auktoritet om och om igen på området egentligen var. Ingen alls, visade det sig. En akademisk flugviktare. Men det är väl som man säger: Tomma tunnar skramlar mest.

        Nå. Det intressanta med tvillingstudier är givetvis att titta på tvillingar som har blivit separerade vid födseln. Om du hade bemödat dig att läsa innantill så hade du sett på artikeln jag länkade till att:

        ”There are some family effects on the IQ of children, accounting for up to a quarter of the variance. However, adoption studies show that by adulthood adoptive siblings aren’t more similar in IQ than strangers, while adult full siblings show an IQ correlation of 0.6. Conventional twin studies reinforce this pattern: monozygotic (identical) twins raised separately are highly similar in IQ (0.86), more so than dizygotic (fraternal) twins raised together (0.6) and much more than adoptive siblings (~0.0)”

        Det är ju fullständigt slående resultat. Adopterade barns kognitiva funktioner korrelerar lika väl med fullständiga främlingar som med deras syskon. Tvillingar som är separerade har en korrelation på 0.8.

        Kan man verkligen påstå, som du gör, ”att det saknas studier som visar om och isf till hur stor del denna ärftlighet är genetisk” när det finns tusentals? På vilket sätt skulle spermadonatorer identifiera ärftligheten bättre än just separerade tvillingar, eller adoptivbarn?

  4. Andreas SO says:

    Åsa:
    Robert Östling är en av tolv författare till boken ”Nationalekonomi för vänstern” och har enligt wikipedia varit ordförande för Socialdemokratiska ekonomklubben. Så det betyder alltså att vänstern har en ”osund längtan i till att kunna berättiga inkomstskillnader”…

  5. Åsa, det finns säkerligen en del ekonomer som är intresserad av intelligensens genetik av de skäl som du anger (men jag hör sannerligen inte till dem). Men jag tycker både du och många andra drar den förhastade slutsatsen att om inkomstskillnader så att säga skulle visas vara ”genetiskt ärtfliga” så skulle detta rättfärdiga dessa inkomstskillnader. Är det inte snarare tvärtom? Ingen tycker väl att det är särskilt rättvist att någon som föds med en grav funktionsnedsättning får ett sämre liv än någon som inte gör det? Jag tror snarare att viljan att omfördela skulle öka ju mer ärftligt vi visar att inkomst är.

    Däremot skulle det möjligtvis ha implikationer för kostnaden för omfördelning genom att göra omfördelning mer kostsamt. Men inte heller det är självfallet. Synfel är till stor del ärftligt, men det har vi funnit sätt att kompensera i princip fullt ut för, kanske kommer vi hitta liknande verktyg när det gäller kognitiva förmågor (vilket skulle kunna minska inkomstskillnaderna). Dessutom öppnar detta forskningsfält också upp för att vi skulle kunna betinga inkomstskatter på genetiska variabler som påverkar vår inkomst och som står utanför vår kontroll. Sådana omfördelande skatter skulle inte ha några negativa incitamentseffekter och omfördelning skulle därmed bli billigare.

    Om frågan egentligen rörde mitt motiv för att skriva inlägget så var det bara på grund av mitt intresse för publiceringsbias. Jag hade hört talas om studien via en av författarna, men var tvungen att läsa den igen för att påminna mig om att det var just intelligens som var utfallsvariabeln.

    • Robert, mina kommenterer här är inte på något sätt en kritik emot ditt inlägg i sig (se mitt svar till Andreas).
      Det du efterlyser, att anpassa samhället efter våra förutsättningar (som alla är produkter av samspelet mellan arv och miljö) förutsätter inte alls att vi fördjupar oss i kognitionsgenetik. Det är en ghosthunt. Det finns en massa markörer (biologiska och sociala) för att avgöra vilka som får bäst hjälp och hur. Tex, vi behöver inte känna till vilka gener som orsaka tex ADHD för att identifiera riskgrupper/riskbeteende och att sätta in behandling/stöd i tid. Det finns tex tidiga markörer på barns sifferuppfattning som korrelerar med senare utbildningsframgång. Man kan titta på kortisol i morgonsaliven, i framtiden epigenetiska marköre eller varför inte helt enkelt på föräldrarnas självuppfattade socioekonomiska status? Du vet lika väl som jag att den socioekonomiska bakgrunden under barndomen har ett mycket större värde för att förutsäga kognition/inkomst/utbildning/livslängd och hälsa än några gener kopplade till kognition någonsin kommer kunna ha. Det fattar alla som läser här, tror jag. (till alla som läser här kan påpekas att det inte finns en enda gen associerad med socioekonomisk bakgrund)
      Så, att istället för att fundera på om det finns en genetisk elit bland intelligenta höginkomsttagare tycker jag att ekonomerna ska göra som du föreslår och fundera över kostnaderna det innebär att epigenetiskt rista in låg socioekonomisk klass i små barns genuttryck.

      • jag onskar att jag hade forstatt en hel mening i det har inlagget…

      • e.lind says:

        Åsa,

        Känner du till nobelpristagarens James Heckmans forskning?

        Han bedriver flera projekt för att analysera uppkomsten av ojämlikhet och åtgärder för mildra dess effekter. Han skriver:

        ”I seek collaboration with economists, psychologists, neuroscientists, sociologists and statisticians doing serious research on the origins of human inequality and the effectiveness of remediation. There are many diverse aspects of this work. They can be unified under the rubric of the technology of capacity formation. Many details need to be worked out, but the vision is clear. A strong interdisciplinary effort is required.”

        The Origins and Remediation of Human Inequality

  6. David N says:

    Haha,
    Är det inte jävligt magstarkt att som ekonom uttala sig negativt om den vetenskapliga modellen ?
    En hel yrkeskår som som i många fall kan ersättas av en apa som kastar pil, utan att någon skulle märka nån skillnad. En yrkeskår till synes utan grundläggande matematiska kunskaper samt baserad på antagandet om att en exponetiell utveckling är långsiktigt hållbar.
    Själv har jag läst en hel del totalt intetsägande papers från vår kära ekonomiska ”expertis” i landet.

  7. Hej Åsa!

    Jag uppskattar din frejdiga debattstil och tackar för dina informativa inlägg. Dock är den medicinska vetenskapen långt ifrån perfekt (mer än i teorin). Här kan du läsa mer om de problem som den brottas med:

    http://www.theatlantic.com/magazine/archive/2010/11/lies-damned-lies-and-medical-science/8269/

  8. rettaw says:

    Eftersom den inte nämts än, och exakt illustrerar vad texten diskuterar: http://xkcd.com/882/

  9. kapten haddock says:

    rettaw, jag trodde du hade denna http://xkcd.com/386/ i åtanke 🙂

    Sen har Åsa rätt i att det finns ekonomer som pratar om att skillnaden i studieresultat kan bero på genetik. Här är ett exempel:
    http://gregmankiw.blogspot.com/2009/08/least-surprising-correlation-of-all.html

    I mina öron låter den genetiska hypotesen helt absurd; hur en människa lyckas i livet beror på en lång rad faktorer, tur bland annat. Framgångsrika män väljer ibland partner efter utseende snarare än intelligens. I varje generation sker en omkombination av generna, så även två föräldrar med anlag för hög intelligens kan ej vara säkra på att alla deras barn kommer att ha anlag för intelligens. Sen brukar även relativt ointelligenta barn av föräldrar med högstatusyrken lyckas hitta karriärer som tillåter dem att stanna i medelklassen. För att skapa en subpopulation som genetiskt avviker från huvudpopulationen krävs noggrannt urval och sortering i många generationer.

    Däremot tror jag att Åsa skulle vinna på att tänka över hur hon lägger upp sin argumentation. Att vända sig mot ekonomer i allmänhet är kanske inte så effektivt, bättre i så fall att göra tydligt vem hon argumenterar mot och var åsikten presenterades. Sen tror jag inte att det bara beror på henne att den här tråden har urartat i allmän pajkastning.

Trackbacks

  1. […] forskning Written by Johan on February 2, 2012 – 6:00 pm Robert Östling uppmärksammar ett potentiellt viktigt problem när det gäller att lista ut vad forskningen säger: Hur […]

  2. […] skrev jag om en ny studie som tyder på att publiceringsbias gjort att publicerad forskning om gener och intelligens […]

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s