Vi har skrivit det förut och kommer att skriva det igen: korrelation och kausalitet är inte samma sak. Detta kan vara värt att påminna om när medierna rapporterar om att mer grönsaker leder till högre betyg. Eftersom kostvanor samvarierar med en mängd sociala faktorer som i sig är relaterade till skolresultat säger studien faktiskt ingenting.
Man undrar hur en så pass ansedd tidskrift som Pediatrics kan få för sig att publicera en studie som helt saknar informationsvärde? Dessutom är det fascinerande att läkare — som rimligen är vana vid dubbelblinda kliniska studier — utan att rodna kan presentera dylika resultat som om de beskriver orsakssamband.
Läs förresten gärna vad Aid Watchers skriver om den tveksamma kvaliteten på mycket av den samhällsforskning som publiceras i medicinska tidsskrifter och den okritiska hållningen media oftast intar inför de presenterade resultaten.
Ekonomistas 
Tyvärr är det så att metodik och statistik är en bristvara i dagens utbildningssverige.
Många utbildningar (pedagogik, humaniora) klarar man sig igenom till höga examina utan att ha den blekaste aning om de mest fundamentala begreppen.
Sedan bli forskningen ofta därefefter; kvalitativ, utan fokus och intressanta frågeställningar, deskriptiva upplevelsestudier som kan vara intressanta i sig, men som inte ger praktiker någon som helst vägledning.
Det tål absolut att upprepas att korrelation inte är samma sak som kausalitet. Dagstidningar som i övrigt håller hög kvalitet t.ex. DN har ofta ett okritiskt förhållningssätt till detta.
Tack för intressanta länkar, Jonas.
Det här kan aldrig sägas för ofta.
Att inte kunna skilja på kausalitet och korrelation borde genast diskvalificera en som forskare.
Jag har själv i olika sammanhang tagit upp problemet på min blogg;
Det verkar inte bara vara traditionella massmedier som är förvirrade:
“Resultaten av studien visar, enligt forskarna, hur viktigt det är med bra skolmat och goda matvanor i hemmet för att ge ungdomar en bra start i livet. Deras förhoppning är att folatens betydelse ska tydliggöras i de råd och rekommendationer runt kost som ges till både föräldrar och skola.”
http://www.oru.se/Nyheter/Forskningsnyheter/Ny-studie-visar-samband-mellan-kost-och-skolbetyg/
Direkt från forskarna, om nu inte universitetets informationsenhet har fel för sig.
För övrigt: Är det mjölk eller grönsaker som är viktiga?
“Men huvudkällan för folat var olika mejeriprodukter, helt enkelt eftersom ungdomarna konsumerade så stora mängder av dessa” (Ibid)
Frågan om hur man ska få ut forskningsresultat till allmänheten är alltid brännande.
Journalister borde specialutbildas på något sätt, eller….?
Pressreleaser om forskningsresultat bör underkastas peer review?
Inför krav på Open Access!
Jag kommer åt abstract, men inte själva artikeln…
Jag ser inte vilket fel journalisterna i dn-artikeln begick. Dom skriver att elever som äter mer grönsaker presterar bättre. Vilket varken är mer eller mindre än data från forskningen säger.
Källkritik, hört talas om det?
Jag ser inget fel på källkritiken. Forskningsresultaten anges och ingen påstår att grönsaker orsakar högre betyg. Vad ska vi bli upprörda över?
Därför är det viktigt att det finns bloggar och andra alternativa media som kritiskt granskar det som står och sägs i massmedierna.
Men trist att felaktig info kommer ut först!
Inte alla läser bloggar.
Nej men jag skiter i alla andra 😉
Men jag håller så klart med. Det vore bättre om informationen var korrekt från början. Tyvärr får vi nog leva med att massmedierna kommer att ha svårt med sånt här.
Det finns många faktorer man inte tagit hänsyn till. Men man finner också en korrelation mellan socioekonomisk status, rökning, kön och betyg. Man kunde dock inte förklara skillnaderna i betyg mellan de med lågt och högt folatintag utifrån dessa faktorer, och inte heller utifrån personernas genotyp. Studien får väl anses att vara hypotesgenerande, men riktigt så illa som det verkar i Jonas inlägg tycker jag inte det är.
Svanar är vita, alltså är allt vitt svanar. Eller?
Hur menar du att studien är helt utan informationsvärde? Nu kommer jag bara åt abstract, men där är det ju tydliga med att de har funnit ett samband (association) och inte en kausal effekt. Däremot kan man ifrågasätta forskarna eftersom de verkar uttrycka sig på ett annat sätt i citat i pressreleasen – där de börjar yra om att detta visar hur viktig skolmaten är. Vilket väl tyvärr är något man ser i socialmedicinsk och socialepidemiologisk forskning skrämmande mycket oftare än forskning från andra discipliner.
Detta till trots, nog finns det visst informationsvärde. Tydligen finns det biologiska skäl att anta att folater är viktiga för kognitiva processer. Ungdomar med högre nivå folater presterar bättre i skolan, även när man (grovt) kontroller för en del bakgrundsfaktorer. Det är hyggligt intressant (sen kanske det har visats 100 gånger tidigare, ingen aning). Den stora viktiga frågan är ju sen om det finns en kausal effekt här (har svårt att tro det, men vad vet jag), vilket som riktigt påpekas inte kan ses i denna artikel. Men att säga att detta helt saknar informationsvärde, ja, då får man nog säga detsamma om rätt mycket ekonomisk forskning också…
“Eftersom kostvanor samvarierar med en mängd sociala faktorer som i sig är relaterade till skolresultat säger studien faktiskt ingenting.” Fast de har ju korrigerat för sociala faktorer…Och de uttalar sig inte om kausalitet. Vilken ogrundad ilska mot forskning! Roligt med denna aggression mot korrelationer, speciellt som att ekonomer inte har några sådana mellan teorierna de framför och verkligheten de studerar. Genom att kritisera slutsatser baserade på korrelationer kan man istället helt lyckas undvika att relatera teorier med verkligheten. How did that work for you?
virrpanna
oj, svårt att hänga med i resonemanget? Då ska jag ge dig den korta, lättlästa versionen; inte kasta sten i glashus. Och, även om korrelationer inte alltid ger speciellt mycket information så kan avsaknad av korrelation göra det.
Håller med om något ogrundad ilska. Men författarna till studien verkar, åtminstone av pressreleaser att döma, dra kausala slutser. Hur ska man annars tolka att de menar att studien ger stöd för att bra skolmat är mycket viktigt för ungdomarna. Lite oklart vad de menar med detta, men det kan nog inte tolkas som annat än kausalt.
Och att de korrigerat för observerbara socioekonomiska faktorer betyder förstås inte att de lyckas isolera en kausal effekt. Men den debatten har gått på repeat i inkost/ojämlikhets-spåret, så det behöver knappast tas upp igen. Här är det t.ex. rimligt att tro att mer begåvade, tålmodiga och framåtblickande ungdomar (sånt som starkt påverkar skolprestationer/betyg) också är mer benägna att äta bra. Man kan också tänka sig att många icke-observerbara bakgrundsfaktorer påverkar både skolresultat och hur man äter. Inget av sådant har forskarna kommit runt. Således kan studien inte ge stöd för skolmatens betydelse…
I abstractet skriver de “may have implications”. Detta är otroligt försiktigt hållet och det är knappast någonting att uppröras av.
Nu kommer jag av någon orsak inte åt själva artikeln, men de skriver i inledningen i abstractet, innan de kommer till sina egna resultat, att ” Folate status and Hcy metabolism are linked to cognitive functions”. Det betyder alltså att det redan finns försök som har visat detta. Medicinsk forskning i epidemiologiska observationsstudier bygger antingen på att man undersöker betydelsen av i experiment redan klarlagda mekanismer. Det är så jag förstår denhär artikeln; den är inte ett bevis för kausalitet i sig, den undersöker den praktiska betydelsen av ett redan fastlagt kausalt samband. (Dessa underlag går så vitt jag sett ALLTID ekonomer över huvudet. De läser ALDRIG litteraturen som ligger till grund för kausala antaganden. Den litteraturen förstå de nämligen inte, för det är direkt medicinsk molekylärbiologisk grundforskning. Men bara för att man inte förstår någonting betyder ju inte det att man kan bortse från det!)
En annan funktion av den epidemiologiska forskningen är att den fungera som underlag för hypoteser som kan prövas i experimentell forskning, och det är också en funktion av den här artikeln.
Skillnaden mellan medicinsk och ekonomisk forskning är alltså att inom medicinsk forskning står aldrig den här sortens artiklar fristående från resten av den experimentella forskningen.
(Hela poängen med att undersöka folsyra är att studera om den utgör en del i den fysiologiska grunden för “begåvning”. Som biolog tror man inte att “begåvning” är en sorts andlig Ayn Rand-egenskap vissa övermänniskor besitter. Vi tror istället att kognitiv förmåga är resultatet av samspelet mellan arv och miljö. Det är nog här den grundläggande ide-konflikten mellan biologer och ekonomer ligger när det gäller denna artikel)
Åsa> Om du läser vad alla skriver, istället för att argumentera mot tankekreationer, hade du sett att det var inte abstract som fick kritik. Utan hur forskarna gick från denna korrelationsstudie och annan bakgrundskunskap till att börja hävda (i pressreleaser) – t.ex. att detta visar att skolmaten är mycket viktig för skolungdomars start på livet vilket skulle stödjas av artikeln funnit att mer folater –> högre skolbetyg.
Det är givetvis att gå på tok för långt. Återigen, att det finns biologiska kausala skäl för att högre nivå folater –> bätte kognitiv förmåga, kan INTE användas för att säga skolmat med mer tillsatta folater –> bättre skolprestationer/betyg. Detta är implicit vad författarna hävdar om man inte tror att de blivit totalt förvanskade i pressreleaser m m, Häri ligger kritiken, vilket du borde kunna förstå om du faktiskt läste kommentarerna.
Asa,
“Som biolog tror man inte att ”begåvning” är en sorts andlig Ayn Rand-egenskap vissa övermänniskor besitter.”
Det dar ar en ren strawman. Hela poangen med tex Ricardo ar att man blir bra pa det man specialiserar sig pa.
Min diskussion syftar på följande påstående i det ursprungliga blodgginlägget: “Man undrar hur en så pass ansedd tidskrift som Pediatrics kan få för sig att publicera en studie som helt saknar informationsvärde?” Jag diskuterar alltså kritiken mot det som publicerats i Pediatrics, inte eventuella populärvetenskapliga uttryck som andra kommenterat på. Det borde du kunnat förstå om du faktiskt läste det jag skrev.
Lyckligtvis har den populärvetenskapliga tidskriften medscape en lite mer balanserad artikel om rönen, inklusive ett par talstreck från en (medicinsk) doktor. Författarens (Torbjörn K. Nilssons) policyrekommendation att skolor bör introducera mer folater i kosten (vilket naturligtvis är ett underförstått påstående att en kausal effekt föreligger) får mothugg av en kollega:
”Jatinder Bhatia, MD, from Georgia Health Sciences University, Augusta, Georgia, said that the study warrants follow-up with other studies in other populations.
“I find the study intriguing but I don’t think we can say that this is a cause-and-effect relationship,” said Dr. Bhatia, who is also chair of the American Academy of Pediatrics Committee on Nutrition.
“To say that high folate intake possibly is associated with academic achievement is OK. I can buy that. But there are so many other important variables to consider. This is an intriguing study that needs more attention,” he said.”
http://www.medscape.com/viewarticle/746454
Bhatias kommentarer är knappast kontroversiella eftersom författarna enbart tycks lägga in tre kontrollvariabler: moderns utbildning, pappans inkomst och skola (insamlat i genom enkät till ungdomarna, tillsammans med frågan vad personerna ätit till frukost). Vilket ju är Vlachos kritik, förstås. Det är helt naturligt att nationalekonomer som disputerat sedan åtminstone 1990-talet drar öronen åt sig.
Studien säger naturligtvis ”någonting” men för att extrahera en rekommendation om lunchdiet i skolmatsalar krävs det ett bättre statistiskt underlag (till exempel ett randomiserat experiment). Och eftersom man inte utvärderar en policy direkt — som i ett naturligt experiment — skulle jag gärna vilja veta mer om mekanismerna. Det finns säkert många unga som hoppar över frukosten just på GRUND av att de förväntar sig en viss kost till lunch. Men den här typen av mekanismer kanske beskrivs i artikeln?
Och vilken otroligt apart kritik mot nationalekonomer i slutet på Åsa Hidmarks inlägg! Att det skulle finnas någon brist på korrelationsstudier i nationalekonomiska avhandlingar var ett ovanligt misslyckat försök att vara spydig, även med den här bloggens mått mätt. Medicinare är verkligen dåliga på att vara elaka.
Det torde vara uppenbart att man inte tillfredsställande kan kontrollera för andra faktorer genom att slänga in några kontrollvariabler. Jag är tämligen säker på att en studie som undersökte intaget av surdegsbröd, mängden självplockade blåbär eller antal teaterbesök skulle ge exakt samma resultat — även om man kontrollerar för utbildningsnivå och inkomst. Anledningen till “ilskan” var att forskarna i sina pressreleaser så oförblommerat drar kausala slutsatser när sådana helt enkelt inte är giltiga.
Att det finns andra, bättre, studier som visar att folater kan påverka kognitiva förmågor påverkar inte denna studies värde. Om kopplingen redan är känd så är det enbart storleken på effekten som är intressant och om denna kan man absolut inte uttala sig med hjälp av denna studie. Det är faktiskt möjligt att intaget av folatrik kost har en negativ kausal inverkan på skolresultat men denna effekt kan döljas pga den starka kopplingen melllan folatintag och andra faktorer. Alltså kan man inte heller med hjälp av denna typ av studier säga att frånvaron av en korrelation är informationsbärande. Detta är också huvudanledningen till att det är svårt att publicera nollresultat om man inte har ett riktigt bra experiment.
Det är underligt att man måste upplysa medicinare om dessa triviala insikter. Det tyder på att förståelsen för varför dubbelblinda tester är viktiga inte är särskilt djup. Samtidigt innebär detta inte att dubbelblinda tester är enda vägen till kunskap och att epidemiologisk forskning till sin natur är värdelös.
Tänk om de kausala slutsatserna faktiskt är dragna på den samlade forskningen som gjorts på folsyrans påverkan på kognitiv förmåga? Är du bekant med den?
Varför skulle forskare dra slutsatser utifrån ett enda arbete när medicinsk forskning bygger på många experimentella studier. Varför envisas med att ta forskning ur sitt sammanhang?
“Resultaten av studien visar, enligt forskarna, hur viktigt det är med bra skolmat…” (Från Örebro universitets pressmeddelande.)
Detta är inte “otroligt försiktigt hållet”.
“Nu kommer jag av någon orsak inte åt själva artikeln” (Åsa)
“Nu kommer jag bara åt abstract” (KM)
Jag föreslår att ekonomer (mfl) tar fram ett bättre system för tillgång till vetenskapliga artiklar.
Epidemiologisk forskning är till sin natur värdelös? Frågan är då hur man ska bedriva empirisk forskning där experiment är praktiskt ogenomförbara eller oetiska. Ibland är det enda alternativet att man mäter korrelationer och ser upp med att övertolka resultaten. Men om jag förstår ditt inlägg rätt så är det i så fall bättre att skita i det?
Sorry, läste ditt inlägg slarvigt, missade det lilla, men rätt avgörande, ordet “inte”.
Men för övrigt anser jag nog att det är lite hårt att säga att grönsaksforskningen är “informationslös”. Åtminstone ser inte jag några uppenbart bättre sätt att försöka säga något om sambandet mellan grönsaksätning och skolbetyg (förutom kanske kontrollera för fler faktorer?). Dubbelblinda test (som du säger att forskarna inte insett poängen med) är knappast en möjlighet här.
Tyvärr är det så att medicinare, liksom humanister, har förvånansvärt lite utbildning i metod och statistik.
Det är mycket vanligt att läkare som tagit ett prov, som ansetts ligga för högt eller lågt, låter ta om detta.
Är resultatet denna gång normalt anses den första mätning vara ogiltig. Tveksamt tänkande.
@Jonas Vlachos För det första vore lite ödmjukhet vara på plats – det gäller även i hög grad Lars P. Sylls uttalande “Att inte kunna skilja på kausalitet och korrelation borde genast diskvalificera en som forskare.”
I ditt inlägg skriver du: “Det är underligt att man måste upplysa medicinare om dessa triviala insikter”. – Hur vet du att det är p.g.a. att de är medicinare som har påverkat i din uppfattning brist på “triviala insikter”. Kan det inte vara så att brist på insikt beror på andra stratifieringar såsom ålder, uppväxtort etc. Har du här på liten mängd observationsdata tillskrivit kausalitet, eller är det kanske endast korrelation? I vilket fall är det tveksamt om det finns belägg för påståendet och det kan definitvt framföras på ett bättre sätt.
För att pajkastningen ska bli mer underhållande krävs fler pajer. Kanske kan någon plocka fram okunniga kommentarer av ekonomer och psykologer om medicin och naturvetenskap.
Som andra påpekat talar abstraktet bara om korrelation. Pressreleasen säger nåt annat, men det är inte säkert att forskarna skrev den.
Fast man kan väl vara rätt säker på att de namngivna citaten av forskarna i pressen verkligen har avgivits av de namngivna forskarna – såvida man inte tror att pressen ljuger.
Dessa citat är tycks varken finna något som helst stöd i deras studie eller vara särskilt försiktigt hållna.
I studien är det säkert tydligt att detta endast är en korrelationsstudie – synd att forskarna och väldigt många andra inte klarar av att behålla det förhållningssättet när Expressen ringer.
Då svarar man med det orsakssamband som man naturligtvis trodde eller inte trodde på redan innan studien.
Att studien saknar informationsvärde torde vara tydligt eftersom ingen kommentator kunnat förklara vari detta värde skulle bestå. Studien i sig säger att det kan finnas en koppling mellan vissa kostvanor och skolresultat. Detta visste vi redan och eftersom studien inte kan svara på om det är kostvanorna eller faktorer som samvarierar med kostvanorna som ligger bakom resultatet, så tillför den inget till denna diskussion. Detta gör publiceringen i en hyfsat ansedd vetenskaplig tidskrift märklig.
Givet den energi forskarna lagt på att samla in data om eleverna så hade det för övrigt varit en smal sak att samla in betydligt mer detaljerade kontrollvariabler än de som använts. Detta hade inte övertygat en metodologisk puritan, men genom att se hur estimaten ändras när hänsyn tas till allt fler faktorer hade man kunnat göra en bedömning av hur viktiga andra kanaler är.
I pressreleaser och mediakommentarer har forskarna inte tvekat att dra kausala slutsatser (de framför tom åtgärdsförslag) och media har okritiskt hakat på. Detta tyder på att insikterna om de metodologiska utmaningarna man står inför när man genomför epidemiologisk forskning inte är särskilt djupa. Trots (inte på grund av) att forskarna som medicinare är väl införstådda med den dubbelblinda metoden verkar de oförstående inför detta, vilket är anmärkningsvärt. Att detta knappast är unikt för denna forskargrupp torde vara uppenbart för den som läser tidningar. Att media så ofta okritiskt rapporterar om korrelationsstudier som vore de experiment tyder också på att förbättrad metodologisk kunskap i journalistkåren vore önskvärd.
Som metodologisk purist delar jag dina kritiska synpunkter Jonas, men undrar om inte många ekonomer/ekonometriker också gör sig skyldiga till att “okritiskt rapportera om korrelationsstudier som vore de experiment” och att det finns viss anledning till självrannsakan även i ekonomkåren. Jag har skrivit om detta i min artikel http://larspsyll.wordpress.com/2011/05/15/modern-probabilistic-econometrics-and-haavelmo-a-critical-realist-critique/
och även Hugo Keuzenkamp tar upp vårt många gånger slarviga användande av “experiment”-analogin inom ekonomi/ekonometri i sin “Probability, econometrics and truth” (CUP 2000).
Saknar studien informationsvärde? För att studien ska sakna informationsvärde bör data inte kunna ändra (ens marginellt) på den kunskap som redan finns om orsakssambandet. Om man nu tidigare hade relativt starkt stöd för ett positivt orsakssamband så tror jag denna studie ytterligare (om än marginellt) ökat detta stöd. Man hade kanske inte uteslutit ett negativt orsakssamband och den positiva korrelationen är antagligen mindre stödjande för detta (än för ett positivt orsakssamband) också efter att man tagit in osäkerheten kring potentiellt samvarierande faktorer.
Ahmed,
Säg att du har ganska stor kunskap om att pris påverkar efterfrågad kvanitet (av en viss vara) negativt. Sen samlar du data på just priser och kvantiteter och finner att korrelationen är positiv. På vilket sätt bör det revidera din tidigare tro?
Det beror på varifrån vi tror att prisförändringarna kommer. Om vi tror att prisförändringarna beror på chocker i utbudet så skulle detta säkert förändra tron hos många så att man nu tycker att chansen är större att efterfrågan är positivt lutad än innan. Om vi däremot resonerar att prisförändringarna beror på chocker i efterfrågan (kanske kombinerat med utbud) så skulle vi antagligen inte revidera den tidigare tron i någon större grad. I grönsaksstudien gäller detsamma. Om vi inte anser oss ha den blekaste om möjliga bias och deras riktning så blir ju också informationen från studien noll. Men annars finns det alltid någon hypotes som är mindre förenlig med data.
Ahmed,
Exakt min poäng. Problemet är att det inte räcker att “tro” eller “tycka att chansen är större” i vetenskapliga artiklar. Det måste finnas någon form av bevis.
Visst, under hypotesen att allt annat än grönsaker och kontrollvariablerna är irrelevant så är naturligtvis sambandet kausalt. Men det är tro, och inte vetenskap.
pontus,
Jag skulle nog påstå att vetenskapen handlar om att man samlar på sig allt mer empiriskt material och att den samlade empirin formar ens tro kring förhållandena. “Tro” för att kunskapen aldrig är helt fristående från grundläggande antaganden. Också en experimentell studie bygger på “tro” eller antaganden kring att randomiseringen fungerat, att vi inte har manipulerat data eller har mätfel, att individerna inte påverkats av “laboratoriemiljön” osv.
Visst, man kan alltid relativisera kunskap till den punkt att inget egentligen säger någonting om något, och att allt därför är lika bra/dåligt. Men jag tycker att man, till ett minimum, bör argumentera för varför man anser just grönsaker vara den absolut dominerande kausala effekten när det finns så oerhört många andra alternativa förklaringar, som enligt mig faktiskt låter rimligare. En vetenskaplig studie skall väl vara övertygande för alla, och inte enbart hos de redan frälsta?
Förövrigt så måste jag instämma med Jonas att det finns korrelationsstudier som kan vara mycket informativa. Exempelvis relationen mellan rökning och lungcancer.
pontus,
Du missuppfattade mig om du trodde att jag menade att all empiri är lika bra/dålig. Det jag menade är att data aldrig “talar för sig själv”, man måste argumentera vidare för sin sak, som du skriver. Ibland är argumenten förstås ganska svaga, men oftast finns det någon hypotes som de flesta kan övertygas om vara mindre förenlig med data.
I grönsaksstudien kan vi nog vara ganska säkra på åt vilket håll biasen går. Att ha sunda kostvanor korrelerar säkert med allehanda andra indikatorer på ansvarstagande och strävsamhet. Troligtvis sover dessa barn mer, rör sig mer, sitter mindre framför tv:n, gör läxorna ordentligare osv, osv. Dessutom är föräldrarna säkert sundare och har så varit under barnens hela uppväxt samt under fosterstadiet.
Vi har med andra ord troligen en positiv bias vilket gör att vi inte kan uttala oss om hur viktig en folatrik kost är för elevernas studieresultat (den kan som sagt till och med vara negativ). Hade vi däremot haft anledning att tro (eller haft belägg för) att biasen är negativ så hade studien varit betydligt intressantare.
Nu kanske jag upprepar mig här, men vill ändå påpeka följande. Låt oss då säga att vi är ganska säkra på i vilken riktning biasen går (och att den är positiv). En hypotes som då är mindre förenlig med data är att effekten av grönsaksätning är större än den korrelation som uppmättes i studien. Det kanske inte är så mycket att hänga i julgranen men mer än “ingen information alls”.
Ok, där får jag ge mig. Jag kan erkänna att ett — troligt — tak på grönsakseffekten är mer än ingen information alls.
Ahmed,
Här håller jag också med.
Från ett Bayesianskt perspektiv så är datan informativ om din posterior skiljer sig från din prior. Endast under antagandet att din priors support av den kausala effekten överlappar med korrelationen, så är datan faktiskt informativ. Men åt precis motsatt håll än vad pressreleasen hävdar.
Om supporten inte överlappar så är studien faktiskt helt irrelevant.
Fast vi kan ju inte ens vara säkra på detta. Tänk om mitt barn utvecklas lite långsammare än väntat. Vad göra? Hmm, laga lite nyttigare mat, grönsaker och lite fisk som folk säger att vi blir kloka av för att sätta lite fart. Kanske funkar det kanske inte. Men vips så har vi en story som innebär att vi möjligen underskattar av effekten av grönsaker i en studie som enbart använder observationsdata.
För övrigt anser jag att Nymchen så gott som alltid svamlar.
Pontus,du skriver att “från ett Bayesianskt perspektiv så är datan informativ om din posterior skiljer sig från din prior.” Men om du replikerar ett experiment 1000 gånger som bekräftar a priori hypotesen skulle väl ändå din “degree of belief” i hypotesen stärkas? Om jag kastar ett mynt 1000 gånger och får bekräftat min prior att myntet har klave på båda sidor är det väl även om posterioren inte ändras “informativt”. Vid två kast skulle jag ju kunnaa tro att slumpen spelar mig ett spratt. Men knappast 1000 gånger. Och är det inte “informativt”? Och – som jag ser det är ett nekande svar på de frågorna en klar indikation på bayesianismens otillräcklighet.
LPS – Det där förstår jag inte. Din prior är alltid en fördelning, och variansen krymper ju vid varje kast. Och om din prior har ett visst genomsnitt och noll varians, så kommer din posterior förbli densamma oavsett data. (vilket faktiskt lite påminner lite om ditt sätt att argumentera ganska ofta)
Den Bayesianska definitionen för irrelevans är ju att “E är irrelevant för H om P(H|E)=P(H)”
Pontus:
Här borde inte föreligga några problem att förstå.
Vad jag säger är att om priorn P(H) är lika med posterioren P(H|E) så innebär detta INTE att det inte kan föreligga en informativ skillnad om posterioren grundar sig på exempelvis 1000 replikativa experiment. Även om sannolikhetsvärdena är de samma så innebär SJÄLVKLART (utom för utrerade bayesianer?) den breddade evidensen att resultatens TYNGD eller FÖRTROENDET för priorn (det Keynes kallar “weight of argument”) ökat. PÅLITLIGHETEN av resultaten ökar helt enkelt.
[En bra diskussion om detta finner du t ex i Deborah Mayos moderna klassiker “Error and the Growth of Experimental Knowledge”, University of Chicago Press, 1996, speciellt kap. 10]
LPS – Jag har alltid lite svårt att förstå meningar som innehåller mer än ett “inte”.
Menar du att om du har en hypotes H och evidence E, samt att din posterior P(H|E) är identisk med din prior P(H), så är ditt evidence E fortfarande informativt? Det är ju i så fall fantastiskt tokigt! Det behöver jag inte läsa någon bok för att vifta bort som ren okunskap från din sida.
Pontus:
Vad tråkigt. Jag trodde jag hade med en forskarkollega att göra, inte en rabulist (men det här är väl sånt som händer när folk kan lura sig in i seriösa diskussioner gömmande sig bakom anonymitet).
Om det är någon annan – seriös – läsare som vill veta mer om den här typen av frågor som vi i forskarsamhället debatterar intensivt – kan jag förutom Mayos tidigare arbete (tuff läsning för icke-specialist) också föreslå lundaprofessorn Sören Halldéns lilla fina (och mer populärvetenskapligt hållna) bok “Från vardagvett till statistisk beviskonst” (Nya Doxa 2002).
LPS,
Jag har sagt det här tidigare. Jag önskar inte att vara anonym, snarare google-proof. Googla du på mitt förnamn + economics så kommer du direkt finna vad du söker.
Åter till sakfrågan. Du svarade aldrig på om jag har förstått dig rätt eller inte. Men jag utgår från det. Som sagt, irrlevanta bevis varken stärker eller förminskar en hypotes tyngd, förtroende eller pålitlighet. Vad du än påstår.
Det som du försöker hävda är “pålitlighet” är från ett Bayesianskt perspektiv variansen på din posterior. Men om den är oförändrad så tillför din data ingen information.
(Tag tillexempel sannolikheten att en viss misstänkt gärningsman är skyldig till ett brott (säg ett mord). Som bevis anförs Jonas Vlachos förskollärares favoriträtt; spagetti med köttfärssås. Enligt sunt förnuft så påverkar inte denna maträtten skuldfrågan, och enligt Bayes irrelevansprincip så betraktas bevismaterialet således som irrelevant. Vi kan vidare givetvis anföra mer information om lärarens matvanor (säg 1000 föredragna rätter), och trots det så förändras inte skuldfrågan. Hypotesens tyngd är alltså oförändrad. Men du har lite andra idéer om det här om jag förstår dig rätt? Har du kanske lust att dela med dig?)
Jag vill minnas en liknande studie om bredbandsutbyggnaden i Norge…
Inte som du läst på denna blogg. Däremot har jag refererat en trovärdig studie kring bredbandsutbyggnaden i Norge som just hanterar de metodologiska utmaningar som denna typ av forskning bjuder. Jag hänvisar tillbaks till den diskussion vi förde då: https://ekonomistas.se/2011/05/24/natporr-okar-sexbrotten/.
I den här viktiga diskussionen om problemen att gå från korrelation till kausalitet framfördes uppfattningen att bayesianismen skulle visa vägen ut.
I en lite längre (och kanske för den sannolikhetsteoretiskt oskolade lite svårläst) artikel på min hemsida/blogg har jag försökt reda ut varför så inte är fallet och varför bayesianismen i mycket framstår som en vetenskapsteoretisk återvändsgränd.
LPS — Jag vet inte vem som “framförde uppfattningen att bayesianismen skulle visa vägen ut.” Men det var inte jag.
Oavsett, efter att ha ögnat igenom din pdf så noterar jag att du faktiskt inte lyfter frågan som jag diskuterat. Nämligen att data som är irrelevant från ett Bayesianskt perspektiv inte heller påverkar en hypotes “tyngd, , förtroende eller pålitlighet”. Jag vet inte om du motsätter dig det fortfarande?
Tag ett exempel som är väldigt relaterat: Du har två tärningar med ett okänt antal sidor. Vad du däremot vet om är summan av dess sidor. Med hjälp av flera observationer av tärningarnas sammanlagda poäng försöker du dra slutsatser om de enskilda tärningarnas antal sidor. Från ett Bayesianskt perspektiv så kan du inte det. Oavsett mängden kast.