Vägen över till nationalekonomins Cannesfestival, American Economic Associations möte i Denver, ägnade jag åt att läsa en artikel i the New Yorker. Den beskriver hur empiriska fynd som verkar helt stabila verkar försvinna när andra forskare försöker replikera dem. Forskningsfusk, kanske någon påstår men i det exempel som lyfts fram i artikeln är det originalfyndens upphovsman som själv råkat ut för problemen; varje gång han upprepat sina experiment har effekterna blivit mindre och mindre.

Hur märkligt detta än kan verka så har samma mönster uppmärksammats inom en mängd olika forskningsfält. Som the New Yorker skriver orsakas detta av en samverkan mellan ett par olika faktorer. I grunden beror problemet på att en del samband av statistisk nödvändighet kommer att se starka ut trots att de egentligen bara är orsakade av slumpen. Ju fler studier som genomförs, desto fler skensamband kommer att upptäckas.

Eftersom sådana skensamband kan vara mycket uppseedeväckande – de är ju trots allt orsakade av slumpen – finns möjligheten att de publiceras i prestigefyllda tidskrifter. Samma tidskrifter skulle däremot aldrig publicerat ett experiment som visade att samma samband inte verkar finnas; Science hade knappast varit en välciterad tidskrift om den vecka ut och vecka in berättade för läsarna hur världen inte fungerar.

Förutom tidskifternas publiceringsbias – tendensen att bara publicera signifikanta samband – så finns även dess lillasyster; forskarnas egna bias att bara rapportera experiment som lett någonstans. Att rapportera alla de misslyckade experiment som ligger bakom varje forskningsgenombrott vore inte bara tröstlöst, det skulle även innebära att man vore tvungen att justera de statistiska signifikanstesten — vilket minskar sannolikheten att ens fynd är signifikanta.

Dessa är inga nya insikter men en intressant presentation av Dan Benjamin om hur den genetiska forskningen kan påverka den nationalekonomiska visade att problemen kan förväntas bli större framöver. Det finns en enorm mängd möjliga samband mellan gener, miljö och olika utfall; antalet testbara hypoteser är troligen större än antalet människor som någonsin levt. När denna typ av forskning blir allt billigare kommer också antalet skensamband att öka dramatiskt.

Generöst nog berättade Benjamin frikostigt om sina egna misslyckanden. Teoretiskt förväntade samband mellan gener och utfall som varit kraftigt signifikanta i ett första urval av tusentals individer hade varit omöjliga att replikera när fler vågor av data blivit tillgängliga. I andra fall hade de initiala resultaten överlevt flera replikeringsförsök bara för att senare gå upp i rök.

Oavsett vad man tycker om just denna typ av forskning – Benjamin tror den har en framtid – så finns det anledning att fundera över hur vi testar statistisk signifikans, hur vi rapporterar empiriska resultat och vilket värde som tillskrivs replikationsstudier. Förändringar i normerna kring detta måste dock ske på institutionell nivå eftersom ingen enskild forskare har incitament att ställa högre krav på sin egen forskning än vad forskarsamhället kräver. I väntan på dessa förändringar kommer vi att fortsätta publicera fynd som övertygande visar hur världen fungerar. Och i morgon kommer vi att ha ändrat oss.