Konventionen i många vetenskapliga discipliner är att ett p-värde på 5% tolkas som att ett resultat är statistiskt signifikant. Den replikeringskris som först uppstod inom psykologi, men nu tagit sig vidare till bland annat nationalekonomi, har dock visat att många statistiskt signifikanta resultat inte låter sig replikeras. En viktig orsak till detta är att tidskrifter framförallt publicerar statistiskt signifikanta resultat, vilket pressar forskare att medvetet eller omedvetet välja analysmetoder så att man tar sig under 5%-ribban (vilket fick mig att utfärda en varning för statistiskt signifikanta resultat här på Ekonomistas). Men en annan orsak att många resultat inte replikeras kan vara att ett p-värde på 5% helt enkelt är en alltför låg ribba för att betrakta ett resultat som statistiskt signifikant. Tyvärr misstänker jag att många tenderar att överskatta hur mycket vi bör tro på ett resultat som har ett p-värde på 5%. [Read more…]