Nyligen har två trista historier i svensk nationalekonomi fått viss uppmärksamhet. Det ena fallet rör en grupp nationalekonomer som anmälts för forskningsfusk. I det andra fallet har ingen anmälan riktats, men det har varit mycket diskussioner (och väldigt mycket skitsnack!) i nätforum om en kommande artikel i American Economic Review (vilken jag tidigare skrivit om) där nära relaterad epidemiologisk forskning först citerades efter att artikeln accepterats för publicering. (Tidskriftsredaktörerna har beslutat att en uppdaterad version med en särskild not ska publiceras.)
Att anklagas för fusk betyder naturligtvis inte att man fuskat, men blotta antydan om fusk är ändå förmodligen något av det värsta man kan råka ut för som forskare, och att bli fälld skulle kunna innebära slutet på en forskarkarriär. Dessa två fall är därför väldigt tråkiga oavsett vad historiens dom blir. Sverige är dessutom ett litet land och antalet forskare i nationalekonomer är få, vilket gör det hela än mer pikant. Detta är en bidragande orsak till att jag inte skrivit om detta här på Ekonomistas tidigare — jag känner helt enkelt för många av de inblandade alltför väl. Därför tänker jag inte diskutera dessa båda fall i sak, utan i stället ställa frågan om dessa två fall har något att säga om den allmänna vetenskapliga hälsan inom nationalekonomi, och vilken medicin vi eventuellt skulle behöva ordinera?
En anklagelsepunkt i anmälan om forskningsfusk mot forskargruppen som nämndes ovan är att forskarna rapporterat resultatet för ett utfall där man hittar en signifikant effekt, men inte nämnt att man inte hittar signifikanta effekter för andra liknande utfall. Artikelförfattarna menar att de har goda skäl att fokusera på just det utfall där man hittar signifikanta effekter, vilket anmälaren naturligt nog inte håller med om. Förmodligen är det väldigt många forskare som gjort sig skyldiga till att ha underlåtit att rapportera icke-signifikanta resultat. I en artikel med den fåniga titeln “Star Wars: The Empirics Strike Back” visas till exempel att det finns en överrepresentation av p-värden strax under 5% i artiklar i ledande nationalekonomiska tidskrifter, vilket tyder på att det finns en underlåtenhet att rapportera icke-signifikanta resultat. (I samma artikel visas även att det finns en underrepresentation av nästan signifikanta resultat, vilket författarna tolkar som att forskare väljer specifikationer och test som ger signifikanta resultat.)
Det andra fallet som nämndes inledningsvis handlade om att forskning i andra discipliner inte citerats. Slarv eller underlåtenhet att citera forskning i andra discipliner tror jag dock även det är en synd som många nationalekonomer gjort sig skyldiga till. Jag har till och med hört forskare på seminarier beskriva sitt forskningsbidrag som varande den första studien inom nationalekonomi som studerar en viss fråga. Ett vetenskapligt bidrag skall naturligtvis bedömas i förhållande till vår samlade vetenskapliga kunskap, inte i förhållande vad som tidigare publicerats i just nationalekonomi.
Åtminstone i doktorandutbildningen i nationalekonomi i Stockholm ingår inte forskningsetik, och jag gissar att detsamma gäller på många andra håll. Förmodligen lär sig de flesta detta genom diskussioner med handledare, men ett problem är att det nog finnas ganska stor spridning i vilka forskningspraktiker som anses okej. Det förefaller finnas olika uppfattningar om vad som ska betraktas som forskningsfusk, men även vad som är ett ärende för disciplinnämnder respektive vad som bäst hanteras inom det vanliga vetenskapliga samtalet med artiklar och repliker. Förmodligen finns ingen enkel lösning, men kanske borde något formaliserat element av forskningsetik ingå i forskarutbildningen, i form av kursmoment eller kanske till och med något i stil läkareden (som svenska läkare inte svurit på 130 år)?
Ekonomistas 
I forskarutbildningen i nationalekonomi i Örebro finns sedan förra året en introduktionskurs som bland annat innehåller inslag kring forskningsetik. Kursen är obligatorisk och ges inom ramen för det gemensamma förstaårsprogrammet i ÖU, JU, LnU, LiU och SH (en del av ett samarbete som kallas SWEGPEC).
Det låter vettigt! Finns information om kursen på webben någonstans? Vore intressant att se vad som lärs ut, om ni använder någon lärobok etc.
Kursen baseras på fyra workshops kring vetenskapsteori, doktrinhistoria, metodval respektive forskningsetik. När det gäller det senare är VRs skrift obligatorisk. Vi har bara gett kursen ett år hittills så det finns ett fortsatt utvecklingsbehov. Länk till kursplan här: https://www.oru.se/utbildning/utbildning-pa-forskarniva/forskarutbildningskurser/hh/nationalekonomi/introduktionskurs-till-forskarutbildning-i-nationalekonomi/
Fast ingen kan väl på allvar tro att en “kurs i forskningsetik” skulle ha ändrat (/ kommer ändra) någonting?
Det känns som en väldigt godtrogen lösning.
Jag håller med om att en enskild kurs nog inte har så stor effekt, Pontus. Men å andra sidan kan man notera att i princip all empirisk forskning bygger på att det finns starka normer — hur skulle vi till exempel annars kunna lita på att inte forskare manipulerar data? De flesta forskare tror jag känner väldigt starkt att det är oacceptabelt att manipulera data hur starka incitamenten än är. Om vetenskapssamhället är normstyrt förefaller det rimligt att diskutera dessa normer och säkerställa att vi har en någorlunda gemensam uppfattning om dem.
Ja, normer är såklart viktiga!
Jag tror att jag mest uttryckte en viss oro över mentaliteten att “bara vi har en kurs så löser sig allt”. Lite som när svenska politiker “tillsätter en utredning” så är frågan ur världen.
Det låter som vi är överens, jag är generellt också skeptisk till “kurslösningen”, men det fanns inte så många andra policy-recept jag kunde komma på.
Becker kanske? Detection probability vs. punishment trade-off.
Samtidigt vore det kanske lämpligt att journalen i det senare fallet (AER) utlyser en oberoende granskning. Just nu är “bestraffningen” lämnad åt en bitter anonym lynchmobb, vilket inte gagnar någon. En seriös oberoende granskning hade antingen tystat kritiker eller belyst problemen med studien på ett (hyfsat) objektivt vis. Oavsett så hade många, i synnerhet professionen som helhet, tjänat mycket på ett sådant förfarande.
Tidskrifterna spelar naturligtvis en nyckelroll. Jag tycker till exempelvis att tidskrifter borde vara mycket generösare med att tillåta repliker på artiklar. Möjligheten att dra tillbaka artiklar (retractions) kanske också skulle användas mer inom nationalekonomi. (I fallet med AER-artikeln har redaktörerna gjort en egen granskning efter att den saknade citeringen uppmärksammandes och bedömt att artikeln bör publiceras — jag är inte övertygad om att en oberoende granskning skulle fått tyst på “lynchmobbben”.)
Vi behöver inte lita på att forskare inte manipulerar data. Hela idén med den vetenskapliga metoden är att vem som helst kan undersöka om resultat är korrekta eller inte.
Det funkar bara i fall då det är möjligt att replikera en studie och detta också görs, såsom ett enkelt fysikaliskt experiment. I samhällsvetenskap är detta ofta mycket svårare, i synnerhet när det gäller studier som bygger på observationsdata och fältexperiment.
I vad mån kan man skylla på “publication bias”? Jag har kollegor som har fått referee kommentaren “se till att det där resultatet blir signifikant så publicerar vi artikeln”… Till deras heder vägrade de. Själv slänger jag idéer i papperskorgen så fort de inte tycks visa intressanta (=signifikanta?) resultat.
Den här studien visar med all tänkbar tydlighet att du inte är ensam om detta: http://science.sciencemag.org/content/345/6203/1502.
Jag tycker att det vore rimligt att de främsta tidskrifterna upplät en “reply/replication-slot” för varje publicerad artikel. Tex, redaktörerna motser bidrag inom 3 år under sedvanlig konkurrens och en samlad eller enskilt bidrag publiceras.
Jag vill bara påpeka att nästan exakt samma problematik finns inom de s.k. life sciences, alltså biomedicin, molekylärbiologi, bioinformatik, m.fl. forskningsfält. Där har jag en känsla av att många tycker en del av svaret ligger i Open Science, alltså att allt data skall göras tillgängligt i samband med publikationen, inte bara vara tillgängligt efter förfrågan. Olika PubPeer-varianter, där kommentarer kan göras efter publikation, är en annan möjlig väg. Se mitt inlägg i DN om denna frågan: Vetenskapens problem handlar inte om fusk http://www.dn.se/kultur-noje/kulturdebatt/vetenskapens-problem-handlar-inte-om-fusk/
Jo, jag vet att gräset inte är grönare på andra sidan, även om jag också har känslan av att vi varit ganska sena på bollen att diskutera frågorna inom nationalekonomi.
Mycket intressant diskussion. Grunden för vetenskapen är den kritiska granskningen och öppenheten för att man kan ha fel, så att dessa fel kan korrigeras i framtiden. Problemet är om den kritiska granskningen i sig inte blir föremål för en kritisk granskning, exempelvis när beslut tas av redaktörer (artiklar som inte håller), prefekter (anställning av kompisar och ja-sägare), universitetsledningar och forskningsråd (pengar till närmaste krets, tjänster och gentjänster). Om dessa beslut ska ha en vetenskaplig grund måste de också göra sig själva öppna för en granskning av granskare som står oberoende. Tidskrifter som publicerar hela processen av artikelgranskning kan vara en väg, eller låta i alla fall externa granskare (helst anonyma sådana, som står oberoende av tidskriften) reviewa en sådan process. Själva granskningssystemet måste också genomgå en vetenskaplig granskning. Impact factor baserat på citeringar är inte ett bra substitut för genuin vetenskaplig granskning.
När det gäller att inte citera relevant forskning lärs väl det närmast explicit ut på många utbildningar i nationalekonomi? Jag vet inte hur många gånger jag fått rådet att “inte citera så mycket konstigheter utan fokusera på topp-5 de senaste 10 åren”.