Lär av pedagogiska australiska ekonomer

Häromdagen gjorde jag en planlös sökning efter uppsatser på det lite udda temat ”fördelning och beskattning av livsinkomster”. Till min förvåning kom flera av träffarna från en och samma tidskrift: Australian Economic Review. Men det rörde sig huvudsakligen inte om traditionella forskningsartiklar, utan korta introduktioner till olika ämnen publicerade i en sektion kallad ”For the Student”.

Efter att ha tittat igenom ett antal nummer av AER (!) framstår detta som en guldgruva för studenter. Här är några exempel på artiklar i “For the Student”:

Enligt en av författarna till några av dessa artiklar, professor John Creedy, är dessa studenttillvända texter generellt sett mycket populära med höga nedladdningstal. Jag är inte förvånad.

Flera texter har en australisk prägel och jag tror därför att det skulle vara ytterst givande om även vår egen Scandinavian Journal of Economics skulle införa en motsvarande “For the student”-sektion. Även Ekonomisk Debatt skulle kunna innehålla liknande artiklar. Sådana sektioner förefaller vara förhållandevis billiga sätt att stärka SJE:s och ED:s ställning bland svenska och nordiska ekonomer, samtidigt som våra studenter tillförs matnyttiga texter i allehanda ämnen.

Förtroenderådets förtroende

DN Debatt skriver idag ett antal medlemmar i SNS förtroenderåd, däribland Daniel och jag, att sättet SNS hanterat diskussionen kring rapporten Konkurrensens konsekvenser är oacceptabelt.

Vilken succé!

Årets upplaga av den svenska nationalekonomiska konferensen blev enligt flertalet bedömare en stor succé. Gallringen bland de inskickade bidragen hade varit hård vilket ledde till en hög vetenskaplig kvalitet. Själv blev jag inte besviken på en enda session, vilket hör till ovanligheterna på breda och områdesövergripande konferenser som denna. Om man fortsätter att satsa på hög vetenskaplig kvalitet så kommer man att åka till den årliga konferensen av nyfikenhet, vilket är en betydligt bättre drivkraft än pliktkänslan.

Om man ska lyfta fram några enskilda studier, så fann jag Andreas Madestams uppsats om hur firandet av fjärde juli under barndomen gör amerikanerna mer republikanska särskilt spännande. För att identifiera denna effekt utnyttjas variation i regnfall under uppväxten och författarna finner att fler regnfria nationaldagar gör en mer republikansk och dessutom mer benägen att rösta. En annan kul uppsats (ej online) presenterades av Katarina Nordblom som visade att benägenheten att yrka på skatteavdrag ökar markant när man fått kvarskatt att betala. Detta tyder på att folk i allmänhet lider av förlustaversion vilket är intressant då den mikroekonomiska standardteorin säger att det inte ska finnas något sådan samband.

Vice Riksbankschef Lars EO Svensson höll ett intressant föredrag om penningpolitiken i USA (bra, enligt LEOS) och i Sverige (dålig). Helt invändningsfri var dock inte presentationen och flera i publiken oroar sig nog mer för kreditförluster i bostadssektorn är vad Svensson verkar göra. Eftersom förtroendet för de makroekonomiska modeller Riksbanken arbetar med inte är hundraprocentigt (se t ex Martins och Roberts inlägg), så är hänvisningar till vad modellerna visar inte alltid helt övertygande.

Om man ska kritisera något så var den panel om privat tillhandahållande av offentligfinansierade välfärdstjänster som jag själv deltog i en aning tam. Just i år hade det nog varit på sin plats att diskutera den europeiska skuldkrisen snarare än den ständigt närvarande frågan om välfärdssektorns utformning. På det stora hela var dock konferensen en stor framgång och vi ser med spänning fram emot nästa års upplaga.

Svenska Dagbladet och sakligheten

Svenska Dagbladets ledarblogg hävdar idag att en ny IFAU-rapport skulle komma med “konkurrerande uppgifter” till den SNS-rapport som släpptes förra veckan och som jag och Jonas har skrivit om på Ekonomistas. IFAU-rapporten, som är skriven av Kajsa Hanspers och Lena Hensvik undersöker arbetsmarknadseffekter av konkurrensutsättningen av förskolor, skolor, hemtjänst och taxi. SNS-boken (för det som har missat det) analyserar två av dessa sektorer förskolor och skolor, samt äldreomsorg i vilken hemtjänst ingår som en del.

Vidare ställer SvD en öppen fråga till “SNS forskare” om de tycker att IFAUs forskning kan tas på allvar eller om IFAU styrs av nyliberala motiv.

Mitt svar är att IFAUs rapport naturligtvis ska tas på allvar vilket vi också gör i SNS-boken genom att referera till denna rapport (eller snarare den LU-bilaga som IFAU-rapporten nu publicerar). Värt att notera är att Kajsa Hanspers är författare till både IFAU-rapporten och kapitlet om förskola i SNS-boken.

Motsäger då de två studierna varandra? Definitivt inte! Inom förskolan finner IFAU-rapporten att antalet sysselsatta ökade men att antalet timmar var oförändrat, vilket vi tolkar som att antalet personer som jobbar deltid har ökat. Jag har mycket svårt att se detta som ett tecken på vare sig ökad kvalitet eller effektivitet. Vad gäller skolan så konstaterar Jonas att personalökningen skett i de kommunala skolorna, vilket är helt konsistent med att elevunderlaget i den kommunala skolan blir mer resurskrävande i och med den ökade konkurrensen/valfriheten.

Slutligen noterar jag att SvDs ledarblogg sätter likhetstecken mellan höjd effektivitet och fler sysselsatta. Det var ett nytt samband i alla fall för mig. Det skulle i så fall betyda att om man använder detta effektivitetsmått så är de kommunala skolorna är mycket effektivare än de fristående.

The Guardian om friskolor

I denna artikel i The Guardian kan man läsa en brittisk journalists perspektiv på den svenska friskolereformen. Inför artikeln blev jag intervjuad och som alltid har man sina invändingar mot hur det man sagt presenteras. Exempelvis sa jag att vinstdrivande friskolor har incitament att hålla nere kostnaderna, inte att de har incitament att reducera kvaliteten.

En annan sak som inte framkommer riktigt tydligt i artikeln är hur olika grund- och gymnasieskolan fungerar. På gymnasiet har man betygsintagning vilket naturligtvis skapar sortering med avseende på ambition och förmåga. Detta hade dock varit fallet även utan friskolor och i Stockholm är några av de mest åtråvärda gymnasierna kommunala. Hur som helst är det en ambitiös och läsvärd artikel.

Mer om Freys fusk

För en månad sen uppmärksammade Eva turerna kring de anklagelser om fusk som riktats mot Bruno Frey och hans medförfattare i deras ”Titanic-projekt”. Det huvudsakliga problemet gällde så kallad ”self-plagiarism”, alltså att de publicerat i princip samma forskningsresultat i flera artiklar utan att hänvisa mellan artiklarna. För att illustrera hur allvarligt detta betraktas; så här skriver Journal of Economic Perspectives redaktör David Autor till Frey i en korrespondens som de publicerat:

We view your publication of this substantive material in multiple journals simultaneously as a violation of the spirit of the editorial agreement with American Economic Association that you signed in the winter 2010. (….)[We] find your conduct in this matter ethically dubious and disrespectful to the American Economic Association, the Journal of Economic Perspectives and the and the JEP ’s readers.”

Redaktörerna för Journal of Economic Behavior and Organization (en annan tidskrift som publicerat en Titanic-artikel) har meddelat Frey att de inte tänker ta emot fler artiklar från honom som en följd av detta.

I går publicerade Olaf Storbeck, den journalist som i bästa grävaranda sammanställt fakta kring Frey och hans medförfattares Titanic-publikationer, en uppföljning på hans blogg Economics Intelligence. Det är onekligen dyster läsning för den som hoppades att detta var en engångsföreteelse. Det visar sig att det finns ett stort antal artiklar av Frey (både själv och med olika medförfattare) som uppenbart är mer eller mindre duplikat som publicerats i olika tidskrifter. På en mycket ambitiös sida kan man se artiklar sida vid sida där stora avsnitt är identiska. Det finns till och med en Wikileaks inspirerad sida – FreyPlag Wiki – som ger en översikt av bekräftade och misstänkta projekt.

En ironisk detalj är att ett av projekten som uppenbart publicerats i två uppsättningar under lite olika rubriker handlar om publiceringshets och hur detta skapar incitament som Frey liknar vid prostitution. Artikeln ”Publication as Prostitution” (publicerad i Public Choice, 2003) har följande abstract:

Survival in academia depends on publications in refereed journals. Authors only get their papers accepted if they intellectually prostitute themselves by slavishly following the demands made by anonymous referees who have no propertyrights to the journals they advise. Intellectual prostitutionis neither beneficial to suppliers nor consumers. But it is avoidable. The editor (with property rights to the journal)should make the basic decision of whether a paper is worth publishing or not. The referees should only offer suggestions for improvement. The author may disregard this advice. This reduces intellectual prostitution and produces more original publications.”

Artikeln ”Problems wth publishing” (publicerad i European Journal of Law and Economics, 2005) har ett abstract som är exakt likadant. Går man sedan igenom texten så är stora delar helt identiska (titta själv här).

Som en observant ekonomistas läsare kommenterade på Evas inlägg ”(man är frestad att) spekulera i att Freys bekymmer med ”akademisk prostitution” bottnar i någon slags mental introspektion — det finns säkert en beteendevetar-term som är mer mitt i prick.”

Hela affären och alla tänkbara länkar finns som sagt på Economics Intelligence.

Det våras för replikationsstudier

I princip all empirisk forskning utgår från datamaterial som samlats in under specifika omständigheter, tidsperioder och geografiska områden. Behovet att säkerställa resultatens tillförlitlighet och överförbarhet till andra områden är därför stort. Replikationsstudier utgör ett naturligt sätt att möta detta behov, men trots detta görs och publiceras väldigt få sådana studier inom nationalekonomi. Fast kanske har ett trendbrott skett?

I en tänkvärd artikel beklagar sig den amerikanske ekonomen Daniel Hamermesh över nationalekonomins problem att generera replikationsstudier. Antingen innebär detta att man upprepar undersökningen på samma datamaterial med samma eller ny metod, eller att man använder ett annat datamaterial för att testa resultatens giltighet. Kvalitetsgranskning sker visserligen redan idag, men det är sällan som referees går på djupet så att alla fel – små eller stora – kan upptäckas i datahantering, programmering eller metodval.

Enligt Hamermesh skulle replikationsstudier utgöra ett utmärkt komplement i granskningen. Naturligtvis kan inte alla artiklar replikeras utan endast där andra anser det tillräckligt nödvändigt eller intressant. Tyvärr görs och publiceras alltför få replikationsstudier. Hamermesh spekulerar i vad detta beror på, och konstaterar att sådana studier inte värderas i professionen (pga bristande originalitet), men även att man riskerar göra sig ovän med de forskare vars arbete man ska granska. En annan anledning är att få forskare tillgängliggör sina dataset.

Men på senare tid har åtminstone ett av dessa hinder börjat rämna: tillgängligheten på data. Sedan några kräver American Economic Review att alla författare publicerar sina data, fritt nedladdningsbara med tillhörande dokumentationsfiler. Därefter har fler slutit upp (bl a QJE, ReStud, ReStat, JHR) och förhoppningsvis växer en ny norm fram där det blir självklart att offentliggöra alla data och programfiler i samband med publicering.

För att snabba på utvecklingen av en livaktigare replikationslitteratur tycker jag att högre grundutbildnings- och doktorandkurser bör rutinmässigt innehålla replikationsövningar. Studenterna lär sig mycket genom att bekanta sig med “riktiga” dataset och hur statistikprogramkod ser ut. Men kanske viktigast av allt är att studenterna på detta vis skapar ett mervärde för hela forskarkollektivet. Kanske kan vi snart inte längre ta forskningsresultat för givna bara för att de publicerats – vi måste vänta tills de har replikerats!

HT: Martin F

Betydelsen av kvinnliga förebilder

Det är knappast en underdrift att säga att kvinnor år underrepresenterade professorer inom nationalekonomi i Sverige. Förhoppningsvis är detta något som kommer att förändras på sikt, men då krävs att stocken av kvinnliga forskare byggs på underifrån till exempel via fler kvinnor på forskarutbildningen.

I ett nytt working paper  undersöks i vilken utsträckning antalet kvinnliga doktorander på tio amerikanska topp-universitet beror på hur många kvinnor det finns bland de seniora forskarna.

De finner för  att det finns en stark korrelation mellan antalet kvinnor bland doktoranderna och antalet kvinnor bland seniora forskare. Dessutom verkar detta samband vara kausalt. För en procentenhets ökning i andelen seniora kvinnor så ökar andelen kvinnor bland doktoranderna med 2-3 procentenheter.

Hur bär sig då forskarna åt för att fastställa ett kausalt samband? Jo, de instrumenterar andelen kvinnliga forskare med att män lämnar institutionen. För att inte riskera att fånga upp män som lämnar arbetsplatsen i protest mot att det blivit fler kvinnor så genomför de en mängd känslighetsanalyser där de bland annat bara använder män som går till ett annat topp-universitet eller med den predicerade sannolikheten att männen slutar med tanke på männens ålder och publiceringsframgångar.

Resultaten tyder alltså på att det är viktigt med kvinnliga förebilder för doktorander — men därmed också att utvecklingen mot fler kvinnliga professorer kan förväntas ta lång tid

 

Tack Niclas Berggren (nonicoc) för tipset!

Reglering av skolmarknaden

Igår presenterade SNS en nedladdningsbar bok (se även DN) om privat tillhandahållande av offentligt finansierade välfärdstjänster som minst sagt väckt känslor (se även här, här och Evas kommentar). Som författare till kapitlet om friskolor vill jag naturligtvis ge en sammanfattning här på Ekonomistas.

Det finns styrproblem i alla skolsystem och offentliga monopol kan ha begränsade möjligheter och incitament för att löpande förbättra kvaliteten i verksamheten. Dessutom ligger det i sakens natur att det finns ont om förebilder i sådana system och att de kan ha svårt att hantera individuella behov. Ytterligare problem är att utföraren ofta granskar sig själv och erfarenheten säger att spridningen av kunskap om bra arbetssätt fungerar dåligt i den offentliga skolan.

Det finns alltså en potential för förbättringar via privata alternativ och konkurrensutsättning, men ett par faktorer gör att detta knappast sker av sig självt. För det första finns det stora informations- och kunskapsproblem som gör det svårt för individen att fatta kloka beslut. Detta gör att producenten kan utnyttja sitt informationsövertag till att erbjuda en lågkvalitativ och billig tjänst. Att som kund i efterhand utkräva ansvar för undermålig kvalitet är i princip omöjligt och att byta skola är inget man gör hur som helst.

För det andra är det inte säkert att det ligger i samhällets intresse att låta individens beslut bli vägledande för verksamheten. Betygen är ett uppenbart exempel: det ligger i den enskildes intresse att kräva högre betyg medan det ligger i samhällets intresse att ha ett rättvisande och likvärdigt betygssystem. Motsvarande argument kan gälla för den vildvuxna flora av gymnasiekurser som vuxit fram i avregleringens spår.

Vad säger då data om friskolesektorns kvalitet? Figuren nedan visar hur det går för elever i vinst- respektive icke-vinstdrivande fristående grundskolor relativt elever i kommunala grundskolor, efter att hänsyn tagits till diverse bakgrundsfaktorer.* (Ett positivt värde betyder att friskoleeleverna presterar bättre än elever från kommunala skolor.)

Först ser man att eleverna från friskolor får högre betyg och bättre resultat på de nationella proven i nian. Varken betyg eller provresultat är emellertid helt tillförlitliga kvalitetsindikatorer, varför jag även undersöker hur det går på gymnasiet för elever från olika sorters grundskolor. De positiva effekterna av att ha gått på en friskola finns kvar men för de vinstdrivande friskolorna är skillnaden nu försumbar. Därefter jämförs resultaten från PISA-undersökningen och då finns ingen skillnad alls (tyvärr är datamaterialet för begränsat för att dela upp på olika typer av privata huvudmän). De sista staplarna visar att elever från vinstdrivande grundskolor får lägre gymnasiebetyg än elever med samma grundskolebetyg från kommunala grundskolor.

Inget av dessa mått är perfekt (och PISA är nog bäst) men de sista resultaten tyder på att betygssättningen antingen är för generös på de vinstdrivande friskolorna, eller att de kommunala skolorna systematiskt förmedlar mer av värdefulla kunskaper och förmågor som inte fångas av betygskriterierna.

Detta sagt finns det naturligtvis stora kvalitetsproblem även i den kommunala skolan och det finns i princip ingenting som tyder på att det är konkurrensutsättningen som ligger bakom den svenska skolans negativa resultatutveckling (åtminstone inte i grundskolan). Slutsatsen är att statsmakten bär ett tungt ansvar: att decentralisera och avreglera en så komplex verksamhet som skolan utan att se till att det finns instrument och strukturer för uppföljning och kontroll är minst sagt naivt. Därutöver finns det anledning att kräva bättre kontroll av blivande skolentreprenörer, ett större ekonomiskt ansvar av friskolorna — bland annat med kännbara böter om kvaliteten brister, och en hårdare reglering av utbildningarnas innehåll. Detta är också regeringen inne på i den nya skollagen men tyvärr har regeringen inte tagit itu med bristerna i betygssystemet.

* Kön, födelsemånad, eventuell invandringsålder och ursprungsland samt föräldrarnas utbildning, inkomst, ålder och invandringsbakgrund. Trots dessa justerningar överdrivs sannolikt (men inte säkert) de positiva effekterna av att ha gått på en friskola. Anledningen är att elever som väljer olika skolor även skiljer sig på sätt som inte fångas av kontrollvariablerna.
SVT Forum efterutsänder konferensen idag, torsdag, 9:20-12, och säkert i SVT Play därefter..

Ömtåliga tår trampade på

Idag presenterade SNS en ny antologi om kunskapsläget kring effekter av den konkurrensutsättning som de svenska välfärdstjänsterna har utsatts för de senaste 20 åren. Slutsatserna från antologin, sammanfattade av bokens redaktör Laura Hartman på DN Debatt idag är att, trots en mycket stor ökning av privata alternativ inom förskola, skola, vård och omsorg så finns det förvånansvärt få tecken på att så mycket har hänt vad gäller kvalitet och effektivitet. I sanningens namn finns överhuvudtaget väldigt få studier som på ett trovärdigt sätt undersöker effekter av konkurrensutsättning, men i de fall sådana finns så tyder de på närmast obefintliga effekter.

De som framför allt borde ta åt sig av kritiken i boken är de beslutsfattare som genomdrev stora och omfattande reformer av välfärdssektorn utan att  säkerställa att det skulle vara möjligt att utvärdera dessa reformer (t ex genom att säkerställa datainsamling) och utan att garantera att de privata (eller offentliga) aktörerna i tillräckligt hög grad utsattes för granskning.

Tyvärr så ställdes inga av dessa beslutsfattare mot väggen under dagens konferens. I stället kommenterades rapporten av en mängd aktörer från den privata sektorn, och det var tydligt att dessa inte var nöjda. Kunskapsskolans grundare Peje Emilsson gick så långt som att kalla boken för SNS sämsta produkt på 20 år. Som författare till ett av bokens kapitel (om förskola samförfattat med Kajsa Hanspers) hade jag mycket svårt att känna igen mig i hans kritik som bland annat gick ut på att vi i boken saknade tilltro till människan. Min slutsats är snarare att om man bär en tillräckligt stark övertygelse om någonting så är det svårt att acceptera att denna övertygelse inte finner stöd och man väljer då att utgå från att författarna till boken är illvilligt inställda till privata alternativ.

Lite beklämmande är det dock att SNS har valt att i stort sett enbart låta företrädare för privata aktörer få kommentera rapporten. SNS har i många år kämpat för att bli betraktade som en oberoende forskningsaktör och jag tycker själv att de har lyckats med detta. Dock blir jag lite orolig att omtanken om SNS medlemmar har fått styra vilka kommentatorer som har valts. Men jag hoppas att jag har fel och att det istället är SNS önskan om att väcka debatt som fått styra. Och var målet att få känslorna att flöda så lyckades man onekligen idag.

 

För er som missade detta så sänds det hela i morgon i SVT Forum i SVT2 09:20-12:00 och i Kunskapskanalen 12:00-13:00.