De flesta av oss har egenskaper, beteenden eller åsikter som vi inte alltid är beredda att stå för. Det är ett problem i samhällsvetenskaplig forskning eftersom vi ofta är beroende av att folk avslöjar hur någonting faktiskt är snarare än hur den tillrättalagda versionen, som vi skulle vilja visa upp, ser ut. Så hur ska vi göra för att få människor att avslöja sina mindre smickrande konsumptionsmönster, politiskt inkorrekta åsikter, osv.? En ny studie visar ett listigt sätt att göra det på.
Förra veckan skrev jag om hur det icke-verbala IAT-testet kan användas för att avslöja en persons fördomar – även om personen inte själv är medveten om dem. Men den metoden är ofta inte möjlig att tillämpa. I sin forskning visar ekonomen Katherine Coffman vid Ohio State University och hennes medförfattare att det finns ett enklare sätt: ett smart sätt att ställa frågor som ger ärligare svar och samtidigt värnar respondentens integritet.
I studien använder sig författarna av homosexualitet som exempel på ett känsligt område. De konstaterar att det finns anledning att tro att många som är homosexuella i USA inte vill avslöja det i en enkätundersökning även om deras anonymitet är garanterad. För att få en bättre uppfattning om huruvida det finns fler homosexuella än en vanlig enkät skulle visa utvecklar de en ny metod för att ställa frågor. Idén illustreras i bilden nedan.
Man börjar med att dela in de man ska ställa frågan till i två grupper (som är framtagna så att de, statistiskt sett, är likadana). Grupp 1 presenteras med ett antal påståenden, varav ett är det som man är intresserad av (i det här fallet homosexualitet). Sedan svarar de på hur många av dessa påståenden totalt, mellan 0 och 5, som de håller med om. Grupp 2 får de icke-känsliga påståendena presenterade för sig på samma sätt, men får den känsliga frågan separat.
Det som sedan jämförs är totalsumman av hur många påståenden de två grupperna håller med om. Om det inte är känsligt att rapportera att man är homosexuell skulle denna totalsumma vara samma för de två grupperna. Om det däremot är känsligt så kan man förvänta sig en lägre totalsumma i grupp 2 än i grupp 1, eftersom det bara är personerna i grupp 2 som uttryckligen behöver svara på den känsliga frågan. Det fiffiga med detta sätt att fråga är att man får reda på om det finns en systematisk underrapportering av homosexualitet utan att någon tvingas svara direkt på en fråga som känns obekväm – metoden respekterar alltså den personliga integriteten samtidigt som den ger ärligare svar.
Coffman och hennes medförfattare finner att det här sättet att ställa frågor på gör stor skillnad för hur svaren ser ut. Genom att inte tvinga personer att explicit besvara frågan om homosexualitet ökade andelen som höll med om det känsliga påståendet från 11 till 19 procent. Resultatet blev detsamma när det känsliga påståendet istället handlade om nedsättande åsikter om homosexuella (något som författarna menar att fler människor har än som vågar erkänna det). I grupp 1 sa 16 procent av de som svarade på enkäten till exempel att de inte skulle uppskatta att ha en homosexuell chef. Detta ökade till 27 procent i grupp 2.
Det är spännande att spekulera i (och kanske så småningom också testa) vad den här tekniken kan användas till. Ett potentiellt problem är att det behövs relativt stora grupper för att säkerställa statistisk signifikans, men även med den begränsningen bör vi kunna lära oss en hel del nytt om samhället och oss människor. Själv skulle jag tycka att det vore spännande undersöka om det går att använda detta som ett sätt för att till exempel få medlemmar i politiska partier att avslöja sina verkliga (snarare än partiapparatens) åsikter. Andra idéer mottages tacksamt i kommentarsfältet!
Ekonomistas 
Med anledning av detta och ditt förra inlägg tycker jag det är värt att påpeka att våra “fördomar”, våra förutfattade meningar är nödvändiga för vår överlevnad. För att tala med Kahnemans språk så är de delar av vårt “System 1”, vårt intuitiva tänkande. Fördomarna stämmer nästan alltid tillräckligt väl överens med verkligheten för att vara till nytta för oss.
När det stod “No Irish need apply” i USA så berodde det på att irländare söp skallen i bitar och slogs. Det var inte förrän den katolska kyrkan ändrat detta beteende efter lång kamp som irländarna blev accepterade. Så verkligheten ändrades och “fördomen försvann”.
Enligt Trivers, 1971 tror jag, så bör vi som sociala djur vara designade för självbedrägeri. En av de huvudanledningar man tror finns för mänsklig intelligens är “folk psychology” där vi försöker luska ut vad andra tycker och tänker. För att vi ska låta övertygande om våra avsikter så måste vi först övertyga oss själva.
Matt Ridleys “The Origin of Virtue” är mycket bra här. Azar Gat påpekar att människor i alla tider antingen prisat fred eller krig. Från sid 39 i War in Human Civilization:
By comparison, as aggression is only one possible, and highly dangerous, tactic, rather than a primary need, the emotional mechanisms that regulate it are sharply antithetical, ready to turn it on and off. On the ‘on’ side, the primary motives and drives that trigger aggression are emotionally underpinned not merely by feelings such as fear and animosity; the fighting activity itself is stimulated by individual and communal thrill, enjoyment in the competitive exercise of spiritual and physical faculties, and even cruelty, blood lust, and killing ecstasy. These are all emotional mechanisms intended to fuel and sustain aggression. Equally, however, on the other, ‘off’, side, aggression is emotionally suppressed and deterred by fear, spiritual and physical fatigue, compassion, abhorrence of violence, and revulsion of bloodshed. It seems almost redundant to point out that there are also tremendous emotional stimuli for co-operation and peaceful behaviour. These antithetical emotional arrays, each triggered to support a conflicting stimulus, to and against aggression, are the reason why throughout the ages artists, thinkers, and ordinary folk of all sorts have claimed with conviction that people rejoice in war, whereas others have held with equal self-persuasion that people regard it as an unmitigated disaster. Both sentiments have been there, more or less active, depending on the circumstances. Singing the praise of war and decrying its horrors have both been common human responses.
Metoden kommer få långtgående konsekvenser för Södermalms självbild. Början till slutet för hipstersöder och “den goda människan”
“Hipstersöder”.. Så säger bara folk som aldrig är på söder utan har läst i nån tidning eller liknande att det bara bor “hipsters” där. Alternativt vet man inte vad ordet betyder.
Intressant och smart metod. Känns spontant bra mycket mer solid än det tidigare presenterade IAT-testet där det känns högst tveksamt att man alls mäter det som man utger sig för att mäta.
Jag tycker beskrivningen är bristfällig. Jag ser en kontradiktion. I exemplet pratar man om att det var en högre siffra i grupp 1 än i grupp 2. Medan i fallet med en homosexuell chef så är det plötsligen högre siffra för grupp 2 än grupp 1, eller försöker exemplet säga att det är viktigt att offentligt ha en förutfattad mening om homosexuella men att man innerst inne inte bryr sig?
Nu har jag då förutfattade meningar om USA, och ja det är kontroversiellt att i vissa delar av landet vara pro gay, men att det leder till att människor skulle underrapportera i samma utsträckning på den frågan som frågan om man själv är gay känns bara märkligt.
På sin höjd mäter den under/över-rapportering men jag är tveksam till att den i slutändan kan avgöra hur mycket eller lite det är.
It would be nice to have a control question — suppose that you did the same manipulation with “do you prefer salmon to herring?”. As far as I can tell they didn’t do that.
This is because you may be worried that the framing affects decisions. In particular: suppose that, when you have a choice between 1-6 true statements, or 1-4 true statements, you tend to choose the middle option in both cases (i.e., you choose 3 in the first case, and 2 in the second case). Then you would get their result but it would be an artefact of the methodology.
Tom: Good point! In the paper theyactually test if there is a difference for non-sensitive questions but there is no such difference. We are using this Method now to look at purchase of sex in one Project and attitudes towards quotas for immigrants in another.
Bra inägg för övrigt, och väldigt bra blogg såklart (även om detta är mina första kommentar)
Det vore onekligen intressant att fråga partisympatisörer från alla partier vad de egentligen tycker. Problemet här är väl dock att man (eller iaf jag…) vill ställa 30 frågor till dem, och då fungerar metoden inte så bra.
Håller för övrigt med om tom cunnighams invändning. Har de kontrollerat för detta? Det finns en hyggligt stor sannolikhet att detta får läggas i högen “intressanta resultat som tyvärr inte visade sig vara repeterbara”, misstänker jag.
Intressanta men framför allt skrämmande resultat! Men jag vet inte om jag förstår metodbidraget. Insikten att man kan jämföra unmatched count med resultaten från en rak enkätfråga känns ju inte så revolutionerande? Och får inte grupp 2 just en fråga som är obekväm? Jag missar säkert något.
Du ha verkligen rätt…kände inte till det men googlade nu. http://en.wikipedia.org/wiki/Unmatched_count …
Metoden Johanna beskriver gör kanske att man kan mäta bias genom att även ge den känsliga frågan till kontrollgruppen? Men det känns ju mer rättvisst att hävda att det är en liten modifikation på Raghavarao och Federers teknik snarare än att ge Coffman äran för att utvecklat den. Dock brukar den som introducerar tekniken i ett nytt ämne betraktas som uppfinnaren inom det ämnet 🙂
Jag föredrar en annan metod de nämner (men inte använder): “Singla slant. Om resultatet blev krona eller om du är homosexuell, svara JA. Om resultatet blev klave, svara NEJ.” Förutsatt att fler än 50 procent svarar “Ja” kan man sedan få fram ett resultat.
Fast varianten som föreslogs i rapporten verkade i stället visa en känslig och en oskyldig fråga och låta slumpen välja vilken som skulle besvaras, och av någon anledning säger de att folk inte litar på den metoden online.
Ja det kanske vore något för nästa KOLFU! Ett exempel skulle kunna vara huruvida man tycker att kvinnor är lämpliga ledare för politiska partier.