Kommentar angående The Lancet
Jag har redan fått kommentarer till inlägget "Antal döda i Irak", vilket jag tycker är roligt. En kommentar som jag vill bemöta är skriven av signaturen "Pontus".
Visst missade jag att nämna konfidensintervallen, och jag är glad att du tar upp det, eftersom det brukar vara den främsta kritiken som riktas mot The Lancets undersökning. Jag ska försöka att besvara dina påståenden så gott jag kan, och visa varför du har fel.
Riktigt så enkelt som du vill framställa det är inte frågan om konfidensintervallen. Du återspeglar den vanliga kritiken som brukar riktas mot The Lancets studie från oförstående kommentatorer. The Chronicle of Higher Education, som jag länkade till i det första inlägget, beskriver kritiken som har riktats mot studien:
Förklaringen till att påståendet är felaktigt kommer från Bradley A. Woodruff, medicinsk epidemiolog vid US Centers for Disease Control and Prevention:
För att upprepa, ju längre du kommer från den uppskattade siffran på 100.000, desto mindre sannolikt är det. Det är precis lika sannolikt/osannolikt att det är 8.000 som har dött, som att 194.000 har dött, och följaktligen mest sannolikt att 100.000 har dött. Det är det här som kritiker av rapporten aldrig har förstått (eller aldrig har velat förstå).
Ytterligare kommentarer från forskare:
En annan sak som oförstående kommentatorer brukar klanka ner på är urvalet, som de vanligtvis brukar anse är för begränsat. En av rapportförfattarna, Fernando Abad-Franch, kommenterar påståendet i The Lancet (Vol 365 March 26, 2005, sid. 1133):
The Chronicle of Higher Education kommenterar urvalet:
Så, för att sammanfatta, precisionen är inte "nästan noll", vilket du påstår. Anledningen till att media mer ofta brukar citera Iraq Body Count är givetvis att de redovisar färre döda. Som en kommentar till ditt påstående om Iraq Body Counts siffror, kan det vara värt att nämna att de själva inte håller med om din slutsats.
Värt att notera är att den här typen av kritik inte tidigare dykt upp mot undersökningar utförda med samma metodik. Forskaren som författade rapporten i The Lancet, Les Roberts vid Johns Hopkins University, har tidigare utfört studier i Kongo, Bosnien och Rwanda utan att kritik har höjts. Som han själv sade i en intervju:
Frågan är varför kritiken dyker upp nu, i fallet Irak. När antalet döda i Bosnien och Rwanda diskuterades, existerade ingen kritik från högerkanten. Anledningen till att kritiska röster höjs nu är givetvis på grund av att ockupationsmakten USA (indirekt?) står på de anklagades bänk; reflektioner kring metodik är inte av intresse då en officiell fiende står inför skranket.
Hoppas du är nöjd med svaret, Pontus.
Andra bloggar om: lancet, iraq, folkmord, genocide, iraq, tony blair, colin powell, iraq body count, usa
Du tog visserligen upp konfidensintervallen for Iraq Body Count, men "glomde" detta nar du pratar om The Lancet's studie.
De borjar vid 8000 doda och stracker sig till 192000. Att prata om estimatet 100' i detta fall ar faktiskt rent lojevackande. Precisionen ar nastan noll. Iraq Body Count ar mer citerad eftersom ett storre urval ar anvant och konfidensintervallen saledes ar mindre.
Kan vara vart att ta upp, aven om det inte stodjer dina intressen...
Visst missade jag att nämna konfidensintervallen, och jag är glad att du tar upp det, eftersom det brukar vara den främsta kritiken som riktas mot The Lancets undersökning. Jag ska försöka att besvara dina påståenden så gott jag kan, och visa varför du har fel.
Riktigt så enkelt som du vill framställa det är inte frågan om konfidensintervallen. Du återspeglar den vanliga kritiken som brukar riktas mot The Lancets studie från oförstående kommentatorer. The Chronicle of Higher Education, som jag länkade till i det första inlägget, beskriver kritiken som har riktats mot studien:
The online magazine Slate published an essay by its military columnist, Fred Kaplan, saying that the wide range of possible deaths, 8,000 to 194,000, is not an estimate. "It's a dartboard," he wrote.
Förklaringen till att påståendet är felaktigt kommer från Bradley A. Woodruff, medicinsk epidemiolog vid US Centers for Disease Control and Prevention:
Critics like the Slate writer seized on that range, says Dr. Woodruff, the government epidemiologist. "They thought, 'Well, it's just as likely to be 18,000 as 100,000.' That's not true at all," he says. "The further you get away from 100,000, the probability that the number is true gets much smaller."
För att upprepa, ju längre du kommer från den uppskattade siffran på 100.000, desto mindre sannolikt är det. Det är precis lika sannolikt/osannolikt att det är 8.000 som har dött, som att 194.000 har dött, och följaktligen mest sannolikt att 100.000 har dött. Det är det här som kritiker av rapporten aldrig har förstått (eller aldrig har velat förstå).
Ytterligare kommentarer från forskare:
Dr. Woodruff says, "[Lancets undersökning] has the most valid estimate."
Dr. Toole [chef för the Center for International Health at the Burnet Institute, min anm.] agrees: "If anything, the deaths may have been higher [than the study's estimate] because what they are unable to do is survey families where everyone has died."
En annan sak som oförstående kommentatorer brukar klanka ner på är urvalet, som de vanligtvis brukar anse är för begränsat. En av rapportförfattarna, Fernando Abad-Franch, kommenterar påståendet i The Lancet (Vol 365 March 26, 2005, sid. 1133):
The ability of a 33-neighbourhood sample to portray adequately the mortality experience of an entire country has seemed problematic to many critics of our study in Iraq. However, most mortality surveys in war zones only contain 30 clusters, as do the recommended approaches of United Nations agencies and the US Agency for International Development. Ample evidence suggests that 30 locations are reasonably adequate for measuring the level of malnutrition or immunisation coverage in an entire country.
The Chronicle of Higher Education kommenterar urvalet:
Scientists say the size of the survey was adequate for extrapolation to the entire country. "That's a classical sample size," says Michael J. Toole, head of the Center for International Health at the Burnet Institute, an Australian research organization. Researchers typically conduct surveys in 30 neighborhoods, so the Iraq study's total of 33 strengthens its conclusions. "I just don't see any evidence of significant exaggeration," he says.
Så, för att sammanfatta, precisionen är inte "nästan noll", vilket du påstår. Anledningen till att media mer ofta brukar citera Iraq Body Count är givetvis att de redovisar färre döda. Som en kommentar till ditt påstående om Iraq Body Counts siffror, kan det vara värt att nämna att de själva inte håller med om din slutsats.
John Sloboda, a professor of psychology at the University of Keele, in England, and a co-founder of Iraq Body Count, says his team's efforts will lead to a count smaller than the true number because not every death is reported in the news media.
Värt att notera är att den här typen av kritik inte tidigare dykt upp mot undersökningar utförda med samma metodik. Forskaren som författade rapporten i The Lancet, Les Roberts vid Johns Hopkins University, har tidigare utfört studier i Kongo, Bosnien och Rwanda utan att kritik har höjts. Som han själv sade i en intervju:
"Tony Blair and Colin Powell have quoted those results time and time again without any question as to the precision or validity."
Frågan är varför kritiken dyker upp nu, i fallet Irak. När antalet döda i Bosnien och Rwanda diskuterades, existerade ingen kritik från högerkanten. Anledningen till att kritiska röster höjs nu är givetvis på grund av att ockupationsmakten USA (indirekt?) står på de anklagades bänk; reflektioner kring metodik är inte av intresse då en officiell fiende står inför skranket.
Hoppas du är nöjd med svaret, Pontus.
Andra bloggar om: lancet, iraq, folkmord, genocide, iraq, tony blair, colin powell, iraq body count, usa
posted by olydig at 19:11
16 Comments:
Föredömligt svar!
Nästan lite taskigt mot stackars Pontus som säkerligen får svårt att bemöta det du skrev...
Påminner om USAs kritik av Röda Korset och Amnesty iom att man från dessa organisationers håll jämförde Guatanamo med Sovjets gulags.
Då försöker spin-maskinen att diskreditera dessa organsationers kommentarer trots att man tidigare varit mycket snabba med att anamma deras utsagor te.x. när det gällde att fördömma Irak.
Ja, Gulag-kritiken mot Guantanamo är intressant. Vips var det inte så viktigt för USA och den krigsglada högern med mänskliga rättigheter längre, något som har blivit ett huvudskäl till att Irak anfölls (efter att de förbaskade massförstörelsevapnen mystisk var försvunna...)...
Yabosid: Jag vet att du gillar citat. Här är min favorit från Rumsfeld när han kommenterar de försvunna WMD:
"We know where they are, they’re in the area around Tikrit and Baghdad and east, west, south and north
somewhat."
Den irakiska humanitära organisationen al-Iraqiyun hävdar i en ny rapport att minst 128 000 irakier har blivit dödade sedan USA och dess allierade invaderade landet i mars 2003. Siffrorna inkluderar även de som dog i städerna Fallujah och al-Qaim. Däremot innefattar inte rapporten de människor som blivit bortförda, mördade i attentat eller som saknas.
Dr. Hatim al-Alwani, ordförande för al-Iraqiyun, säger i en intervju med Mafkarat al-Islam, att alla irakier som blivit dödade sedan den angloamerikanska invasionen måste betraktas som offer för invasionen och den efterföljande ockupationen. Han säger också att 55 procent av de döda är kvinnor eller barn under 12 år.
128 000 döda irakier till följd av kriget innebär i genomsnitt 160 döda människor om dagen sedan USA:s invasion inleddes.
al-Iraqiyun's rapport bygger på sjukhussiffror från Iraks 18 provinser samt intervjuer och upplysningar från anhöriga till de döda.
Läs mer:
http://www.vanster.nu/news/index.php?feature=full&id=124
Tack för tipset!
128.000 döda kanske...?
Tack för tipset!
Hurra eller?
Ja, hurra för att 128.000 irakier har dött istället för bara 100.000
suck...
Nej, tack för tipset till en annan undersökning. Det trodde jag att varenda människa med normal cerebral funktion skulle förstå. Du motbevisade mig. Eller inte...
Skadeglädjen lyser igenom. Osmakligt.
Svar till den annonyme!
Det måste vara ett allvarligt fel på dig, sök hjälp!
Konfidensintervallet enormt, det går inte att komma ifrån. Jmfr tex en opinionsundersökning som sade att (s) har 40% +- 35% med 95% säkerhet. Skulle det vara trovärdigt att dra slutsatsen att (s) har runt 40% med ett sådant underlag?
Opinionsundersökningarna brukar baseras på ett antal tusen tillfrågade tror jag. Det brukar leda till att man kan säga att ändringar på ett par procent för ngt parti är statistiskt säkerställda, dvs utanför konfidensintervallet.
Att jämföra människoliv med partiprocent är givetvis galet, men däremot att jämföra konfidensintervall med konfidensinterval är det inte. Så, hur manga svar skulle man behöva för att producera ovanstående opinionsundersökning? Väldigt få är min gissning.
Till tobias: oliktänkande är det fel på. sovjettänket lyser igenom. osmakligt.
Till anonymous.
Du jämför äpplen med päron här. En opinionsundersökning är en annan metodik än den som använts av Lancet i Irak. Visst kan man tycka att det kan vara snårigt att extrapolera ett resultat till att gälla ett helt lands befolkning. Men rent statistiskt är det inget särskilt med ett konfidensintervall på 95 procent, det är snarare något normalt.
"Statisticians conventionally argue that researchers should have 95 per confidence that the association is not random. [...] The 95 per cent confidence level is convenient because it is just under two standard deviations (typical deviations) from the mean or average level and also is the point at which the normal distribution becomes flat."
(Theory and Methods in Political Science, 2002, sid. 223)
Angående storkleken på urvalet, så brukar opinionsundersökningar (som är en annan typ av metod än den som Lancet använt sig av) basera sig på ungefär tusen tillfrågade, inte flera tusen, vilket framgår från exempelvis SIFO's undersökningar. En annan bok skriver följande om storleken av urval:
"However, the gains in accuracy from increasing sample size become very limited after a quickly reached point. In statistical theory a sample size of 300 is large enough for most analytical purposes, though in practice researchers and opinion pollsters use much larger samples."
(Research Methods in Politics, 2004, sid. 93-94)
I Lancets undersökning har man intervjuat cirka 7.000 människor, alltså bra många fler än en vanlig opinionsundersökning (även om det fortfarande är att jämföra äpplen och päron).
Jag är ingen statistiker, och tycker det är intressant att föra en sådan här diskussion. Men vad som är mer intressant är att den förs först nu, i fallet med Irak. Samma metodik har använts av samma forskare i tidigare konflikter (Rwanda, Bosnien) utan att resultatet ifrågasatts. Resultatet ur de undersökningarna har istället citerats av makthavare som Blair och Powell för att motivera sin politik.
Varför kritiseras undersökningen i Irak nu? Givetvis är det för att det inte är en officiell fiende som står på de anklagades bänk.
"Men vad som är mer intressant är att den förs först nu, i fallet med Irak. [...]"
Jag tror att detta till stor del beror på att Irak är så enormt politiskt infekterat. Det finns nog många anledningar till detta, jag kom att tänka på Bush vs Clinton och Irak vs forna Jugoslavien. Jag tycker att det är väldigt svårt att skapa sig en bild av vad som igentligen har hänt i Jugoslavien och tror därför att den infekterade debatten delvis är nyttig. Att granska och debattera krig och dess anledningar kan inte vara fel. (Skulle nog behöva skriva mer om detta, men föredrar att hålla mig till statistiken!)
Vad jag menar är att det inte alls är äpplen och päron; konfidensintervall är en matematisk konstruktion som gör att det är relevant att jämföra på det sättet.
Jag tror att du missförstår konfidenintervallen lite. Typiskt används dessa på följande sätt:
Med 95% säkerhet (95% konfidensintervall) väger jag mellan 70 och 90 kilo.
Detta betyder alltså att det bara är 5% sannolikhet att min vikt ligger utanför det angivna intervallet.
I Lancet innebär detta att man med 95% säkerhet kan säga att intervallet 8000 till 187000 [Ungefär] stämmer med verkligheten.
För att minska intervallet (8000-187000) kan man tex göra fler intervjuer, det stora intervallet visar att man gjort relativt få intervjuer.
På samma sätt kan man göra väldigt lösa antaganden om en opinionsundersökning:
Om, säg, 1000 intervjuer leder till en att man med 95% säkerhet kan fastställa att en ändring på 2% (tex: (s) 30 +- 1.9% @ 95%) har skett (begreppet statistiskt säkerställd förändring) kanske man med 50 intervjuer kan visa (s) 30 +- 25% @ 95%.
Vidare är fördelningen över sannolikheten för ett utfall normalfördelad, vilket yttrar sig i x-y som en något tilplattad kyrkklocka ungefär, med 100000 på mitten. Om man minskar intervallet minskar också säkerheten, ett exempel med gissade siffror:
[8000,187000] @ 95% motsvarar
[90000,110000] @ 20% (således 80% chans att antalet döda är utanför intervallet...)
Undersökningen är således ganska trubbig.
Hoppas att det går att förstå vad jag menar... Och en reservation, jag är inte heller statistiker. Resonemanget kan mycket väl vara (isf omedvetet) krokigt någonstans. Rättning uppskattas isf.
Gillar bloggen föressten!
Tack för din utmärkta förklaring! Som sagt är jag ingen statistiker, och tycker det är intressant att diskutera detta.
Poängen har som sagt hela tiden varit: Varför kommer en metodologisk diskussion först nu, när samma metod använts i tidigare fall utan att ha blivit ifrågasatt? Värt att notera är att undersökningen inte ifrågasätts från akademiskt håll, utan av politiska debattörer. Metoden, med följande resultat, är snarare en fastställd norm inom det här forskningsfältet.
Givetvis ifrågasätts undersökningen på grund av att konflikten i Irak är "politiskt infekterad", jag håller fullständigt med dig där. Själva anledningen till att det är politiskt infekterat anser jag är ett resultat av att det inte är en officiell fiende, som Milosevic, som står anklagad, utan demokratins fanbärare USA.
Kul att du tycker om bloggen! Smicker uppskattas!
;)
Din fråga om varför det kommer en diskussion om metoderna just nu är väl egentligen retorisk, eller?
Men en inte alltför djärvt antagande är ju att resultatet denna gång inte är så smickrande för USA och bombhögern...
Visst är frågan retorisk, Lasse, och jag håller med om din slutsats.
<< Home