Der Zielscheibenfehler
Das Suchen von Mustern oder Auffälligkeiten in einer Stichprobe ist ein geeigneter Weg, um neue Hypothesen zu formulieren. Dabei wird gern unbewusst ein gravierender Fehler begangen, obwohl er einfach nachzuvollziehen ist.
Viele Studien beruhen auf räumlichen und/oder zeitlichen Häufungen bestimmter Ereignisse oder Eigenschaften (Paradebeispiele sind Untersuchungen zu Krankheitsfällen in der Umgebung von Kraftwerken oder Mobilfunkmasten, z.B. [1], [2]). Finden sich in einer Stichprobe Häufungen an bestimmten Stellen, erhält man Hinweise auf eventuelle Beziehungen zwischen Merkmalen oder Merkmalsträgern in dieser Stichprobe. Die erfassten Merkmalswerte sind aber im Allgemeinen mit zufälligen Abweichungen von einem Erwartungswert behaftet. Sucht man in diesen Daten nach Häufungen bestimmter Ereignisse, so wird man fast zwangsläufig einige finden (findet man keine, so ist dies wiederum Zufall - über den Ausgang eines zufallsbehafteten Experiments können keine Aussagen getroffen werden. Natürlich ist es auch möglich, dass in einer Stichprobe alle Abweichungen den Betrag Null haben!).
Das folgende Beispiel soll ganz klar verdeutlichen, wie gefundene Häufungen in die Irre führen können: wir stellen uns vor, dass wir über eine gewisse Zeit zählen, an welchen Orten Kinder von ihren Stofftieren gebissen wurden.
Da Stofftiere in der Realität eher friedliche Gesellen sind, simulieren wir die Bisse über zwei (unterscheidbare und ideale) Würfel, von denen je einer die Zeile und die Spalte im Gitter unten angeben soll. Mit jedem Wurf der beiden Würfel erhalten wir die Koordinaten eines Feldes im Gitter, wir zählen das als Biss eines aggressiven Stofftieres und markieren das Feld mit einem Strich. Im untersuchten Gebiet sind zusätzlich vier Sünden der Zivilisation verteilt - eine Chemiefabrik, eine Hochspannungsleitung, eine Mülldeponie und ein Endlager für radioaktiven Abfall. Ein sanfter Druck auf den Knopf startet die Simulation und nimmt uns das Würfeln ab.
1 | 2 | 3 | 4 | 5 | 6 | |
1 | ||||||
2 | ||||||
3 | ||||||
4 | ||||||
5 | ||||||
6 |
Nun liegen die Rohdaten unserer Untersuchung vor, die Zahl der Bisse kann einfach in der direkten Umgebung der üblichen Verdächtigen ausgezählt werden, wenn wir das Feld in vier Quadranten aufteilen. Als Biss in der Nähe der Chemiefabrik zählen beispielsweise alle Treffer im Feld der Fabrik und in direkt angrenzenden Feldern.
Die simulierte Stichprobe besteht aus zufallsbehafteten Merkmalswerten, die sich ungleichmäß über das Feld verteilen - in der direkten Umgebung von ?? liefert die Simulation eine relative Häufigkeit der Bisse von 0%. Der Erwartungswert ist 25%, also treten die Vorfälle hier offensichtlich mit einer um 0% überhöhten Häufigkeit auf. Wir treiben das Beispiel auf die Spitze und stellen die Zahlen um: wir erwarten in Jedem Quadranten 25% der Treffer, als Maximum erhalten wir aber 0% oder
Aus diesem Ergebnis lässt sich zunächst eine besonders schöne
Aussage formulieren:
Rätsel um aggressive Kuscheltiere gelöst - Studie zeigt
0% mehr Angriffe nahe
?? !
Beißen Kuscheltiere also öfter in der Nähe von ?? ? Nein, natürlich nicht. Die Zahlen sind aus den erwürfelten Daten berechnet, die Häufung der Treffer ist nur durch den Zufall begründet. Es ist einfach falsch, an dieser Stelle aufzuhören und das zufällige Zusammentreffen von Ereignissen - die Koinzidenz (die ist das Ergebnis des Experiments) - als Beleg für einen kausalen Zusammenhang zu verstehen oder darzustellen. Der Satz oben vermittelt den Eindruck, dass ein Zusammenhang zwischen zwei Größen gefunden wurde - die korrekte Aussage ist aber, dass ein Zusammenhang zwischen zwei untersuchten Größen in einer speziellen Stichprobe gefunden wurde.
Wer sich auf das Ergebnis stürzt und einfach annimmt, dass es einen echten Grund für die Häufung geben muss, begeht den klassischen Zielscheibenfehler (Clustering Illusion). Um wirklich einen Hinweis auf einen Zusammenhang zwischen zwei Größen zu erhalten, kann man die Untersuchung mit anderen Stichproben wiederholen und damit den Einfluss des Zufalls weiter einschränken.
Im Englischen heißt der Fehler auch Texas Sharpshooter Fallacy, die Geschichte hinter der Bezeichnung macht den Fehler bildlich klar: auch der ungeübteste Schütze wird, wenn er auf eine Scheunenwand feuert, an vorher nicht festlegbaren Stellen Häufungen der Einschüsse erzeugen. Den Zielscheibenfehler begeht er dann, wenn er nachträglich eine Zielscheibe um eine dieser Häufungen malt (und sich als Scharfschütze feiern lässt).
Beispiele
Der Zielscheibenfehler ist weit verbreitet, das hier ist ein besonders schönes Beispiel: vielleicht erinnert sich der eine oder andere noch an den Film Erin Brokovich, der im Jahr 2001 einen Oscar erhielt. Der Film basiert auf einer wahren Geschichte, in der die Cluster-Illusion zu einer Schmerzensgeldzahlung von 333 Millionen US-$ geführt hat [3].
Auch die Frage, ob der Mensch bei Vollmond schlechter schläft (die, wenn man die Zahl der Treffer in einer beliebigen Suchmaschine betrachtet, von großer Bedeutung für den Fortbestand des Universums zu sein scheint), kann natürlich mit Hilfe der Statistik untersucht werden. Gerne wird dazu das Schlafverhalten einer Gruppe von Personen auf Häufungen untersucht, wer sich die Mühe macht und kurz recherchiert, wird jede Menge Artikel finden, die daraus den ultimativen Beweis für den Einfluss der Mondphasen auf den Menschen konstruieren. Das ist schlicht falsch, eine solche Studie kann lediglich eine Hypothese liefern, einen Hinweis, der in weiteren, unabhängigen Untersuchungen bestätigt oder widerlegt werden kann. Nun finden sich zu diesem Thema sehr viele Untersuchungen, die aussagen, dass man bei Vollmond schlechter schläft und nur wenige, laut denen die Mondphase keine Rolle spielt. Kann man denn daraus schließen, dass der Vollmond einen Einfluss hat? Dummerweise nein - Statistik ist recht komplex. Im Falle der Mondphasen existieren ähnlich viele Studien, die auf das Gegenteil hinweisen. Der Bestätigungsfehler führt aber dazu, dass viele dieser Statistiken nicht veröffentlicht werden [4], [5] (im Falle wissenschaftlicher Veröffentlichungen nennt man diesen Effekt Schubladenproblem oder Publikationsbias).
- [1] Mobilfunkmasten vom „Tower of doom“ entfernt, Zeitenschrift 2007
- [2] Einfluss der räumlichen Nähe von Mobilfunksendeanlagen auf die Krebsinzidenz, umwelt-medizin-gesellschaft 17 (4): 326-335
- [3] George Johnson, "Cancer Cluster or Chance?", Slate, 3/19/2013
- [4]Beeinflusst der Mond unseren Schlaf?, Max-Planck-Gesellschaft, Juni 2014
- [5] Lunar cycle effects on sleep and the file drawer problem, Cordi, Maren et al., Current Biology , Volume 24 , Issue 12 , R549 - R550