Was bedeutet ein «signifikanter Unterschied» zwischen den Therapien?

Dies ist eine schwierige Frage, denn der Begriff «signifikanter Unterschied» kann mehrere Bedeutungen haben. Zunächst einmal kann er einen für den Patienten tatsächlich wichtigen Unterschied bezeichnen. Wenn jedoch die Autoren wissenschaftlicher Forschungsberichte von einem «signifikanten Unterschied» sprechen, beziehen sie sich häufig auf «statistische Signifikanz». Und «statistisch signifikante Unterschiede» sind nicht unbedingt «signifikant», d. h. «bedeutsam», im alltäglichen Sinn des Wortes. Denn ein Unterschied zwischen Therapien, der sehr wahrscheinlich nicht zufallsbedingt ist – also «ein statistisch signifikanter Unterschied» – hat unter Umständen nur wenig oder gar keine praktische Relevanz.

Sehen wir uns dazu das Beispiel eines systematischen Reviews von randomisierten Studien an, in denen die Erfahrungen zehntausender gesunder Männer, die täglich eine Aspirintablette eingenommen haben, mit den Erfahrungen zehntausender anderer gesunder Männer verglichen wurden, die kein Aspirin einnahmen. In diesem Review war bei den Männern in der Aspiringruppe eine niedrigere Herzinfarktrate zu beobachten, und der Unterschied war «statistisch signifikant», d. h. er war eher nicht durch reinen Zufall zu erklären. Aber das bedeutet nicht, dass er auch praktische Relevanz hat. Wenn bei einem gesunden Mann die Wahrscheinlichkeit, dass er einen Herzinfarkt erleidet, ohnehin nur sehr gering ist, dann ist die Einnahme eines Medikaments, mit dem dieses Risiko noch stärker gesenkt werden soll, unter Umständen nicht gerechtfertigt, vor allem nicht, wenn man bedenkt, dass Aspirin Nebenwirkungen hat, von denen einige (z. B. Blutungen) tödlich verlaufen können. [1] Auf der Grundlage der Erkenntnisse aus dem erwähnten systematischen Review können wir davon ausgehen, dass von 1000 Männern, die zehn Jahre lang täglich 100 mg Aspirin einnehmen, bei fünf in diesem Zeitraum ein Herzinfarkt verhindert würde, drei von ihnen aber eine stärkere Blutung entwickeln würden.

Was bedeutet «statistisch signifikant»?
«Um ehrlich zu sein: Das ist ein kniffliger Begriff. Er kann uns sagen, ob beispielsweise der Unterschied zwischen einem Medikament und einem Placebo oder zwischen den Lebenserwartungen zweier Personengruppen lediglich zufallsbedingt sein könnte … Er bedeutet, dass es unwahrscheinlich ist, dass ein Unterschied, der so groß ist wie der, den man beobachtet hat, allein auf Zufall beruht. Um den Grad dieser ‹Unwahrscheinlichkeit› anzugeben, benutzen Statistiker Standardwerte. Üblicherweise nehmen sie ein Signifikanzniveau von 5 % an (manchmal als p = 0,05 geschrieben). In diesem Fall bedeutet es, dass ein Unterschied als ‹signifikant› gilt, weil eine Wahrscheinlichkeit von weniger als 1 zu 20 besteht, dass das, was passiert ist, auf Zufall beruht.»

Spiegelhalter D, zitiert in: Making Sense of Statistics. 2010. www.senseaboutscience.org