Signifikant kann mit ‚interpretationswürdig‘ übersetzt werden und ist eine Eigenschaft des Ergebnisses von statistischen Tests. Diese Tests stellen quasi fest, ob ein Ergebnis/ein Unterschied von statistisch ermittelten Werten von oder zwischen mehreren Teilgesamtheiten einer Stichprobe rein zufällig zustande gekommen sein kann. Wenn die Wahrscheinlichkeit dafür sehr gering ist, geht man von wirklichen Unterschieden aus, die dann inhaltlich interpretiert werden (dürfen).
Signifikanz hängt von der Fallzahl ab. Die Aussagekraft von Studien ist um so höher, je höher die Fallzahl, es kann aber vorkommen dass kleine und klinisch nicht mehr relevante Unterschiede signifikant werden, wenn die Fallzahl nur hinreichend hoch ist.
Das Signifikanzniveau (gebräuchlich sind 5%, bzw. 1% – bei letzterem spricht man von „hoch signifikant“) bestimmt, mit welcher Sicherheit dieses Ergebnis/dieser Unterschied kein Zufall ist. Ist ein Ergebnis auf dem Signifikanzniveau von 5% Signifikant, so wird das oft mit „p < 0.05" bezeichnet. Das bedeutet, dass die Wahrscheinlichkeit, dass ein Zusammenhang nur durch Zufall entstanden ist, weniger als 5% beträgt. Mit 95%iger Sicherheit handelt es sich also um ein „echtes“ Ergebnis und nicht um ein zufälliges.
Das Signifikanzniveau sagt nicht unmittelbar etwas über die Effektstärke aus, da es von der Fallzahl abhängt.
Das relative Risiko ergibt sich als Quotient der absoluten Risiken [AR1=a/(a+b); AR2=c/(c+d)] der verglichenen Gruppen: RR=[a/(a+b)]/[c/(c+d)]. Die Schwäche dieses Kriteriums liegt darin, dass es nichts über die Größe der absoluten Risiken und damit nichts zur klinischen Relevanz aussagt. Ein RR von 33% kann einer Abnahme des absoluten Risikos AR von 3% auf 1% aber auch von 60% auf 20% entsprechen. Dass sich diese beiden Möglichkeiten in ihrer klinischen Relevanz unterscheiden, liegt auf der Hand, besonders dann, wenn in beiden Fällen der therapeutische Gewinn bei z.B. 5% der Kranken mit gravierenden Nebenwirkungen bezahlt wird.
Die absolute Risikoreduktion umgeht dieses Problem; sie ergibt sich aus ARR=[c/(c+d)]- [a/(a+b)]; sie beschreibt den prozentualen Anteil der Patienten, die im Vergleich zur Kontrollbedingung von der zu prüfenden Intervention zusätzlich profitieren. Da die ARR von der spontanen Häufigkeit der Ereignisse abhängt, bewirkt eine geringe spontane Häufigkeit zwangsläufig eine kleine absolute Risikominderung.
Diese Abhängigkeit von der spontanen Häufigkeit wird durch Verwendung der relativen Risikoreduktion RRR={[c/(c+d)]-[a/(a+b)]}/[c/(c+d)] umgangen. Die relative Risikoreduktion teilt aber die Schwächen des relativen Risikos.