9.9 Post-Hoc Unterschiede testen

Manchmal haben wir keine Hypothesen bevor wir Daten erheben, in diesem Fall werden post-Hoc Tests berechnet. Stell dir beispielsweise vor, du hast keine Annahmen darüber, welcher Erziehungsberechtigter zu einer Veränderung des Alkoholkonsums der SuS führt. In diesem Fall werden in der Regel mehrere t-Tests für unabhängige Stichproben für alle Gruppenvergleiche berechnet. In unserem Beispiel wären dies folgende Tests:

  • Väter vs. Mütter
  • Väter vs. alle anderen Erziehungsberechtigten
  • Mütter vs. alle anderen Erziehungsberechtigten

Um diese t-Tests zu berechnen würden wir mehrere Tests berechnen, in denen wir folgende Modelle miteinander vergleichen:

\[ \begin{aligned} MODEL\ A &= b_0 + b_1 * X_1 \\ MODEL\ C &= b_0 \end{aligned} \]

\(b_1\) würden wir erneut kontrastkodieren, indem wir die Gruppen auf 1 und -1 setzen.

9.9.1 Alpha-Fehler Kumulierung

Durch diese Vorgehensweise entsteht allerdings ein Problem, da wir mit jedem Test die Wahrscheinlichkeit erhöhen, einen Fehler 1. Art zu begehen. Zur Erinnerung, ein Fehler 1. Art, tritt auf, wenn Model C korrekt ist, wir allerdings Modell C zugunsten von Modell A ablehnen:

Model C korrekt Model C nicht korrekt
Model C ablehnen Type I Fehler / Alpha Fehler Richtige Entscheidung
Model C nicht ablehnen Richtige Entscheidung Type II Fehler / Beta Fehler
Visualisierung des Alpha Fehlers

Figure 9.3: Visualisierung des Alpha Fehlers

Es kann demnach sein, dass wir bei Vergleichen mehrerer Gruppen einen Unterschied zwischen den Gruppen annehmen, obwohl dieser Unterschied in Wirklichkeit nicht besteht. Aus diesem Grund gibt es mehrere Verfahren, bei denen wir das Signifikanzniveau abhängig der Anzahl der Tests anpassen. Bekannte Verfahren sind Holm bzw. Bonferroni.

9.9.2 Post-Hoc Tests in Jamovi

In Jamovi können wir die Post-Hoc Tests direkt angeben:

Du siehst hier alle Gruppenvergleiche als t-Tests.

9.9.3 Post-Hoc Tests in emmeans

Ebenso können wir die Post-Hoc-Tests in emmeans berechnen:

##  contrast        estimate    SE  df t.ratio p.value
##  father - mother   0.0477 0.157 392 0.305   0.9502 
##  father - other    0.2507 0.265 392 0.944   0.6125 
##  mother - other    0.2030 0.241 392 0.842   0.6770 
## 
## P value adjustment: tukey method for comparing a family of 3 estimates