8.4 Poweranalysen

Bevor wir unsere Hypothesen testen, gehen wir ein Stück zurück und überlegen uns vorab, welchen Effekt wir erwarten würden. Wir wissen, dass wir den Effekt bei der einfachen und multiplen Regression mit Hilfe von \(R^2\) definieren können. Versuchen wir den Effekt der Lernzeit auf die Note zu testen. Ich würde erwarten, dass die Lernzeit ein guter Prädiktor der Mathematiknote ist. Schüler*innen, die länger lernen, sollten auch besser in Mathe abschneiden. Allerdings glaube ich nicht, dass die Lernzeit allein entscheident ist, wie gut jemand in Mathe ist. Schließlich wenden Schüler*innen nicht immer effektive Lernstrategien an. Daher schätze ich, dass die Lernzeit in etwa 15% der Varianz der Mathematiknote aufklärt, wenn wir für die Durchfallquote kontrollieren. Genauer gesagt schätze ich, dass \(R^2 = .15\) ist. Im besten Fall würden wir diese Schätzungen aufgrund bisheriger Forschung machen.

Die Frage ist, wie hoch wäre meine Power bei einer solchen Studie. Aus dem letzten Modul wissen wir, dass wir hierfür das pwr Paket verwenden können. Um die Power dieser Studie zu berechnen, müssen wir zunächst unser erwartetes \(R^2\) in \(f^2\) umwandeln:

\[ f^2 = \frac{R^2}{1 - R^2} \]

Unser F-Test wird später die Freiheitsgrade \(df_1 = 1\) und \(df_2 = 392\) haben. Warum? Da unser erweitertes Modell einen Parameter mehr hat als das kompakte Modell (\(PA - PC = 3 - 2\)) und da dass erweiterte Modell insgesamt 3 Parameter umfasst (\(df_2 = 395 - 3\)):

\[ \begin{aligned} MODEL\ A &= \beta_0 + \beta_{failures} * X_{failures} + \beta_{studytime} * X_{studytime} + \epsilon_i \\ MODEL\ C &= \beta_0 + \beta_{failures} * X_{failures} + \epsilon_i \end{aligned} \] Mit Hilfe des zu erwarteten Effekts und den Freiheitsgraden können wir nun unsere Power berechnen:

## 
##      Multiple regression power calculation 
## 
##               u = 1
##               v = 392
##              f2 = 0.1764706
##       sig.level = 0.05
##           power = 1

Die Power bei einem solchen Effekt würde 100% betragen. Dies heißt im Umkehrschluss, dass wir mit hunderprozentiger Wahrscheinlichkeit einen signifikanten Effekt erzielen werden. Woran liegt das? Zunächst daran, dass wir eine sehr hohe Stichprobe haben und dadurch sehr einfach auch kleine Effekte entdecken würden. Schau dir im Vergleich einmal die Power an, wenn unsere Stichprobe nur 25 Personen betragen würden:

## 
##      Multiple regression power calculation 
## 
##               u = 1
##               v = 23
##              f2 = 0.1764706
##       sig.level = 0.05
##           power = 0.520932

Bei einer solch kleinen Stichprobe läge unsere Power bei 52%. Dies bedeutet, dass wir bei diesem Experiment mit einer Wahrscheinlichkeit von 48% einen Betafehler begehen würden. Wir würden die Alternativhypothese zu Gunsten der Nullhypothese ablehnen, obwohl die Alternativhypothese korrekt ist (unter der Bedingung, dass der Effekt von \(R^2 = 0.15\) korrekt ist). Du solltest demnach bei dieser Studie mehr Probanden erheben, um mindestens eine Power von 80% zu erzielen. Rechnen wir schnell aus, wie groß diese Stichprobe sein müsste:

## 
##      Multiple regression power calculation 
## 
##               u = 1
##               v = 44.47807
##              f2 = 0.1764706
##       sig.level = 0.05
##           power = 0.8

Du bräuchtest mindestens 48 Probanden (\(45 + 3\)), um eine Power von 80% zu erzielen. An diesen Berechnungen siehst du sehr gut, wie wichtig es ist, sich vor einer Studie bereits Gedanken über den möglichen Effekt einer Variable zu machen. Wir sollten nie blind Probanden erheben. Wir sollten gut überlegen, wie groß der zu erwartende Effekt ist und die Stichprobengröße berechnen, um einen bestimmten Effekt zu erzielen. Unsere Poweranalyse beispielsweise hat ergeben, dass wir zu viele Probanden haben, da wir immer ein signifikantes Ergebnis erzielen würden.