6.1 \(P(D | H_0)\)

Wir haben uns im letzten Modul gefragt, ob Manager älter oder jünger als 42 Jahre sind. Zu Ende des Moduls konnten wir die Fragestellung nicht endgültig beantworten. Unser F-Test ergab, dass der Mittelwert der Stichprobe die Fehler im kompakten Modell nur minimal besser reduziert als ein weiterer willkürlicher Parameter. Zudem konnten wir zeigen, dass die Fehler durch den Mittelwert der Stichprobe nur um 12% reduziert werden:

\[ \begin{aligned} MODEL_C &= B_0 + \epsilon_i &= 42.0 + e_i \\ MODEL_A &= b_0 + \epsilon_i &= 44.3 + e_i \end{aligned} \]

Source SSE df MSE F PRE
Reduction \(52.9\) \(1\) \(52.9\) \(1.25\) \(0.12\)
Error \(380.1\) \(9\) \(42.33\)
Total Error \(433\) \(10\)

Wir müssen uns im nächsten Schritt fragen, ob nun die Nullhypothese oder die Alternativhypothese die Daten besser abbildet bzw. ob der Parameter des erweiterten Modells gut genug ist, die Fehler des kompakten Modells substantiell zu reduzieren. Um diese Frage zu beantworten, werden wir im nächsten Schritt Stichprobenkennwertverteilungen und die F-Verteilung kennen lernen. Wenngleich diese Konzepte sehr fern und mathematisch wirken, nutzen wir sie immer für die gleiche Frage. Es ist daher sinnvoll, dass du dir diese Frage in den nächsten Teilen immer wieder vor Augen führst.

Wie wahrscheinlich erhalten wir einen Kennwert unter der Bedingung, dass die Nullhypothese korrekt ist \((P(D|H_0)\)?

Diese Frage können wir als \(P(D|H_0)\) bezeichnen. Interessanterweise ist die Antwort auf diese Frage gar nicht das, was wir wissen möchten. Eigentlich interessiert uns wie wahrscheinlich die Hypothese gegeben der Daten ist: \(P(H_1|D)\). Diese Frage ist allerdings ungleich schwerer zu beantworten und methodologisch ungleich schwieriger zu beantworten. Die Frage nach \(P(D|H_0)\) wird gemeinhin als Null Hypothesis Significance Testing (NHST) bezeichnet. In den letzten Jahren war dieser Ansatz immer wieder in Kritik. Wir werden daher im Verlaufe des Kurses nicht nur fragen, wie groß \(P(D|H_0)\) ist, sondern auch, wie groß der Effekt ist, den wir erzielen. Beispielsweise könnten wir heraus finden, dass eine Lernmethode wirksamer ist als eine andere Lernmethode. Was uns allerdings eher interessiert ist, wie viel effektiver ist diese Lernmethode. Wir haben bereits eine dieser Effektgrößen kennen gelernt: PRE. PRE gibt an, wie viel genauer ein Modell ist als das kompakte Modell. Je größer PRE ist, desto größer ist der Effekt der Paramater und damit auch unseren Interventionen.