5.4 Parameter in Modellen

Wir haben gerade eines der einfachsten Modelle mit nur einem Parameter beschrieben:

\[ Y_i = \beta_0 + \epsilon_i \]

\(Y_i\) kennzeichnet unsere abhängige Variable, \(\beta_0\) den Mittelwert der Verteilung, \(\epsilon\) den Fehler für jede Person. Dieses Modell hat lediglich einen Parameter \(\beta_0\). Wir werden allerdings im Verlaufe des Kurses komplexere Modelle mit mehreren Modellen kennen lernen (z.B. \(\beta_0\) und \(\beta_1\) und \(\beta_2\)).

Jedes Modell kann nur so viele Parameter enthalten wie es Datenpunkte hat. Da unsere Stichprobe nur 10 Datenpunkte umfasst, können wir auch nur maximal ein Modell mit 10 Parametern aufstellen, um unsere abhängige Variable hervorzusagen. Schauen wir uns nochmal unsere Modelle an:

\[ \begin{aligned} MODEL_C &= B_0 + \epsilon_i \\ MODEL_A &= \beta_0 + \epsilon_i \end{aligned} \] Das kompakte Modell hat keine Parameter und das erweiterte Modell hat einen Parameter. Die Anzahl jener Parameter, die wir noch zu dem jeweiligen Modell hinzufügen können, nennen wir Freiheitsgrade (df). Da die Stichprobe 10 beträgt und das kompakte Modell keine Parameter enthält, können wir noch 10 weitere Parameter dem kompakten Modell hinzufügen. Das erweiterte Modell wiederum hat bereits einen Parameter. Wir können demnach nur noch \(10 - 1 = 9\) Parameter hinzufügen. Dies können wir in einer Tabelle darstellen. Die Anzahl der Parameter des kompakten Modells bezeichnen wir mit \(PC\), die Anzahl der Parameter des erweiterten Modells bezeichnen wir mit \(PA\). Die Größe der Stichprobe bezeichnen wir mit \(n\):

Source df
Erweitertes Modell \(n - PA = 10 - 1 = 9\)
Kompaktes Modell \(n - PC = 10 - 0 = 10\)

Gleichzeitig wissen wir, dass das erweiterte Modell einen Parameter mehr hat als das kompakte Modell. Diese Tatsache können wir in die Tabelle eintragen. Wir nennen diesen Unterschied Reduction:

Source df
Reduction \(PA - PC = 1 - 0 = 1\)
Erweitertes Modell \(9\)
Kompaktes Modell \(10\)