5.9 Proportional Reduction in Error (PRE)

Wie viel besser ist nun das erweiterte Modell im Vergleich zum kompakten Modell. Einen ersten Hinweis kann uns die Berechnung von PRE geben. PRE steht für Proportional Reduction in Error und gibt an, wie hoch der prozentuale Anteil der Fehler des kompakten Modells ist, welcher durch das erweiterte Modell reduziert wurde. Beispielsweise könnte PRE den Wert .80 annehmen. Dieser Wert würde bedeutet, dass das erweiterte Modell 80% der Fehler des kompakten Modells reduziert.

\[ PRE = \frac{SSE(C) - SSE(A)}{SSE(C)} = \frac{SSR}{SSE(C)} \]

Zwei Dinge sind bei der Berechnung von PRE wichtig. Erstens, wir müssen \(SSE_A\) von \(SSE_C\) abziehen und nicht umgekehrt, da wir wissen, dass der Fehler des erweiterten Modells immer kleiner ist als der Fehler des kompakten Modells (da das erweiterte Modell mehr Parameter als das kompakte Modell hat), ansonsten würden wir einen negativen Wert erhalten. Zweitens teilen wir das Resultat aus der Subtraktion von \(SSE_A - SSE_C\) mit \(SSE_C\), um ein relatives Maß zu erhalten. Relativ abhängig vom kompakten Modell.

Die Werte von PRE können zwischen 0 und 1 annehmen. 1 würde bedeuten, dass das erweiterte Modell alle Fehler des kompakten Modells erklärt. Nicht jedes PRE ist jedoch gleich beeindruckend. Nehmen wir an, du erhältst ein PRE von .02. Das erweiterte Modell hat fünf Parameter mehr als das kompakte Modell. Welches Modell ist nun besser? Wir gehen davon aus, dass das Modell, welches mit den wenigsten Parametern ähnliche Ergebnisse erzielt und daher sparsamer ist, besser ist. Aus diesem Grund würden wir in diesem Beispiel sagen, dass das kompakte Modell besser ist, schließlich hat es deutlich weniger Parameter als das erweitertes Modell und wir erhalten ein geringes PRE. Nur, ab welchem Wert ist PRE groß genug oder klein genug? Dies hängt von mehreren Faktoren ab. Wenn PRE substantiell durch nur einen Parameter reduziert wird, ist dies besser, als wenn PRE durch mehrere Parameter reduziert wird. Schließlich suchen wir sparsame Modelle mit wenigen Parametern. Im nächsten Modul werden wir diese Fragen genauer beantworten.

Erneut können wir PRE für unsere Hypothese berechnen. Uns liegen bereits alle Werte hierfür vor. Erweitern wir unsere Tabelle daher um PRE:

Source SSE df MSE F PRE
Reduction \(52.9\) \(1\) \(52.9 / 433 = 0.12\)
Error \(380.1\) \(9\)
Total Error \(433\) \(10\)

Unser erweitertes Modell reduziert also den Fehler des kompakten Modells um 12%.