Kapitel 3 · Bivariate deskriptive Statistik

Regressionsrechnung

Von der Korrelation zur Vorhersage

Liegt eine Wirkungsrichtung nahe ($X \to Y$), beschreibt man $Y$ als Funktion von $X$: $\;y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$. Der Fehler $\varepsilon$ fängt die Abweichung von Modell und Daten auf.

Kleinste-Quadrate-Methode

Man wählt die Gerade so, dass die Summe der quadrierten vertikalen Abstände minimal wird:

Ableiten und Nullsetzen liefert die KQ-Schätzer:

Beachte: $b_1$ hat dasselbe Vorzeichen wie die Kovarianz (und wie $r$). Die Gerade geht stets durch den Schwerpunkt $(\bar x, \bar y)$.

Durchgerechnet: »Schlafverhalten«

Fernsehzeit $X$ und Tiefschlafdauer $Y$ von 9 Kindern. Aus den Daten: $\sum(x_i-\bar x)(y_i-\bar y) = -3{,}71$, $\sum(x_i-\bar x)^2 = 8{,}24$, $\bar x = 1{,}33$, $\bar y = 5{,}56$. Damit:

Interpretation: ohne Fernsehen ca. 6,16 h Tiefschlaf; je Stunde Fernsehen rund 0,45 h weniger. (Im Test gegen den Kern reproduziert.)

Streuungszerlegung

Die Gesamtstreuung von $Y$ zerlegt sich additiv in einen erklärten und einen nicht erklärten (Residuen-)Anteil:

Bestimmtheitsmaß und Residuen

Das Bestimmtheitsmaß ist gerade der Anteil der erklärten an der gesamten Streuung:

Bei Einfachregression gilt $R^2 = r^2$. Für das Schlafbeispiel $R^2 \approx 0{,}45$.

Die Residuen $\hat e_i = y_i - \hat y_i$ zeigen, wie gut das Modell passt: Ein Residuenplot ohne Muster spricht für ein gutes Modell; ein Trend oder eine sich ändernde Streuung deutet auf Modellverletzungen.

Klausurfalle: $R^2$ ist nicht die Steigung und nicht $r$ selbst, sondern $r^2$. Und: Eine gut passende Gerade rechtfertigt keine Extrapolation weit außerhalb des Datenbereichs.

Übungsaufgaben

duenger <- c(9, 18, 27, 36, 45, 54, 63, 72)
ertrag  <- c(10, 15, 30, 35, 25, 30, 50, 45)
modell <- lm(ertrag ~ duenger)     # Kleinste-Quadrate-Regression
coef(modell)                       # b0, b1
summary(modell)$r.squared          # Bestimmtheitsmaß
plot(duenger, ertrag); abline(modell)

(Intercept)     duenger
  8.0357143   0.5423280
[1] 0.7697

fernseh <- c(0.3, 2.2, 0.5, 0.7, 1.0, 1.8, 3.0, 0.2, 2.3)
schlaf  <- c(5.8, 4.4, 6.5, 5.8, 5.6, 5.0, 4.8, 6.0, 6.1)
modell <- lm(schlaf ~ fernseh)   # Kleinste-Quadrate-Regression
coef(modell)                     # b0, b1
summary(modell)$r.squared        # Bestimmtheitsmaß

(Intercept)     fernseh
  6.1553       -0.4498
[1] 0.4480

Fussball.df <- read.csv2("Fussball.csv")
plot(Fussball.df$Etat, Fussball.df$Punkte,
     xlab = "Etat (Mio. Euro)", ylab = "Punkte")
modell <- lm(Punkte ~ Etat, data = Fussball.df)
coef(modell)                       # b0, b1
abline(modell)                     # Regressionsgerade
summary(modell)$r.squared          # Bestimmtheitsmaß
plot(fitted(modell), resid(modell)); abline(h = 0)  # Residuenplot

# b1 > 0, R^2 mittel bis hoch -> Etat erklaert Punkte teilweise