23

Muva (Subject) / Voraussetzungen der multiplen Regression (Lesson)

This lesson was created by Amalaswinthaa.

Learn lesson

back  |  next 1 / 1

• Voraussetzungen und problematische Datensituationen 1) korrekte Spezifikation des Modells 2) Messfehlerfreiheit der UVs (perfekte Reliabilität) 3) Ausreißer und einflussreiche Datenpunkte 4) Multikollinearität (wollen wir nicht haben) 5) Homoskedastizität 6) Unabhängigkeit der Residuen 7) Normalverteilung der Residuen
• Konsequenzen der Verletzung der Voraussetzungen Generell führt die Verletzung dazu dass: - die Regressionskoeffizienten verzerrt geschätzt werden (= "falsche" Regressionsgleichung) - und/oder dazu, dass deren Standardfehler falsch berechnet wird  → Konsequenzen für alle inferenzstatistischen Fragen und für die Verallgemeinerbarkeit des Regressionsmodells
• Voraussetzung: Korrekte Spezifikation des Modells Underfitting = Auslassen wichtiger Prädiktorterme - nicht lineare Anteile - Interaktionen - wichtige weitere Variablen (konfundierende) Abhilfe: - nicht-lineare Anteile und Interaktionen können enstprechende geprüft werden - Einfluss weiterer Variablen ist eher theoretisch zu be-/ergründen Explorativer Ansatz: bivariate Streudiagramme, Residuendiagramme, LOWESS-Anpassungslinie
• Korrekte Spezifikation des Modells Overfitting = Aufnahme irrelevanter Prädiktoren - führt zu verzerrter Schätzung der Regressionsgewichte - Prognosefehler und Kreuzvalidierungsfehler werden mit zunehmender Anzahl irrelevanter Prädiktoren größer (d.h. die Regressionskoeffizienten sind nicht zu verallgemeinern, bei anderen Daten ergeben sich deutliche Abweichungen) - Vermeidung durch Signfikanzprüfung der Prädiktoren und Elimination irrelevanter Prädiktoren
• LOWESS-Anpassungslinie locally weighted scatterplot smoother - Linie stellt den Zusammenhang dar, ohne ein bestimmtes Maß zugrunde zu legen - definiere einen Bereich um einen bestimmten X-Wert (smoothing window) - dieser Bereich enthält eine bestimmte Anzahl an X-Werten (z.B. 10% aller Datenpunkte) - Führe eine lineare Regression mit diesen Datenpunkten durch und berechne die vorhergesagten Werte - Wiederhole dies für alle beobachteten X-Werte - Grad der Glättung hängt davon ab, wie viele Werte in das smoothing window einbezogen werden 
• Konsequenzen von inkorrekter Modellspezifikation - Verzerrte Schätzung der Regressionskoeffizienten - Verzerrte Schätzung der Standardfehler --> möglicherweise verringerte Teststärke
• Voraussetzung: Messfehlerfreiheit der UVs (perfekte Reliabillität) - im Modell wird ein Fehlerterm für die AV berücksichtigt, aber nicht für die Prädiktoren → "Modell" stimmt nicht mehr, wenn auch die Prädiktoren einen Messfehler enthalten - sind die Prädiktoren stark messfehlerbehaftet, können falsche Regressionsgewichte resultieren - Größe des Messfehlers der UV über die Reliabilität bestimmen/ Angaben dazu der Literatur entnehmen → bei geringer Reliabilität: Regressionsodelle für latente Variablen verwenden (= lineare Strukturgleichungsmodelle) - möglichst reliable Skalen auswählen - nicht zu wenige Items verwenden
• Ausreißer: Extreme Werte auf den Prädiktoren - Extreme Werte haben einen größeren Einfluss auf die Regressionsfunktion  - Mahalanobis Distanz: standardisierte Abweichung vom Mittelwert; bezogen auf alle Prädiktoren - Hebelwert/zentrierter Hebelwert: "Wirkung" eines Wertes auf die Regressionsfunktion; berechnet sich ebenfalls aus der Abweichung der UVs von ihrem Mittelwert - auffällig, wenn hm > 2*k/n bzw. 3*k/n (bei großen/kleinen Stichproben)
• Identifizierung von extremen Werten lassen sich über Residuen identifizieren - Residuen -standardisierte Residuen: Residuum wird durch geschätzte Standardabweichung geteilt - studentisierte Residuen: Residuum wird durch geschätzte Standardabweichung an Stelle xm geteilt - ausgeschlossene Residuen: Regressionsfunktion wird ohne diesen Wert bestimmt
• Einflussreiche Datenpunkte - einflussreich = Wert verändert die Regressionsgleichung stark, d.h. ohne diesen Wert resultiert eine deutlich andere Regressionsgleichung - DfBETA/DfBETAS → Differenz in den Regressionsgewichten mit und ohne diesen Datenpunkt; ein Wert pro atenpunkt und Regressionskoeffizient DFFIT/DFFITS→Differenz zwischen den vorhergesagten Werten mit und ohne diesen Datenpunkt, ein Wert pro Datenpunkt Cooks Distanz → wird aus DfFITS berechnet, ein Wert pro Datenpunkt (Df = Differenz, S = standardisiert) ⇒für alle Maße Schwellenwerte, ab wann ein Wert als auffällig angesehen wird - zur Berechnung wird in der Regel der jeweilige Wert aus dem Datensatz entfernt und ermittelt, wie stark sich einzelne Parameter der Regressionsgleichung ändern - Datenpunkte nicht einfach so löschen! Kein p-Hacking! --> Man kann überlegen, wie sie zustande gekommen sein könnten und die Entscheidung sie zu löschen davon abhängig machen
• Advertisement
• Umgang mit einflussreichen Datenpunkten Problem: Regressionskoeffizienten können verzerrt sein Einzigartiger/besonderer Fall = ausschließen Bekannte Subpopulation = Subpopulation kontrollieren (z.B. Geschlecht) Unbekannte Subpopulation = Mischverteilungsmodelle Sensitivitätsanalysen: Berichte Ergebnisse mit und ohne einflussreiche Werte
• Was ist Multikollinearität? = hohe multiple Korrelation zwischen einem Prädiktor und den anderen Prädiktoren - führt zu einer unpräzisen Schätzung des Regressionsgewichtes (großer Standardfehler)
• Bestimmung der Multikollinearität Toleranzfaktor TOL j = 1 - R2j;1...(j)...k → Quadrierte multiple Korrelation zwischen dem Prädiktor Xj und allen übrigen Prädiktoren TOL = 0 → R2 = 1: exakte Multikollinearität TOL = 1 → R2 = 0: Prädiktor Xj mit allen anderen Prädiktoren unkorreliert TOL < .20/ .10 → R2 = .80 / .90: sehr hohe Multikollinearität - Problematisch ist die Korrelation zwischen Prädiktorvariablen nur, wenn diese wirklich sehr hoch ist (R2 > . 80) --> Prädiktor evtl. auch verzichtbar
• Bestimmung der Multikollinearität Varianzinflationsfaktor VIF j = 1/TOL j VIF = 1 →Prädiktor ist mit anderen Prädiktoren unkorreliert VIF > 10 → sehr hohe Multikollinearität VIF > 5 →hohe Multikollinearität
• Möglichkeiten der Reduktion von Multikollinearität - Zentrierung - Eliminierung von Prädiktoren - Aggregation: hoch korrelierende Variablen werden zusamengefasst (Mittelwert) (macht nur Sinn, wenn sie das selbe Konstrukt erfassen) - Faktorenanalytische Reduktion: statt vieler korrelierender Variablen wenige unkorrelierte Faktoren berücksichtigen
• Voraussetzung: Normalverteilung der Residuen - Verletzung führt zu korrekter Schätzung der Regressionsgleichung - aber falscher Schätzung der Standardfehler bei kleinen Stichproben - Verletzung kann aber auch auf Fehlspezifikation des Modells hinweisen - Deshalb: Histogramm der Residuen prüfen und/oder PP-Plot
• Voraussetzung: Homoskedastizität = gleiche Varianzen der AV für alle Ausprägungen der Prädiktoren = gleiche Varianzen der Residuen für alle Ausprägungen der Prädiktoren - Gegenteil: Heteroskedastizität - entspricht Varianzhomogenität bei ANOVA - Verletzung führt zu korrekter Schätzung der Regressionsgleichung, aber falscher Schätzung der Standardfehler - Identifikation über Residuenplot - es gibt unterschiedliche Residuen
• Residuenplot Residuen in Abhängigkeit vom vorhergesagten Wert - hilft bei der Entdeckung von Fehlspezifikationen - hilft bei der Entdeckung von Heteroskedastizität - man schaut, ob für alle Ausprägungen der AV die Residuen um Null streuen und ob diese Streuung überall etwa gleich groß ist 
• Der perfekte Residuenplot (vorhergesagte Werte (x) / Residuen (y)) - Streuung der Residuen (Abweichung von Null) ist über den gesamten Wertebereich etwa konstant --> Homoskedastizität - Anzahl der Residuen ist nicht über den gesamten Wertebereich konstant; einige Werte im äußeren Bereich, viele Werte in er Mitte --> Normalverteilung - Residuen haben über den gesamten Wertebereich einen Mittelwert von Null; sonst passt Modell nicht gut ("Fehlspezifikation"); die angepasste Funktion ist nicht optimal (z.B. lineare vs. quadratische Funktion)
• Residuenplots - zur Beurteilung von Normalverteilung und Homoskedastizität können verschiedene Residuen herangezogen werden  - meist werden sie standardisiert (z-Werte) --> MW = 0, SA = 1 - Standardisiertes Residuum/studentisiertes Residuum: unterschiedliche Arten der Standardisierung; studentisierte Residuen sind genauer (aber auch MW = 0, SA = 1) - Resiuden werden in ihrere Abhängigkeit von den vorhergesagte Werten dargestellt und nicht von den tatsächlichen Werten - Korrigierter geschätzter Wert: wurde zur Schätzung der Regressionsgleichung aus dem Datensatz eliminiert
• Formen im Residuenplot Trichterförmiger Verlauf = Heteroskedastizität bestimmte Gestalt (z.B. U-förmiger Verlauf): Fehlspezifikation des Modells
• Voraussetzung: Unabhängigkeit der Residuen - verletzt, wenn sich bestimmte Werte der AV/Residuen systematisch ähnlicher sind als andere - bei mehrstufiger Stichprobenauswahl (Klumpenstichprobe) - bei serieller Abhängigkeit (Daten im Zeitverlauf) - Verletzung führt zu korrekter Schätzung der Regressionsgleichung, aber (deutlicher) Unterschätzung der Standardfehler - Abhilfe: Gründe für Abhängigkeit ins Modell aufnehmen (Zeitreihenanalyse, Mehrebenenmodelle)
• Wann tritt Multikollinearität auf? - Sehr hohe Multikollinearität tritt auf: •wenn ein Prädiktor in die Berechnung eines anderen eingeht (Interaktionseffekt (Moderator); nicht lineare Effekte) • wenn mehrere Indikatoren eines Konstrukts oder zweier sehr ähnlicher Konstrukte als UVs verwendet werden • wenn ein ähnliches oder das gleiche Maß zu mehreren Messzeitpunkten erhoben und alle als UVs verwendet werden 

back  |  next 1 / 1