43
Erziehungswissenschaft Statistik III (Subject) / Lineare Regression (Lesson)
Advertisement
- Ziel Findung eines Modells, zu bestmöglichen beschreibung des linearen Zusammenhangs einer AV und einer UV
- Einzelwerte AV Y - Kriterium / Regressand
- Einzelwerte UV X - Prädiktor / Regressor
- Regressionsgerade Alle durch das Modell vorhergesagten Y Werte (Y Dach) liegen aif einer Linie der Regressionsgeraden YDach = b0 + b1 X b0=Konstante b1 = Regressionskoeffizient X = Prädiktor K = jeweilige Beobachtung
- Residuum e Fehler des Modells Differenz zwischen dem vorhergesagten Wert und dem tatsächlichen Wert e = Yk - YDach K
- least square Kriterium Versuch die Parameter so zu schätzen, dass die Summe der quadrierten Residuen minimal ist
- Multiple lineare Regression Mehr als ein Prädiktor wird zur Vorhersage genutzt
- Interpretation der Koeffizienten über Regressionskoeffizienten b
- Regressionskoeffizienten b geben Aufschluss über die Größe der gemeinsamen Varianz von Prädiktor und Kriterium Der Wert von b hängt auch vom Wertebereich des Prädiktors ab Für die Bedeutung der Prädiktoren für die Vorhersage von Y müssen die b standardisiert werden
- Standardisierung Regressionskoeffizienten b mal Verhältnis der Standardabweichung von Prädiktor und Kriterium
- Advertisement
- Prüfung Regressionsfunktion Sind die Parameter geschätzt -> unterschiedliche Tests für das gesamte Modell und die Güte der einzelnen Prädiktoren Gesamtmodell (R2, F) Prädiktoren (t, SE)
- R2 gibt Anteil der durch das Modell erklärten Streuung an der Gesamtstreuung an Welcher Teil der Gesamtvarianz wird durch das Modell erklärt R2 von .68 heisst 68% der Varianz wird aufgeklärt
- Problem R2 R2 steigt generell mit der ANzahl der Prädiktoren, auch wenn nur zufälliger Erklärungsbeitrag Man errechnet R2korrigiert
- R2 Korrigiert mit zunehmender J (ANzahl der PRädiktoren) wird der Zähler Größer und Nenner kleiner--> R2 also stärker korrigiert Wir brauchen ABER das UNkorrigierte R2 für den Anteil der erklärten STREUUNG
- F-test Ist die Regression als ganze signifikant? können alle Prädiktoren zusammen die AV vorhersagen? erklärte Varianz / nicht erklärte H0= alle b zusammen = 0
- T-Test welcher der prädiktoren leistet im einzelnen einen signifikanten Beitrag zur Varianzaufklärung
- Anwendungsbeispiel Modellvergleich leistet ein betsimmter Prädiktor oder eine Gruppe von prädiktoren eine bessere Varianzaufklärung als ein Ausgangsmodell?
- Merkmalsselektion Findung des optimalen Merkmalssatzes von Prädiktoren für die Vorhersage von Y Rückwärtsmethode Vorwärtsmethode Schrittweise Methode
- Rückwärtsmethode Merkmalsselektion Start mit vollem Modell Sujzessive Entfernung von Variablen deren Entfernung zur geringsten Reduktion von R2 führt Ende wenn die Entfernung eienr Variable zu einer signifikanten Änderung von R2 führen würde
- Vorwärtsmethode Merkmalsselektion Start mit dem Prädiktor mit der höchsten bivariaten Korrelation zum Kriterium sukzessive Aufnahme von Prädiktoren, die zusammen mit den bereits aufgenommenen das höchste R2 ergeben Ende, wenn Aufnahme einer weiteren Variable nicht zu einer signifikanten Erhöhung von R2 führt
- Schrittweise Methode Merkmalsselektion Kombination aus vorwärts und Rückwärtsmethode nimmt vorwärts Variablen auf, prüft aber nach jedem Schritt zusätzlich, ob die Entfernung einer Variable zu euner signifikanten Reduktion von R2 führt
- Probleme Regression nicht linearität (schau Abbildung an) Heteroskedastizität (SChlauch) Multikollinearität (hohe Korrelation zwischen den Prädiktoren Redundanz (Varianzaufklärung kann bei sehr hoher Korrelation keinem der beiden Prädiktoren zugeordnet werden Supression
- Multikollinearitätseffekte Redundanz und SUpression Aufdeckung Toleranz T VIF Variance Inflation Factor Hohe Toleranz und niedrige VIF
- R Korrelation r zwischen Prädiktor und Variable
- SPSS Modellzusammenfassung / Standardfehler des Schätzers beurteilt die globale Güte der Regression
- SPSS nicht erklärte Varianz ANOVA nicht standardisierte Residuen Reihe (QS und df)
- SPSS koeffizienten bo und b1 b0= Konstante x Regressionskoeffizient = Nulldurchgang b1 = Variable x Regkoeff = Steigung der Regressionsgeraden
- SPSS Koeffizienten zeigen erste Einschätzung der Bedeutung einzelner Prädiktoren für die Vorhersage (hohen Wert bei RegKoeffB)
- SPSS Multikollinearitäteffekte Korrelationen 1x1 zeigt Korrelation 2x1 zeigt Signifikanz 1xn zeigt evtl sehr hohe Korrelation --> Schuld an Multikol Effekten
- SPSS Koeffizienten x Multikollinearität BETA Multikol an β-Gewichten ersichtlich Wert nahe 0 ? => zuvor korrelierte Variablen tragen wohl weitgehend identische Infos => das mit geringem BETA wird Redundant und fliegt raus Blick auf Toleranz und VIF (T niedrig, VIFhoch = raaaauuuus)
- Advertisement
- Hierarchische Regression In wie weit wirken sich theoretisch unterscheidbare Gruppen von Prädiktoren auf das Kriterium aus?
- SPSS Hierarchische Modellzusammenfassung Änderung in R2 -- ergibt sich eine Änderung? 15 Prozent der Varianz lassen sich über den jeweiligen Block beeinflussen Sig. Änderung in F -- sind diese Änderungen sig.?
- SPSS Merkmalsselektion Aufgenommene/Entfernte Variablen schrittweise Entfernung derer Prädiktoren, deren Entfernung nicht zu sig. Verlust in R2 führt SPSS 2 Modellzusammenfassung R-Quadrat: letztes Modell Prozentsatz deraufgeklärten Varianzen Korr R2 bewertet Varianzaufklärung relativ zu Anzahl der einbezogenen Prädiktoren Vorteil einer Vorhersage mit weniger Prädiktoren wird höher bewertet als der Nachteil eines geringeren R2
- Residuen e tatsächlicher Wert Y - vorhergesagter Wert YDach = fehler des Modells
- SPSS F (QS x regression / df Regression) / (QS ns Residuen / df ns Residuen)
- Homoskedastizität Die Varianz der Schätzfehler (Residuen) ist unabhängig vom Wert der Prädiktoren
- SPSS Homoskedastizität Streudiagramm y= Residuen X geschätzter Wert
- Redundanz mehrere Variablen messen Aspekte gemeinsam (eine Variable kann gelöscht werden)
- Suppression Prädiktorvariable bekommt hohes ß-Gewicht durch unterdrückung unerwünschter Varianzanteile anderer Prediktorvariablen
- SPSS Analyse Multikollinearitätseffekte Korrelationstabelle 1.Zeile Korr checken -> signifkanz 2. SPalte schauen ob sehr stark signifikante Korrelation (1.Spallte) checken Koeffizienten ß-Gewichte nahe 0? --> Redundant Toleranz niedrig & VIF hoch => Prädiktor Multikollinearitätseffekt
- SPSS Multikollinearität Koeffizienten Beta wert => nahe 0? = tragen identische Informationen Toleranz und VIF Wert = niedrig , hoch = Multikollinearität
- Redundanz richtig Beta und bivariate Korrelation gleiches Vorzeichen und Beta kleiner als bivariate Korrelation
- Suppression richtig Beta und bivariate korrelation ungleiches Vorzeichen Betrag Beta aber größer als Betrag bivariate Korrelation