Mult Reg 2

Question 1

Exkurs – einfache Regression Determinationskoeffizient – einfache Regression

Accepted Answer

•Der Determinationskoeffizient (R²) ist das Verhältnis der Variabilität der vorhergesagten Werte zur gesamten Variabilität.•𝑅2=𝑄𝑆𝑦 𝑄𝑆𝑦→ Anteil der y-Variabilität, welcher mit dem Prädiktor verbunden ist•R² = 1: perfekter Zusammenhang (Regressionsresiduen = 0)•Indikator, wie weit die Beobachtungen von der Regressionsgeraden entfernt liegen•Normiertes Maß•Für die einfache Regression: 𝑅2=𝑟²𝑦𝑦 •Ausgangsgleichung: 𝑦𝑖−𝑦 =𝑦 𝑖−𝑦 +𝑒𝑖→ 𝑒𝑖=(𝑦𝑖−𝑦 𝑖)•Werden beide Seiten quadriert & summiert:𝑄𝑆𝑦=𝑄𝑆𝑦 +𝑄𝑆𝑒Wobei: 𝑄𝑆𝑦= (𝑦𝑖−𝑦 )2𝑖 𝑄𝑆𝑦 = (𝑦 𝑖−𝑦 )2𝑖 𝑄𝑆𝑒= 𝑒2

Question 2

Multiple Regression Determinationskoeffizient

Accepted Answer

•Die Formeln für den Determinationskoeffizienten der einfachen linearen Regression lassen sich direkt auf k Prädiktoren übertragen.•Die Zerlegung der QSy in zwei Anteile einen mit 𝑦 verbundenen sowie einen mit den Residuen e verbunden bleibt erhalten.•Es gilt also auch im Fall von k Prädiktoren:QSy = QS𝑦 + QSe•Der Determinationskoeffizient ist wie bisher durch die GleichungR2 = QS𝑦 / Qsy gegeben. •Determinationskoeffizient entspricht der quadrierten Korrelation von y und 𝑦→ 𝑅²=𝑟²𝑦 𝑦•Bei multipler Regression auch → 𝑅²=𝑟²𝑥𝑦 (multiple Korrelation)Die multiple Korrelation bringt zum Ausdruck, wie hoch das Kriterium mit der optimalen linearen Kombination der Prädiktoren, welche durch die Vorhersagegleichung ermittelt wird, korreliert.Synonym: „Determinationskoeffizient“ - „quadrierte multiple Korrelation“

Question 3

Multiple Regression Determinationskoeffizient – Beispiel mit 2 Prädiktoren

Accepted Answer

𝑅𝑦,122=𝑟𝑦12+𝑟𝑦22−2∙𝑟𝑦1∙𝑟𝑦2∙𝑟121−𝑟122•Wann ist der Determinationskoeffizient gleich der Summe der quadrierten Kriterium-Prädiktor Korrelationen? 𝑅𝑦,122=𝑟𝑦12+𝑟𝑦22−2∙𝑟𝑦1∙𝑟𝑦2∙𝑟121−𝑟122•VEREINFACHT: Erklärte Varianz = erklärte Varianz 𝑥1+ erklärte Varianz 𝑥2 - erklärte Varianz 𝑥1 und 𝑥2•Prädiktoren korrelieren nicht → Zusammenhang von 𝑥1 und 𝑦 ist unabhängig von Zusammenhang von 𝑥2 und 𝑦Partialkorrelation = Korrelation = Regressionskoeffizient•Prädiktoren korrelieren hoch → 𝑥1 und 𝑥2 erklären denselben Anteil der Varianz von 𝑦Partialkorrelation ≠ Korrelation ≠ Regressionskoeffizient•Prädiktoren korrelieren mittel(hoch) → 𝑥1 und 𝑥2 erklären teilweise denselben Anteil der Varianz von 𝑦Partialkorrelation/ Regressionskoeffizient < Korrelation

Question 4

Multiple Regression Korrigierter Determinationskoeffizient

Accepted Answer

•R2 überschätzt den wahren Determinationskoeffizient in der Population.•Formel für den korrigierten Determinationskoeffizienten (adjusted R2)𝑅𝑘𝑜𝑟𝑟2=1−𝑠𝑒2𝑠𝑦2•Dabei ist sy2 die Varianz der y-Werte und se2 der quadrierte Standardschätzfehler der multiplen Regression.

Question 5

Determinationskoeffizient Signifikanztest (Modell)

Accepted Answer

•Güte der Vorhersage: Vergleich der durch das Modell erklärten (vorhergesagten) Varianz mit der FehlervarianzR² → Standardisiertes Zusammenhangsmaß: Prozent aufgeklärter Gesamtvarianz des Merkmals durch alle Prädiktoren•Prüfung der Vorhersagekraft des Regressionsmodells:Test des Determinationskoeffizienten gegeben des Stichprobenfehlers gegen 0 •Nullhypothese: der Determinationskoeffizient in der Population ist 0𝐻0:𝜚2=0•F-Test:𝐹=𝑅21−𝑅2∙𝑛−𝑘𝑘Freiheitsgrade: k = Prädiktoren, n = Stichprobe•Der Test ist äquivalent zur Behauptung, dass alle wahren Steigungskoeffizienten null sind.•Die Nullhypothese, welche mit dem F-Test überprüft wird, kann man deshalb auch als𝐻0:𝛽1=⋯=𝛽𝑘=0schreiben. Besonderheiten bei der multiplen Regression•Betrachtung der aufgeklärten Varianz pro Prädiktor → Probleme bei Modellen mit vielen redundanten Prädiktoren:Bei Hereinnahme eines zusätzlichen Prädiktors, der nichts aufklärt, wird der Zähler der Prüfgröße kleiner und das Modell nicht signifikant

Question 6

Multiple Regression Signifikanztest für Steigung

Accepted Answer

•Frage: Leistet eine Prädiktorvariable im Kontext der übrigen einen signifikanten Beitrag zur Vorhersage der Kriteriumsvariablen?•Prüfung der Vorhersagekraft einzelner Prädiktoren in der Population:Test der partiellen Regressionskoeffizienten gegen 0•Modelltest als notwendige, aber nicht hinreichende Bedingung für Erklärungskraft der PrädiktorenModelltest: alle PrädiktorenParametertest: Test einzelner Prädiktoren •H0: der Prädiktor trägt nichts zur Aufklärung der Unterschiedlichkeit der Ausprägung der Kriteriumsvariable bei𝐻0:𝛽𝑗=0;𝐻1:𝛽𝑗≠0•Prüfgröße: t-verteilt•Test: 𝑡=𝑏𝑗𝑠𝑏𝑗 •Mögliche Gründe für Nicht-Signifikanz der RegressionskoeffizientenN zu kleinAlpha- FehlerHohe Korrelation mit anderen Prädiktoren korrelieren → keine zusätzliche Erklärung

Question 7

BMI Beispiel Modelltest

Accepted Answer

•Für das Beispiel ist R² = 0,889 und se = 1,350.•Der Wert des Determinationskoeffizienten sinkt durch Korrektur nur unwesentlich ab,𝑅𝑘𝑜𝑟𝑟2=1−𝑠𝑒2𝑠𝑦2=1−1,35023,5042=0,852•Berechnung der Prüfgröße𝐹=𝑅21−𝑅2∙𝑛−𝑘−1𝑘=0,8891−0,889∙9−32=24,0 k = Zählerfreiheitsgraden-k-1 = Nennerfreiheitsgrade

Question 8

BMI Beispiel Signifikanztest für Steigung

Accepted Answer

•Steigung und Standardfehler der Steigungen:b1 = -0,75; b2 = -1,032; 𝑠𝑏𝑗 = 0,281; 𝑠𝑏𝑗 = 0,294•Prüfgrößen𝑡1=𝑏1𝑠𝑏1=−0,7500,281=−2,665𝑡2=𝑏2𝑠𝑏2=−1,0320,294=−3,505𝑑𝑓=𝑛−𝑘−1=9−2−1=6•Für α = 0,05, zweiseitig: kritischer Wert t6;0,975 = 2,447.

Question 9

Multiple Regression Annahmen

Accepted Answer

•Variablentyp:Kriteriumsvariable: kontinuierlichPrädiktoren: kontinuierlich o. dichotom•Prädiktoren müssen Varianz aufweisen•N ist größer Anzahl Prädiktoren•LinearitätDie in der Population vorliegende Abhängigkeit zwischen den Erwartungswerten des Kriteriums und den Prädiktorwerten ist durch das Modell gegeben•NormalitätDie Verteilung der y-Werte für jede Kombination von Prädiktorwerten ist eine Normalverteilung.D.h. die Vorhersagefehler an jeder festen (x1 , … , xk) Stelle der Prädiktoren sind normalverteilt. •Homoskedastizität→ (Residuen)VarianzhomogenitätResiduen (= Abweichungen von der Geraden) sind ZufallsvariablenIst die Streuung der Residuen in einer Reihe von Werten der prognostizierten AV nicht konstant, liegt Heteroskedastizität vor•→ Verletzung der Prämisse des linearen Regressionsmodells!Homogene Varianzen der Residuen = Störgröße darf nicht von den UVs und von der Reihenfolge der Beobachtungen abhängig sein!Heteroskedastizität führt zu Ineffizienz der Schätzung •Keine lineare Abhängigkeit zwischen den Prädiktoren (= Multikollinearität)„Instabilität“ der Regressionskoeffizienten aufgrund von Abhängigkeiten der PrädiktorenDiagnose: Toleranz & VIFToleranz:•𝑇𝑜𝑙𝑗=1−𝑅2𝑗•Rj² gibt an, wie viel der Variabilität des j-ten Prädiktors durch die anderen Prädiktoren erklärt werden kann.•Toleranz → komplementäre Anteil•Toleranz eines Prädiktors = Anteil seiner Variabilität, der unabhängig von den anderen Prädiktoren ist •Keine lineare Abhängigkeit zwischen den Prädiktoren (= Multikollinearität)Toleranz Diagnose:•Toleranzwerte < 0,1 → erhebliche Redundanz der Prädiktorwerte („serious problem“)•Toleranz < 0,2 → bedenklichVIF•Variance Inflation Factor (VIF) (Kehrwert der Toleranz): 𝑇𝑜𝑙𝑗=1𝑉𝐼𝐹𝑗•VIF – Diagnose•Wenn ein VIF > 10 → bedenklich•Wenn der mittlere VIF bedeutsam größer als 1 → bedenklich

Question 10

Multikollinearität: Toleranz/VIF

Accepted Answer

VIF mean = 1,647; d.h. nicht substantiell von 1 abweichend (und < 10)Toleranz: alle > 0,2

Question 11

Selektionsverfahren in der Regressionsanalyse

Accepted Answer

•Einschluss:Alle Prädiktoren werden simultan aufgenommen.•Hierarchisch:VL entscheidet über die Reihenfolge der Aufnahme der Prädiktoren.•Schrittweise:Prädiktoren werden aufgrund ihrer semipartiellen Korrelation mit der Kriteriumsvariable ausgewählt.

Question 12

Selektionsverfahren in der Regressionsanalyse Einschluss

Accepted Answer

•Alle Variablen werden simultan in das Modell aufgenommen•Das Ergebnis ist abhängig von den aufgenommenen Variablen.•WICHTIG: theoretische Basis der ausgewählten Prädiktoren

Question 13

Selektionsverfahren in der Regressionsanalyse Hierarchische Selektion

Accepted Answer

•Bekannte Prädiktoren (aus vorheriger Forschung) werden zunächst aufgenommen.•Neue Prädiktoren werden in einem separaten Schritt/Block aufgenommen•Geeignet zur Kontrolle von potentiellen Störvariablen•Vorteil:Theorie-basiertDer individuelle Einfluss eines neuen Prädiktors kann betrachtet werden (die anderen Prädiktoren werden konstant gehalten)•NachteilBasiert auf dem Wissen des Forschers

Question 14

Selektionsverfahren in der Regressionsanalyse Schrittweise Selektion

Accepted Answer

Variablen werden nach mathematischen Kriterien aufgenommen. Der Computer selektiert die Variablen in 2 Schritten:1.SPSS sucht den Prädiktor, der den größten Anteil an Varianz vom Kriterium erklärt.2.Nach der Selektion des ersten Prädiktors wird in der Gruppe der verbleibenden Prädiktoren gesucht.semipartielle Korrelation als Selektionskriterium•Partielle Korrelation: Zusammenhang zwischen 2 Variablen unter Kontrolle des Effekts einer 3. Variablen auf die beiden•Semipartielle Korrelation: Zusammenhang zwischen 2 Variablen unter Kontrolle des Effekts einer 3. Variablen auf eine der beidenD.h.: Zusammenhang eines Prädiktors mit dem Kriterium unter Kontrolle des Zusammenhangs des Prädiktors und anderer Variablen (Prädiktoren) im Modell-> individueller Anteil des Prädiktors an der erklärten Varianz des Kriteriums

Question 15

Anwendungshilfe SPSS SPSS Output: Modelltest I

Accepted Answer

•R: Korrelation zwischen den beobachteten Werten der Kriteriumsvariable und den durch das Modell prädizierten Werten•R²: Anteil der Varianz, die durch das Modell erklärt wird•Adj. R²: Schätzung von R² in der Population

Question 16

Anwendungshilfe SPSS SPSS Output: Modelltest II

Accepted Answer

F-Test:•Ist die durch das Modell erklärte Varianz (SSM o. QSy) signifikant größer als die Fehlervarianz im Modell (SSR o. QSe)?•Zeigt, ob sich ein Regressionsmodell signifikant besser eignet für die Vorhersage des Kriteriums als ein Mittelwert

Question 17

Anwendungshilfe SPSS SPSS Output: Test der Steigungskoeffizienten

Accepted Answer

•Regressionskoeffizient: Veränderung im der Kriteriumsvariable, die mit einer Veränderungseinheit im Prädiktor assoziiert ist•Standardisiertes Beta: das gleiche, aber als Standardabweichung ausgedrückt.

Question 18

Klausurfrage: Der Determinationskoeffizient: a.) ERklären Sie den Unterschied zwischen beiden Quadratsummen (QSy Dach und QSY)

Accepted Answer

-> QSY = QSy Dach + QSe -> QSe wird kleiner, dann nähern sich alle an -> erwartete QS = wird aufgrund des Modells vorhergesagt -> y beobachtete QS und nähert sich 1 an

Question 19

Klausurfrage Determinationskoeffizient b.) Welcher der beiden ist der größere Wert

Accepted Answer

-> QSy = der andere ist der geschätzte mit residuum, y ist größer

Question 20

Klausurfrage Determinationskoeffizient c.) Wie verändern sich die Werte, wenn Regressionsrsiduen sinken?

Accepted Answer

-> QSY bleibt übrig -> ^Y ist der geschätzte WErt der abh Variable

Question 21

4. Der Determinationskoeffizient berechnet sich aus der Division der Quadratsummen QSy (mit Strich über y) und Qsy (normal). a) Erklären Sie den Unterschied zwischen den beiden Quadratsummen b) Welche der beiden ist der größere Wert? c) Wie verändern sich die beiden Werte, wenn das Regressionsresiduum sinkt?

Accepted Answer

a) QSy (mit Strich über y): erwarteter WertQsy (normal): gemessener Wert/beobachtete Quadratsumme, die sich aus...zusammensetzt b) Qsy (normal): gemessener Wert ist der größere der beidenWenn das Regressionsresiduum sinkt, geht der Wert gegen 1- beide Werte nähern sich an c) Qsy (normal) sinkt - QSy (mit Strich über y) bleibt gleichQsy (normal) nähert sich QSy (mit Strich über y) an

Multivariate (Subject) / Mult Reg 2 (Lesson)