Mult Reg 1

Question 1

3. In einer Studie sollen potentielle Prädiktoren auf die Prüfungsleistung (Gesamtpunktzahl Klausur) untersucht werden. Folgende Variablen wurden zur Vorhersage ausgewählt:  Anwesenheitstage in der Veranstaltung über das Semester  Wöchentliche Vor-/Nachbereitungszeit der Veranstaltung in Stunden  Prüfungsangst (Fragebogen)*  Selbstwirksamkeitserwartung (Fragebogen)* *höhere Werte, repräsentieren eine stärkere Ausprägung in der Variable Sie berechnen eine lineare multiple Regression und erhalten folgende Koeffizienten-Tabelle. Interpretieren Sie die s-Gewichte der in die Analyse eingeschlossenen Prädiktoren

Accepted Answer

 ein guter Prädiktor ist es dann, wenn ein hoher Wert bei Beta vorliegt ergo ist die Selbstwirksamkeitserwartung der beste und signifikante Prädiktor. Prüfungsangst ist der schlechteste und nicht signifikant Bei einer Erhöhung der SWE um eine Standartabweichung erhöht sich die Prüfungsleistung um 0.37 Standartabweichungen, wenn die anderen Prädiktoren konstant gehalten werden. Bei einer Erhöhung der Vor- und Nachbereitung um eine Standartabweichung erhöht sich die Prüfungsleistung um 0.36 Standartabweichungen unter Konstanthaltung der anderen Prädiktoren. Prüfungsangst und Anwesenheitstage tragen nicht signifikant zur Vorhersage der Prüfungsleistung bei (p > 0.05) Hinweis: immer die Stärke der Prädiktoren, Vorzeichen (positiv/negativ) und ob signifikant oder nicht erläutern

Question 2

5. Regressionskoeffizienten können entweder als semipartielle oder partielle Korrelationskoeffizienten interpretieret werden. a) Erläutern Sie kurz was man unter einer semipartiellen Korrelation und was man unter einer partiellen Korrelation versteht. (6 P.) b) Welche Methode zur Auswahl der Prädiktoren (Selektionsverfahren) in der multiplen Regression führt zu Schatzung von semipartiellen Regressionskoeffizienten und welche zur Schätzung von partiellen Regressionskoeffizienten? (4 P.)

Accepted Answer

Partielle Korrelation •Die partielle Korrelation ist die bivariate Korrelation zweier Variablen, welche mittels linearer Regression vom Einfluss einer Drittvariablen bereinigt wurden. D.h. der Einfluss einer dritten Variable wird aus beiden Variablen herauspartialisiert a.) •Partielle Korrelation 2. Ordnung: aus dem Zusammenhang von Prädiktor und Kriterium werden zwei Variablen herauspartialisiert •… usw. Semipartielle Korrelation •Semipartielle Korrelation: es wird nur eine Variable bereinigt und mit einer unbereinigten Variablen korreliert b.) simultane Schätzung (partielle Regressionskoeffizienten) schrittweise Schätzung (semipartielle Regressionskoeffizienten)

Question 3

Multiple Regression

Accepted Answer

•Setzt mehrere Prädiktorvariablen gleichzeitig mit einer Kriteriumsvariablen in Beziehung •Durch die Berücksichtigung mehrerer Prädiktoren kann der Einfluss einzelner Variablen o. einer Gruppe von Variablen bei der Analyse des Zusammenhangs statistisch kontrolliert werden Ähnlich partieller Korrelation

Question 4

Multiple Regression Einfache und multiple lineare Regression

Accepted Answer

•Bei der einfachen Regression wird das Kriterium y mit nur einem Prädiktor x in Beziehung gesetzt. •Bei der multiplen Regression werden dagegen zwei oder mehr Prädiktoren x1, x2, … zu diesem Zweck verwendet. •Die multiple Regressionsgleichung dient der Vorhersage einer Kriteriumsvariablen aufgrund mehrerer Prädiktoren. •Gleichung der einfachen linearen Regression: 𝑦 = a + bx •Gleichung der multiplen linearen Regression (zwei Prädiktoren): 𝑦 = b0 + b1x1 + b2x2

Question 5

Multiple Regression - Datenstruktur Skalenniveaus der Prädiktoren

Accepted Answer

•Kriterium: metrische Variable. •Prädiktoren: metrische Variablen o. dichotome Merkmale (0/1 Kodierung) •Ausnahme: nominale Variablen durch Dummycodierung in mehrere dichotome Variablen überführen

Question 6

Exkurs Dummy Kodierung

Accepted Answer

•Erzeugung von Indikatorvariablen Eine Indikatorvariable enthält alle Informationen eines nominalskalierten Merkmals in codierter Form. •Häufigste Variante: Dummy-Kodierung Weitere Varianten: Effektkodierung, Kontrastkodierung •k-1 Indikatorvariablen (vollständige Information)

Question 7

Multiple Regression Einfachster Fall: 2 Prädiktoren

Accepted Answer

•Die Regressionsgleichung für diesen Fall lautet 𝑦 = b0 + b1 * x1 + b2 * x2 •Wie in der einfachen linearen Regression können die Regressionskoeffizienten b0, b1 und b2 durch Anwendung des Kleinsten Quadrate Kriteriums erfolgen. •Kleinstes Quadrate Kriterium: 𝑒𝑖2→𝑚𝑖𝑛𝑖 •wobei ei = 𝑦𝑖 - 𝑦𝑖

Question 8

Multiple Regression Einfachster Fall: 2 Prädiktoren Kleinstes Quadrate Kriterium

Accepted Answer

•Dabei wird zu einer Datenpunktwolke eine Kurve (Kurvenparameter)* gesucht, die möglichst nahe an den Datenpunkten verläuft. •Geringste Abweichung = minimalste Residuen-Summe ( ei = 𝑦𝑖 - 𝑦𝑖 )

Question 9

Multiple Regression Formeln für Regressionskoeffizienten

Accepted Answer

•y-Achsenabschnitt: 𝑏0=𝑦 −𝑏1∙𝑥1−𝑏2∙𝑥 2 •Steigungen: 𝑏1=𝑟𝑦1−𝑟𝑦2∙𝑟121−𝑟122∙𝑠𝑦𝑠1 𝑏2=𝑟𝑦2−𝑟𝑦1∙𝑟121−𝑟122∙𝑠𝑦𝑠2 Bedeutung des y-Achsenabschnitts: •Kein inhaltliches Interesse •→ durchschnittlicher Kriteriumswert, wenn alle Prädiktoren zugleich den Wert 0 besitzen

Question 10

Multiple Regression Interpretation der Steigung

Accepted Answer

•Die partielle Steigung b1 gibt die erwartete Veränderung des Kriteriums y an, die für konstanten Prädiktor x2 einer Erhöhung des Prädiktors x1 um eine Einheit entspricht. Unterschied zur einfachen linearen Regression: „für konstanten Prädiktor“ x2 → b1 ist der vom zweiten Prädiktor bereinigte Einfluss des ersten Prädiktors auf das Kriterium. partieller Regressionskoeffizient •Interpretation von b2 analog: Die Steigung b2 gibt die erwartete Veränderung des Kriteriums y an, die für konstanten Prädiktor x1 einer Erhöhung des Prädiktors x2 um eine Einheit entspricht

Question 11

Multiple Regression Datenbeispiel: Body Mass Index Interpretation von b1 y= BMI x1= Training x2=Ernährungsqualität

Accepted Answer

•Dieser Koeffizient spiegelt den Einfluss der Trainingsintensität auf den BMI wider, welcher vom Einfluss der Ernährungsqualität auf den BMI bereinigt ist. •Der geschätzte Wert von -0,75 bedeutet: Mit einer Zunahme der Trainingsintensität um eine Einheit (Verbrauch von zusätzlichen 100 Kilojoule pro Tag) lässt sich der BMI voraussichtlich um 0,75 Punkte verringern, wenn zugleich die Ernährungsqualität konstant bleibt.

Question 12

Multiple Regression Datenbeispiel: Body Mass Index Berechnung der einfachen Regression von BMI auf Trainingsintensität.

Accepted Answer

•Ernährungsqualität wird ignoriert. •Steigung 𝑏=𝑟𝑦1∙𝑠𝑦𝑠1=−0,813∙3,5042,121=−1,343 •Die Differenz von b = -1,34 und b1 = -0,75 geht auf die statistische Kontrolle der Ernährungsqualität zurück. •Der Betrag von b ist größer als der Betrag von b1 •Denn durch das Ignorieren der Ernährungsqualität spiegelt b nicht nur den Effekt der Trainingsintensität auf den BMI wider, sondern zusätzlich den Effekt der Ernährungsqualität.

Question 13

Multiple Regression Datenbeispiel: Body Mass Index Interpretation von b2

Accepted Answer

•Der Wert b2 = -1,032 zeigt an, dass bei der Erhöhung der Ernährungsqualität um eine Einheit ein Absinken des BMI um etwa einen Punkt zu erwarten ist, wenn die Trainingsintensität kontrolliert wird.

Question 14

Multiple Regression Datenbeispiel: Body Mass Index Vergleich partieller Steigungen

Accepted Answer

•Vergleicht man die Höhe der beiden (partiellen) Regressionskoeffizienten, b1 = -0,75 und b2 = -1,032 so ist es vielleicht naheliegend, den Effekt der Ernährung auf den BMI für bedeutender zu halten, da der Betrag von b2 größer ist. •Diese Interpretation ist allerdings nicht korrekt, da sie die unterschiedlichen Messeinheiten der Prädiktoren (Kilojoule bzw. Rating) nicht berücksichtigt.

Question 15

Multiple Regression Unstandardisierte Steigungen

Accepted Answer

•Die Steigungskoeffizienten b1 und b2 sind von den Messeinheiten der Variablen abhängig. •Dies erkennt man daran, dass die Standardabweichungen der Variablen in den Berechnungsformeln der Steigungskoeffizienten enthalten sind: 𝑏1=𝑟𝑦1−𝑟𝑦2∙𝑟121−𝑟122∙𝑠𝑦𝑠1 𝑏2=𝑟𝑦2−𝑟𝑦1∙𝑟121−𝑟122∙𝑠𝑦𝑠2 •b1 und b2 → unstandardisierte Steigungen •Die Steigungskoeffizienten können durch Veränderung der Messeinheiten somit vergrößert bzw. verkleinert werden.

Question 16

Steigungskoeffizienten Exkurs: Partielle vs. semipartielle Korrelation

Accepted Answer

•Gelegentlich ist die Richtung einer Korrelation überraschend, da sie nicht mit unserer Erwartung übereinstimmt. •Beispiel: positiver Zusammenhang zwischen Anzahl krimineller Delikte und Anzahl von Polizisten von Kommunen. •Zusammenhang zweier Variablen x0 und x1 wird durch eine weitere Variable x2 verursacht (x2 : Einwohnerzahl d. Kommunen) •LÖSUNG: Variable konstant halten •→ (statistisches) Kontrollieren einer Variablen. •→ Einfluss einer Variablen wird aus einer oder mehreren Variablen eliminiert Partielle Korrelation •Die partielle Korrelation ist die bivariate Korrelation zweier Variablen, welche mittels linearer Regression vom Einfluss einer Drittvariablen bereinigt wurden. D.h. der Einfluss einer dritten Variable wird aus beiden Variablen herauspartialisiert •Partielle Korrelation 2. Ordnung: aus dem Zusammenhang von Prädiktor und Kriterium werden zwei Variablen herauspartialisiert •… usw. Semipartielle Korrelation •Semipartielle Korrelation: es wird nur eine Variable bereinigt und mit einer unbereinigten Variablen korreliert Partielle und semipartielle Korrelation in der Regression •regressionsanalytischen Bereinigung → Herauspartialisieren einer Variablen aus y •Es wird eine Verringerung der Steigungskoeffizienten durch Aufnahme weiterer Prädiktoren in das Regressionsmodell erwartet •Regressionskoeffizienten können partielle o. semipartielle Koeffizienten darstellen: simultane Schätzung (partielle Regressionskoeffizienten) schrittweise Schätzung (semipartielle Regressionskoeffizienten)

Question 17

Multiple Regression Beta-Gewichte … standardisierte Steigungskoeffizienten

Accepted Answer

•Möglichkeit: Standardisierung mit z-Transformation •Bezeichnen wir die standardisierten Variablen mit z, so lautet die Regressionsgleichung: 𝑧 𝑦= 𝛽0+𝛽1∙𝑧1+𝛽2∙𝑧2…

Question 18

Multiple Regression Unstandardisierte Steigungen und Beta-Gewichte

Accepted Answer

•Die Beta-Gewichte stehen mit den unstandardisierten Koeffizienten, b1 und b2, in folgender Beziehung •DAHER standardisierten Gewichte (Beta-Gewichte): 𝛽1=𝑟𝑦1−𝑟𝑦2∙𝑟121−𝑟122 𝛽2=𝑟𝑦2− 𝑟𝑦1∙𝑟121−𝑟122 •Übrigens ist notwendigerweise ß0 = 0.

Question 19

Multiple Regression Interpretation der Beta-Gewichte

Accepted Answer

•kein Bezug auf die Messeinheiten der Variablen, sondern drückt die Veränderung von Prädiktor und Kriterium in Standardabweichungen aus •Aus diesem Grund lässt sich die Höhe von ß1 direkt mit der von ß2 vergleichen. •Das Beta-Gewicht ß1 gibt die erwartete Veränderung des Kriteriums y in Standardabweichungen an, die für konstanten Prädiktor x2 einer Erhöhung des Prädiktors x1 um eine Standardabweichung entspricht. •Die Interpretation von ß2 ist ganz analog. •Da Beta-Gewichte standardisierte Regressionskoeffizienten sind, mag man vermuten, dass der Betrag von ß den Wert 1,0 nicht überschreiten kann. Diese Vermutung ist nicht korrekt

Question 20

Multiple Regression Fortsetzung: Datenbeispiel BMI ß

Accepted Answer

•notwendige Größen: b1 = -0,75; sy = 3,504; s1 = 2,121. •Für eine Erhöhung der Trainingsintensität um eine Standardabweichung verringert sich der BMI um 0,45 Standardabweichungen, wenn zugleich die Ernährungsqualität kontrolliert wird. •Für das zweite Beta-Gewicht ergibt sich ß2 = -0,597.

Question 21

Multiple Regression Mehr als 2 Prädiktoren

Accepted Answer

•Bisher wurden bei der Darstellung der multiplen Regression nur zwei Prädiktoren berücksichtigt. 𝑦 =𝑏0+𝑏1𝑥1+𝑏2𝑥2 •Das Regressionsmodell lässt sich einfach auf k Prädiktoren erweitern. 𝑦 =𝑏0+𝑏1∙𝑥1+𝑏2∙𝑥2+⋯+𝑏𝑘∙𝑥𝑘

Question 22

Multiple Regression Interpretation der Steigung

Accepted Answer

•Zwei Prädiktoren: Die partielle Steigung b1 gibt die erwartete Veränderung des Kriteriums y an, die für konstanten Prädiktor x2 einer Erhöhung des Prädiktors x1 um eine Einheit entspricht. •k Prädiktoren: Die partielle Steigung bj gibt die erwartete Veränderung des Kriteriums y an, die einer Erhöhung des j-ten Prädiktors um eine Einheit entspricht, wenn die anderen k - 1 Prädiktoren konstant sind. Die Interpretation des partiellen Regressionskoeffizienten ändert sich nur insofern, als sich die statistische Kontrolle nun auf k – 1 Prädiktoren erstreckt.

Question 23

Beispiel in SPSS Multiple Regression Output

Accepted Answer

Modellzusammenfassung •R: Korrelation zwischen den beobachteten Werten der Kriteriumsvariable und den durch das Modell prädizierten Werten •R²: Anteil der Varianz, die durch das Modell erklärt wird •Adj. R²: Schätzung von R² in der Population ANOVA (F-Test) •Ist die durch das Modell erklärte Varianz signifikant grösser als die Fehlervarianz im Modell? Zeigt, ob sich ein Regressionsmodell signifikant besser für die Vorhersage des Kriteriums eignet als ein Mittelwert Koeffizienten •Regressionskoeffizient B: Veränderung in der Kriteriumsvariable, die mit einer Veränderungseinheit im Prädiktor assoziiert ist •Standardisierte Koeffizient Beta: das gleiche, aber als Standardabweichung ausgedrückt.

Multivariate (Fach) / Mult Reg 1 (Lektion)