15
Multivariate (Subject) / Logistische Regression (Lesson)
Logistische Regression
This lesson was created by AnnaCy.
This lesson is not released for learning.
Advertisement
- Logistische Regression Allgemein •Die logistische Regression versucht über einen Regressionsansatz zu bestimmen, mit welcher Wahrscheinlichkeit das Eintreten/ Verändern der abhängigen Variablen (Kriterium) von verschiedenen Einflussgrößen zu erwarten ist. •Logistische Regression gehört zur Klasse der strukturprüfenden Verfahren •Mit Hilfe der Regressionsgleichung sollen die relativen Wahrscheinlichkeiten bestimmt werden, mit denen ein bestimmtes Ereignis in Abhängigkeit von einer oder mehr unabhängigen Variablen eintritt. •Die unabhängigen Variablen können jedes Skalenniveau haben. •Die AV hat kein metrisches Skalenniveau, sondern kategoriales, dichotomes oder nominales •Fragen/Problemstellungen für die Anwendung einer logistischen Regression •Welche von zwei oder mehreren alternativen Zuständen liegt vor oder welches Ereignis wird eintreffen? •Welche Faktoren eignen sich für die Entscheidung oder Prognose und welchen Einfluss haben sie auf das Zustandekommen eines Zustandes/Ereignisses? Hat ein Patient die Krankheit oder nicht? Wird er überleben oder nicht? Wird ein Kreditnehmer seinen Kredit zurückzahlen oder nicht? Wird ein potentieller Käufer das Produkt kaufen oder nicht? •Unterschied zur linearen Regression: Kein linearer Zusammenhang zwischen UV und AV Regressionsgleichung der logistischen Regression lässt sich etwas schwieriger interpretieren •Gründe warum eine lineare Regression nicht angewandt werden kann: Verletzung der Normalverteilungsannahme der linearen Regression Unplausible Werte bei den Schätzergebnissen Statt einem empirischen Beobachtungswert y erfolgt eine Ableitung der Eintrittswahrscheinlichkeit für das empirisch beobachtete Ereignis. In der logistischen Regression werden die Regressionskoeffizienten nicht über Kleinstquadrateschätzer ausgewählt, sondern mit der Maximum-Likelihood Methode
- Logistische Regression Ausgangspunkt •Um die Wahrscheinlichkeit für das Eintreten von y=1 bestimmen zu können, wird unterstellt, dass eine nicht empirisch beobachtete latente Variable z existiert, welche die binäre Ausprägung in der AV (y) in Abhängigkeit der UV (x) erzeugen kann. •z kann als aggregierte Einflussstärke der verschiedenen UVs interpretiert werden, die das Ereignis hervorrufen kann. •Annahme: die verschiedenen Einflussgrößen x erzeugen die latente Variable z durch eine Linearkombination. x -> z -> y
- Logistische Regression Linearkombination •Der Zusammenhang zwischen y und x lässt sich wie folgt definieren. •𝑦𝑘= 1 falls 𝑧𝑘>0 0 falls 𝑧𝑘≤0 Mit : 𝑧𝑘=𝛽0+Σ𝛽𝑗∙𝑥𝑗𝑘+𝑢𝑘 •Durch die latente Variable z wird die Verbindung zwischen der binären Variable y und der UV x hergestellt Z = aggregierte Einflussstärke •Annahme: die Einflussgrößen x erzeugen durch eine Linearkombination die latente Variable z •Wahrscheinlichkeitsaussage ist aber noch nicht möglich, daher wird für die Ausgestaltung des Modells die logistische Funktion verwendet …
- Logistische Regression Logistische Funktion •Logistische Funktion 𝑝=𝑒𝑧1+𝑒𝑧=11+𝑒−𝑧 •Wird verwendet um eine reelwertige Zahl in eine Wahrscheinlichkeit zu transformieren D.h. vom Wertebereich [-∞, + ∞] zu Wertebereich [0,1] e = 2,71828183 (Eulersche Zahl) •Transformiert man z mit der logistischen Funktion erhält man die logistische Regressionsfunktion: • 𝑝(𝑦=1)=11+𝑒−𝑧𝑘 zk bildet einen Prädiktor für die Wahrscheinlichkeit p(y=1) Je größer z desto größer p •Das Zustandekommen der aggregierten Einflussstärke z im Exponenten der logistischen Funktion wird also als linear unterstellt. •z-Werte werden auch als Logits bezeichnet. •Die Logistische Funktion… stellt eine Wahrscheinlichkeitsbeziehung zwischen Ereignis y=1 und den UVs her (Linking-Funktion) hat die Eigenschaft, dass sich die Wahrscheinlichkeit für ein Ereignis zwischen 0 und 1 bewegt. unterstellt damit einen nicht linearen Zusammenhang zwischen AV und UV als Modellprämisse
- Logistische Regression Grundlegende Zusammenhänge der log. Regression Betrachtungsgrößen UV lineare Verknüpfung -> aggregierte Einflussstärke (Logit) -> Chancenverhältnis (Odds) (p(y=1) p(y=0) -> Eintrittswahrscheinlichkeit x -> z -> e^z -> p (y=1) lineare Verknüpfung (x und z) -> exponentielle Verknüpfung (z und e^z) -> logistische Verknüpfung (e^z mit p)
- Logistische Regression Beispiel: einfacher Fall •Kauf (y) kann 2 Ausprägungen annehmen: 0 (kein Kauf) oder 1 (Kauf) •Bei linearer Regression ergibt sich 𝛽1=0,39 •Bestätigt die Vermutung, dass Einkommen einen positiven Einfluss auf die Kaufwahrscheinlichkeit hat. •Problem: Modell ist nicht logisch konsistent Wahrscheinlichkeiten können (bei Geraden) auch außerhalb von 0 und 1 liegen Es ergeben sich auch negative Wahrscheinlichkeiten Da die AV eine „0|1-Variable“ ist, kann die bei der Regressionsanalyse übliche Annahme der normalverteilten Fehler nicht erfüllt sein. D.h. Die Daten werden durch das Modell nicht optimal repräsentiert. •Logistische Funktion als Anpassungsfunktion •Es werden nicht die Werte AV geschätzt, sondern die Eintrittswahrscheinlichkeit moduliert, dass ein Ereignis auftritt oder nicht
- Logistische Regression Beispiel: multipler Fall •UV: Einkommen, Geschlecht → Kaufwahrscheinlichkeit •𝑝(𝑦=1)=11+𝑒−(𝛽0+𝛽1𝑥1+𝛽2𝑥2)
- Logistische Regression Schätzung der logistischen Regressionsfunktion •Maximum-Likelihood-Methode Ziel ist es, die Parameter so zu bestimmen, dass die Wahrscheinlichkeit, die beobachteten Erhebungsdaten zu erhalten, maximiert wird. D.h. optimale Trennung der Ausprägungen der AV •Ergebnis: Regressionsgleichung zur Bestimmung der z-Werte (Logits) •Mit diesen Logits werden dann unter Verwendung der logistischen Funktion personenbezogene Eintrittswahrscheinlichkeiten berechnet. •Die Logits stehen im Exponenten der logistischen Funktion. •Die logistische Funktion ist sozusagen das Bindeglied zwischen Regressionsgleichung und Wahrscheinlichkeitsaussage.
- Interpretation der Regressionskoeffizienten Interpretationsproblem Können die Schätzungen der Regressionskoeffizienten als globales Maß für die Einflussstärke der UVs auf die Eintretenswahrscheinlichkeit gewertet werden? NEIN! •Die UVs nehmen nur indirekt und in nicht linearer Form Einfluss auf die Eintrittswahrscheinlichkeit für das Ereignis y=1. Konsequenzen: 1.Die Regressionskoeffizienten sind nicht miteinander vergleichbar 2.Die Wirkung der Regressionskoeffizienten ist nicht konstant über die gesamte Breite ihrer Ausprägung D.h. gleiche Veränderungen in der UV wirken sich in verschiedenen Bereichen der logistischen Funktion unterschiedlich auf die Eintrittswahrscheinlichkeiten aus. Sättigungseffekt: Veränderungen in den Extrembereichen von z führen nicht zu wesentlichen Änderungen der Eintrittswahrscheinlichkeiten 3.Die Regressionskoeffizienten beeinflussen nur den Anstieg der Wahrscheinlichkeitsverteilung •Bei der linearen Regression bewirkt eine Änderung von x um eine Einheit eine Änderung der abhängigen Variablen um b •Bei der logistischen Regression ist die Wirkung einer Änderung von x auch abhängig vom Wert der abhängige Variablen p Am größten ist die Wirkung, wenn p = 0,5 ist, und sie wird umso geringer, je mehr p von 0,5 abweicht
- Logistische Regression Interpretation der Regressionskoeffizienten •Aufgrund des logistische Funktionsverlaufes ist nur die Richtung des Einflusses der UV erkennbar. •𝛽0 → Veränderung der Lage der logistischen Funktion in der Horizontalen 𝛽0<0 : Verschiebung nach rechts •𝛽𝑗 → Einfluss auf den Verlauf der logistischen Funktion 𝛽𝑗>1 : Stauchung der Funktion •Wahrscheinlichkeitswerte nähern sich in Abhängigkeit von x sehr schnell den Randbereichen an 0<𝛽𝑗<1 : Streckung der logistischen Funktion •Wahrscheinlichkeitswerte steigen in Abhängigkeit von x nur sehr langsam an. •𝛽𝑗 → Einfluss auf den Verlauf der logistischen Funktion 𝛽𝑗>1 : Stauchung der Funktion 0<𝛽𝑗<1 : Streckung der logistischen Funktion
- Advertisement
- Logistische Regression Interpretation der Odds •Zur Lösung des Interpretationsproblems werden nicht die Koeffizienten direkt betrachtet, sondern die Odds. •Odds: Eintrittswahrscheinlichkeit für ein Ereignis (y = 1) im Verhältnis zur Gegenwahrscheinlichkeit (y = 0) 𝑂𝑑𝑑𝑠𝑦=1=𝑝(𝑦=1)1−𝑝(𝑦=1) Bsp. bei Gewinnwahrscheinlichkeit von 75% 0,751−0,75=3 Die Chancen für einen Gewinn stehen 3 zu 1.
- Logistische Regression Interpretation des Odds Ratio •Odds Ratio: •𝑂𝑅=𝑜𝑑𝑑𝑠(𝑥+1)𝑜𝑑𝑑𝑠(𝑥)=𝑒𝑏 •Die Odds erhöht sich um einen Faktor eb, wenn x um eine Einheit erhöht wird. •Faktor eb → Odds Ratio (auch „Effekt-Koeffizient“) •Beispiel (Gourmet-Butter/ Einkommen) 𝑂𝑅=𝑒𝑏=𝑒1,827=6,126 •Die Chance für einen Kauf versechsfacht sich, wenn das Einkommen einer Person um 1 Einheit (= 1.000 €) steigt. •!Die Odds erhöhen sich bei Zunahme von x um eine Einheit nicht um einen konstanten Betrag, sondern um einen konstanten Faktor. •Beispiel für dichotome UV Geschlecht Code: 1 = weiblich; 0 = männlich AV: blond (ja = 1; nein = 0) Odds blonde Frau = 1,23 Odds blonder Mann = 0,92 𝑂𝑅=1,230,92=1,337 → die Wahrscheinlichkeit, dass Frauen blonde Haare haben ist 1,3 mal höher als für Männer Eine Zunahme der Ausbildungsdauer um 1 Jahr reduziert die Wahrscheinlichkeit adäquat beschäftigt zu werden um 0,6.
- Logistische Regression Fazit Interpretation Regressionskoeffizienten Eine ERhöhung von Unendlich auf Unendlich + 1 bewirkt im Fall von b>0: p: eine Erhöhung um annähernd p (1-p)^b odds: eine Erhöhung um den Faktor e^b logit: Eine ERhöhung um den Betrag b Odds Ratio: es gilt e^b>1 b<0: p: eine Verminderung um annähernd p(1-p)IbI odds:eine Verminderung um den Faktor e^-IbI = 1/e^IbI odds ratio: es gilt e^b <1
- Logistische Regression Prüfung des Gesamtmodells •Gütemaß für den Regressionsansatz Modellgüte eines logistischen Regressionsansatzes insgesamt (Gesamtfit) •Wie gut trägt die UV in ihrer Gesamtheit zur Trennung der Ausprägungskategorien von y bei? •Bei der Gütebeurteilung stehen 2 Fragen im Vordergrund: Wie gut können die Schätzungen in ihrer Gesamtheit das definierte Regressionsmodell abbilden? Liegen extreme Beobachtungsfälle vor, die als Ausreißer anzusehen sind und eine Eliminierung bzw. Modellveränderung erfordern? A. Analyse der Devianz bzw. des -2LogLikelihood-Wertes (-2LL-Wert) •Wahrscheinlichkeit (L) unter den gegebenen Parameterschätzungen die empirischen Beobachtungwerte zu erhalten -2LL → Χ2-verteilt bei k – j – 1 df (k = N Beobachtungen, j = N Parameter) -2LL = Devianz (Abweichung vom Idealwert) •Kleine Werte: gute Passung •H0: Das Modell besitzt die perfekte Anpassung •H1: Das Modell besitzt keine perfekte Anpassung Bei Wahrscheinlichkeit von 1 ist -2LL=0 → perfekter Modellfit B. Likelihood-Ratio Test: •Vergleich der Devianzen von Nullmodell und vollständigem Modell 𝐿𝐿𝑅=−𝟐(𝑳𝑳𝟎−𝑳𝑳𝒗) •𝐿𝐿0 Maximierte Log-Likelihood für das 0-Modell •𝐿𝐿𝑣 Maximierte Log-Likelihood für das vollständige Model R²-Statistiken (Pseudo R²-Statistiken) •Maß ähnlich wie R. in der linearen Regression Werte zwischen 0 und 1; höherer Wert → bessere Passung •McFaddens R. Perfektes Modell nahe Wert 1 Gute Modellanpassung schon ab Werten von 0,2 bis 0,4 •Cox & Snell-R. Kann nur Werte unter 1 annehmen •Nagelkerke‘s R. Maximalwert von 1 kann erreicht werden
- Logistische Regression Prüfung der Koeffizienten (Merkmalsvariablen) •Empfohlen wird der Likelihood-Ratio-Test. •Wald-Test ist bei großen Stichproben geeignet