58

Forschungsmethoden (Subject) / Evaluationsforschung (Lesson)

This lesson was created by Josi91.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 2

• Was behandelt die Evaluationsforschung? Evaluation von(1) Programmkonzeption(2) Formative Evaluation (Implementierung)(3) Programmdurchführung(4) Programmwirksamkeit(5) Programmeffizienz (Kosten/ Nutzen)
• Was ist das zentrale Studiendesign der Evaluationsforschung? ·       Wirkung einer Behandlung auf ein Outcome --> kausaler Effekt Studiendesign: wichtig dafür, ob und wie man diesen Effekt in empirischen Daten findet --> Randomisierung vs. Kovariatenadjustierung Welche Maße erhebe ich zu welchem Zeitpunkt um die Wirksamkeit zu beurteilen?  Zielgrößen/ Outcomemaße Ausgangszustand Vgl.sGr. ·       Standard: mindestens Vortest-Nachtest-Vgl.sGr.plan
• Praktische Probleme für kausale Behandlungseffekte: Simpsons Paradox tritt auf, wenn 2 Bed. zusammenkommen --> Bewertung versch. Gr. fällt unterschiedlich aus, je nachdem ob man die Ergebnisse der Gr. kombiniert o. nicht --> Konfundierung  ungleiche Behandlungswahrscheinlichkeit der KovariatenGr. (deutlich mehr Männer im Training) ungleiche Matheleistung der KovariatenGr. (Männer sind deutlich besser in Mathe) Geschlecht ist Kovariate = Störvar. Z 𝑍 beeinflusst die Behandlungswahrscheinlichkeit (𝑋=1) und auch das Outcome - Matheleistung (𝑌) wenn man den Effekt von 𝑋 auf 𝑌 betrachten möchte, dann muss man für alle 𝑍 kontrollieren z.B. Frauen haben mehr psy. Prbl. als Männer & suchen eher Therapie auf als Männer --> MW von ps. Beschwerden in der Gr. höher wo mehr Frauen --> falsche Schlussfolgerung z.B., dass Therapie keinen Nutzen hat--> MW Unterschiede nicht für bare Münze nehmen, sondern immer hinterfragen
• Praktische Probleme für kausale Behandlungseffekte: Störvar. Störvar. führen zu Gr.unterschieden Gr.unterschiede erheblich, wenn sie sich auf die Outcome-Maße auswirken zentrales Problem von Quasi-Experimenten: Einfluss von DrittVar.n kontrollieren
• Was ist ein kausaler Effekt? ·       Zielstellung: Wirkung einer Behandlung auf ein Outcome --> kausaler Effekt ·       Differenz der Ausprägungen der interessierenden abh. Var. für die beiden Zustände
• Kausaler Effekt: Unterschied in Theorie & Praxis Beschreibung nicht auf Basis konkreter Daten sondern eines Zufallsexperimentes & des entsprechenden Wahrscheinlichkeitsraumes kausale Effekte sind wohl definiert im Rahmen der Wahrscheinlichkeitstheorie aber mathematische Repräsentation ist komplex  fundamentales Problem der Kausalanalyse: theoretische „was-­wäre-­wenn“ Ergebnisse, die nicht beide beobachtbar sind  für jede Einheit lässt sich nur eines der theoretischen Ergebnisse beobachten, während es sich bei dem anderen um unbeobachtetes, kontrafaktisches Ergebnis im Sinne einer „was-wäre-wenn“ Frage handelt --> da die Prs. im Rahmen von Zw.Gr.-Designs jeweils nur einer der Treatment-Bed. zugewiesen werden, lässt sich lediglich der True Outcome schätzen   Bsp.: jeder Schüler befindet sich nur in einer Schule, sodass sich die Schulleistungen nur für ein best.s der verschiedenen potenziellen Szenarien beobachten lassen --> damit lässt sich der INDIVIDUELLE TREATMENT-EFFEKT niemals direkt messen es lässt sich nicht feststellen, welche Schulleistungen best.r Schüler gehabt hätte, wenn er auf eine Schule mit einer anderen sozioökonomischen Zusammensetzung gegangen wäre
• Wie umgeht man das Problem der Kausalitätsanalyse? Problem:dieselben Prs. können nicht zu demselben Zeitpkt. in 2 unterschiedl. Zuständen beobachtet werden (eine der beiden Sit. wurde nicht beobachtet (-->Prs. nicht gleichzeitig in VT & TP) --> Schätzung eines Treatment-Effekts auf Individualebene nicht mgl. auf Bed. „zum selben Zeitpkt.“ verzichteno    Vorher-Nachher-Messungen, z.B. Panelanalyseno    intraindiv. Veränderungen werden zur Schätzung des INDIV. KAUSALEFFEKTS genutzt auf Bed. „dieselbe Prs.“ verzichteno    durch Vgl. v. Populationsmittelwerten für Prs.gr. mit & ohne Maßnahme kann nicht mehr die individuelle, aber durchschnittl. kausale Wirkung bestimmt werd Ergebnis für verschiedene Einheiten mit verschiedenem Treatmentstatus  vergleichen es werden also die Leistungen von verschiedenen Schülern in Schulen mit hohem (TreatmentGr.) & niedrigem (KontrollGr.) sozialem Status der Mitschüler verglichen und auf Basis der Leistungsdifferenz zw. den Schulen auf den DURCHSCHNITTL. KAUSALEN EFFEKT geschlossen aber „naiver“ Schätzer-->Annahme, dass keine weiteren Differenzen zw. beiden Gr., die für Ergebnis von Bedeutung sind Selektionsbias z.B. wenn Schüler aufgrund von Merkmalen; z.B. Familienhintergrund o. Wohnort, in best. Schulen selektiert & diese Merkmale auch mit der Schulleistung als AV zusammenhängen damit unterscheiden beide Gr. nicht nur in Bezug auf sozioökon. Zusammensetzung der Schülerschaft, sondern auch in Hinblick auf andere Merkmale, die für Leistungsdifferenzen zw. Treatment- und KG verantwortlich sind eigentlicher Effekt der soz. Zusammensetzung wird somit unter- oder überschätzt
• Was ist der indiviuelle kausale Effekt? ·       beide Zustände für dieselbe Prs. zu demselben Zeitpunkt ·       Bsp.: Studie zu einem Programm zur stärkeren Integration ausländischer Studierender --> Unterschied zw. dem Grad an Integration, wenn dieselbe Prs. an der Maßnahme teilgenommen hat und dem Grad an Integration, wenn dieselbe Prs. nicht an der Maßnahme teilgenommen hat
• Was ist der durschnittliche kausale Effekt?   arithmetisches Mittel der individuellen Wirkungen  es werden also die Leistungen von verschiedenen Schülern in Schulen mit hohem (TreatmentGr.) & niedrigem (KontrollGr.) sozialem Status der Mitschüler verglichen und auf Basis der Leistungsdifferenz zw. den Schulen auf den DURCHSCHNITTL. KAUSALEN EFFEKT geschlossen
• Wie identifiziert man kausale Effekte in realen Daten? Welche Effekte interessieren uns theoretisch? IDENTIFIKATION EINES KAUSALEN EFFEKTES IST LOGISCH UNMÖGLICH, DA DIE THEORETISCHEN GRÖSSEN IN REALEN DATEN NICHT DIREKT BEOBACHTBAR SIND, SONDERN NUR IN UNSEREN HYPOTHETISCHEN --> man begnügt sich mit durchschnittl. kausalen Effekten (für best. Populationen)  Effekte, die unter gewissen Bed. (z.B. Annahme, dass für alle relevanten Kovariaten adäquat kontrolliert wird) schätzbar sind:   Average Treatment Effect (ATE) (wird auf Populationsebene geschätzt)ATE =   E{ ∆i }   =    E{ Yi(1) - Yi(0)}    =   E{ Yi(1)} – E{Yi(0)} Grundidee: Wie ist der durchschnittl. Unterschied zw. TG & KG gemittelt über alle Prs. in der Stpr. Average Treatment Effect on the treated (ATT) (Betrachtung der Subpopulation): ATT =   E{ ∆i | Di = 1}   =   E{ Yi(1) - Yi(0) | Di = 1}   =   E{ Yi(1) | Di = 1} – E{Yi(0) | Di = 1} Bedingte Effekte sind „feiner“ Grundidee: Wie ist der durchschnittl. Unterschied zw. TG und KG gemittelt über best. Prs.Gr. in der Stpr. „Treatment“ ... D „Outcome“   ... Y Individuum  ... i Di = 1 ... Individuum i erhält   ein Treatment Di = 0 ... Individuum i erhält kein Treatment Yi(Di) ... „Potential Outcomes“ Yi(1)  ... Outcome im Falle i erhält   ein Treatment Yi(0)   ... Outcome im Falle i erhält kein Treatment E = Erwartungswert in der Population
• Advertisement
• Was gibt es für Implikation wie wir kausale Effekte schätzen können? (Design & Kovariatenselektion) ·       man kann durchschnittl. kausalen Effekt i.d.R. nicht ohne weiteres schätzen, weil er als Durschnitt der indiv. Effekte definiert ist und diese indiv. kausalen Effekte in vielen Fällen nicht geschätzt werden können, weil man eine Prs. nur einer einzigen experimentellen Bed. unterwefen kann (nicht gleichzeitig m. 2 versch. Therapien behandeln) --> kausaler Effekt: Differenz zw. zwei (theoretischen) MWen -->  Prima-Facie Effekt: Differenz zw. beiden TreatmentGr.
• Prima Facie Effekt PFE vergleicht Effekt eines Treatments im Vgl. zur KG (=MWsdifferenz der Antw.var. Y zw. 2 experimentellen Bed.) PFE = durchschnittl. kausaler Effekt, wenn o    Treatmentvar. X & Prs. U stochastisch unabh. sind à kann man z.B. durch zufällige Zuweisung d. Prs. zu einer der experimentellen Bed. realisieren o    Population homogen ist
• Unbedingter Prima Facie Effekt betrachtet nur Unterschiede zw. Treatment-Gr. und bezieht noch keine SubGr. und Kovariaten in die Berechnungen ein  unbedingter Prima Facie Effekt = DIFFERENZ DER ERFOLGSWAHRSCHEINLICHKEITEN ZW. TREATMENT- UND KG Bsp.: Behandlungserfolg (Y=1 Erfolg, Y=0 kein Erfolg), je nachdem ob ein Treatment durchgeführt wurde (X=1 Treatmentgruppe, X=0 Kontrollgruppe)   als Kovariate wird Geschlecht (0=männlich,  1=weiblich)  betrachtet  X=1, Y=0: 23,2% der Stichprobe haben ein Treatment  erhalten,  aber  keinen  Behandlungserfolg insgesamt erhielten 40% ein Treatment und 52,8% der Stichprobe hatte einen Behandlungserfolg  um bedingte Erfolgswahrscheinlichkeiten  auszurechnen,  verwendet  man Formel, in der die Wahrscheinlichkeit des Ereignisses durch die Wahrscheinlichkeit, überhaupt in der entsprechenden Treatment-Bedingung zu sein, geteilt wird
• Kausaler Effekt: Wann ist empirisch = theoretisch? --> PFE=ATE ·       alle Prs. haben die gl. Behandlungswahrscheinlichkeit x=1,0 --> das ist genau das, was wir bei der Randomisierung machen
• Was kann man machen, wenn ATE≠PFE???  bedingte PFEs anschauen: PFEz=z = E(YIX = 1,Z=z) - E(YIX=0, Z=z) wenn man z.B. die Prima Facie Effekte nach Geschlechtern getrennt betrachtet Bsp.: bedingter PFE: Beispiel nach Geschlechtern getrennt Männer haben höhere Erfolgswahrscheinlichkeit (Y=1)  als Frauen (.352 zu .176) und Männer deutlich seltener in der Treatment-Gruppe (X=1)  als Frauen (.020 zu .380) PFE sagt uns, ob die Erfolgswahrscheinlichkeit der Frauen größer ist, wenn sie ein Treatment hatten als wenn sie kein Treatment hatten man kann dann noch den über z gemittelten PFE berechnen: Hilft die Therapie? --> es wird berücksichtigt, dass Frauen & Männer sich unterschiedlich auf die Treatment-Bed. verteilt haben gibt also an wie die Therapie gewirkt hätte, wenn sich beide Geschlechter gleichmäßig auf die TG verteilt hätten & berücksichtigt die zw. den Geschlechtern versch. Erfolgswahrscheinlichkeit
• Nennen sie eine bsp.hafte Fragestellung für eine ANCOVA!   Fragestellung: Welchen Effekt hat die Therapie auf die Depression? Vorgehen:   t-Test: Einfacher MW Vgl. Depression nach der Therapie zeigt höhere Werte in KlinikGr. als in KG --> aber Unterschiede schon vor der Therapie vorhanden ANCOVA:: bei Kontrolle der Depression vorher zeigt sich pos. Effekt der Therapie --> TherapieGr. hat niedrigere Werte als KG es liegt signifikante Interaktion vor, besonders bei hohen Depressionswerten vorher führt die Therapie zu einer deutlichen Verbesserung im Vergl. Zur KG
• Was man man in der traditionellen ANCOVA?  = Verfahren, das eine Varianzanalyse mit einer Regressionsanalyse kombiniert  wird eingesetzt, um die Fehlervarianz einer ANOVA zu verringern und damit die Power zu erhöhen dazu wird der Einfluss einer zusätzlichen Variable (=Kovariate) auf die AV „herauspartialisiert“ Bsp.: Vor dem Vergleich der Gedächtnisleistung (AV) zw. 2 Lernbedingungen (UV) wird der Einfluss des Alters (Kovariate) heraus gerechnet  Kovarianzanalyse =Kontrolle einer metrischen Variable in einem kategorialen Design (da kontinuierliche unabhängige Variablen mit in eine Varianzanalyse aufgenommen werden => Erweiterung zur Kovarianzanalyse) (bei VA nur kategoriale UVs) Additive Verknüpfung der kategorialen und metrischen Prädiktoren im multiplen Regressionsmodell entspricht der Kovarianzanalyse o    Kategoriale UV als „Feste Faktoren“ o    Kontinuierliche UV als „Kovariate“ --> metrisch Kovariate ist nicht Teil der Fragestellung (es interessiert nicht Effekt der Kovariate) --> dienen nur als Kontrollvar. es ist aber bekannt, dass die Kovariate einen Einfluss auf die abh. Var. hat und für diesen Einfluss soll kontrolliert werden --> Einfluss wird „heraus gerechnet“
• Vorgehen in der traditionellen ANCOVA  der Varianzanalyse wird eine Regressionsanalyse vorangestellt  durch diese wird die Varianz aus der AV „entfernt“, die auf das Kovariat zurückgeht Vorgehen: die kategoriale Var. muss kodiert werden die kodierte Var. wird in die Regression aufgenommen nteraktionsterm wird nicht aufgenommen
• Wo steckt in der ANCOVA die Regression? Regression der AV auf die Störvar.: y^ = b0 + b1x1 Residuum y ohne Störvar. bilden: YRes = y - y^ inhaltl. Analyse m. korrigiertem Y vornehmen E (YIX,Z) = a0 + a1Z + a2X 𝑋 TreatmentVar. (Kontrolle: X = 0; Behandlung: X = 1) 𝑍 StörVar. (Kovariate) Y OutcomeVar.   α2 bzw. β2 (Z=z)-bedingte Erwartungswertdifferenz in der Outcomevar. Y zw. Kontroll- & Behandlungsbed. o    α2 bzw. β2 = E (Y I X=1, Z = z) – E (Y I X=0, Z=z) o    Erwartungswertdifferenzen für alle Werte von Z als gleich angenommen --> α2 = durchschnittl. Erwartungswertdifferenz = durchschnittl. Behandlungseffekt
• Lineare Regressionsgleichung in der ANCOVA E (YIX,Z) = a0 + a1Z + a2X 𝑋 TreatmentVar. (Kontrolle: X = 0; Behandlung: X = 1)𝑍 StörVar. (Kovariate)Y OutcomeVar.  α2 bzw. β2 (Z=z)-bedingte Erwartungswertdifferenz in der Outcomevar. Y zw. Kontroll- & Behandlungsbed.o    α2 bzw. β2 = E (Y I X=1, Z = z) – E (Y I X=0, Z=z)o    Erwartungswertdifferenzen für alle Werte von Z als gleich angenommen --> α2 = durchschnittl. Erwartungswertdifferenz = durchschnittl. Behandlungseffekt
• Was sind Vorteile und Einschränkungen der ANCOVA? Vorteil: es werde StörVar.n eliminiert & die Varianz innerhalb der Gr. reduziert (durch die kontinuierl. Var. wird zusätzlich Varianz aufgeklärt, wodurch Residualvarianz der abh. Var. verringert wird) --> leichter, den eigentlich interessierenden Gr.effekt zu untersuchen Einschränkung: es wird angenommen, dass keine Interaktion zw. Kovariaten und BehandlungsGr. besteht, d.h. dass die Behandlungseffekte für alle Kombinationen von Kovariatenwerten gleich sind
• Was interpretiert man in der ANCOVA? F= Varianz zw. Gr./ Varianz in Gr. --> Vgl. Femp/ Fkrit Regressionskoeffizienten R2 adjustierte MW Quadratsummentyp ETA 2
• Warum erhöht sich bei der ANCOVA der F.Wert? F= Varianz zw. Gr./ Varianz in den Gr. F = n-k-1/ k * R2/ (1-R2) weil durch kontinuierliche Var. zusätzl. Varianz erklärt wird, wird Residualvarianz in der abh. Var. verringert Zähler in Gleichung wird verringert -->  hierdurch erhöht sich F-Wert, ein Effekt wird also eher signifikant
• Warum erhöht sich durch die Hinzunahme von Kovariaten die Teststärke (Power) zur Absicherung eines Effekts der kategorialen Var.? F = n-k-1/ k * R2/ (1-R2) weil durch kontinuierliche Var. zusätzl. Varianz erklärt wird, wird Residualvarianz in der abh. Var. verringert Zähler in Gleichung wird verringert --> hierdurch erhöht sich F-Wert, ein Effekt wird also eher signifikant  durch die Hinzunahme von Kovariaten erhöht sich somit die Teststärke (Power) zur Absicherung eines Effekts der kategorialen Var. (z.B. Effekt der Treatment-Gruppe auf das allgemeine Wohlbefinden unabhängig von Intelligenz) aufgrund des Gewinns an Teststärke weniger VPN benötigt, als wenn man den Effekt einer kategorialen Var. ohne Kovariaten absichern würde Empirischer und theoretischer/kritischer  F-Wert  werden  verglichen   ist empirischer Wert größer als der  theoretische/kritische,  dann  kann  Nullhypothese  verworfen  werden --> d.h. Varianz innerhalb der Gr. kann mit Hilfe von Kovariaten besser erklärt werden
• Warum sollte man sich bei der ANCOVA die QS-Typen anschauen?  QS-Typ I: gemeinsame Varianz wird 1. Prädiktor zugeschrieben  QS-Typ III: jeder Prädiktor bekommt die, um die gemeinsame Varianz bereinigte Varianz zugeschrieben --> bei der Interpretation berücksichtigen
• Was bedeuten die Regressionsgewichte bei der ANCOVA? ·       Regressionsgewicht gibt den Unterschied zw. den beiden Regressionsgeraden an Bedeutung von b0 erwarteter ˆy-Wert für Prs. in China (X2=0), die einen Wert von 0 auf der Var.n PA haben Wert X1=0 besagt, dass keine positiven Affekte erlebt werden für diese Prs. erwarten wir einen Lebenszufriedenheitswert von ˆy= 11,612 Bedeutung von b1 b1=0,699 --> sowohl in China als auch in den USA steigt Lebenszufriedenheit an, wenn mehr positive Affekte erlebt werden mit einer Zunahme der positiven Affekte um den Wert 1 erwartet man in beiden Nationen einen mittleren Zuwachs der LZ von 0,699 Bedeutung von b2 b2=2,971 zeigt an, dass Prs., die gleich viel positive Affekte erleben, in den USA einen um den Wert 2,971 höheren erwarteten Lebenszufriedenheitswert aufweisen als in China  bedingter Effekt d. nationalen Zugehörigkeit --> mittlerer Unterschied zw. den beiden Nationen in der LZ, der  nicht darauf zurückgeführt werden kann, dass sich beide Nationen auch im Erleben pos. Affekte unterscheiden
• Warum nimmt man in der ANCOVA adjustierte MW? adjust. MW allein zeigen nicht an, ob Störvar. einen Einfluss haben, aber im Vgl. mit den normalen MW geht es Zentrierung macht Sinn, falls man bei metrischen Prädiktoren Interaktionen modellieren möchte --> damit verringert man auch Multikollinearität im Bsp. unterscheiden sich die beiden Nationen sowohl in ihren MWen für die Lebenszufriedenheit als auch in ihren MWen für die Häufigkeit positiver Affekte US-Amerikaner weisen sowohl in der Lebenszufriedenheit als auch in der Häufigkeit pos. Affekte höhere MWe auf als Chinesen um beide Nationen in Bezug auf ihre LZ vergleichen zu können (insoweit sie nicht auf das Erleben pos. Affekte zurückgeführt werden kann), berechnet man ADJUSTIERTE MW d.h., Prs. gleicher Ausprägung auf den Kovariaten betrachten --> dadurch können Unterschiede zw. Prs. konstant gehalten werden man sieht, dass der MWsunterschied  in  der  Lebenszufriedenheit zw. den USA und China kleiner geworden ist, wenn man Prs. vergleicht, die gleich häufig positive Affekte erleben  adjustierten MWe geben also den mittleren Unterschied zw. beiden Nationen an, der nicht auf Unterschiede im  Erleben  positiver  Affekte  zurückgeführt werden kann
• Was macht man beim ?2 Differnzentest? 2 Modelle werden verglichen restriktives Modell: Y = E(YIX, Z1) + e liberaleres Modell: Y = E(YIX1, Z1, Z2) + e H0: Varianzaufklärung unterscheidet sich nicht zw. den beiden Modellen signifikantes Ergebnis bedeutet, dass das liberale Modell signifikant mehr Varianz aufklärt --> d.h. spricht für die Aufnahme des Prädiktors somit kann man falsifizieren, ob man alle relevanten Kovariaten Zc hat, die das Outcome vorhersagen geringe Varianzaufklärung: .01, mittlere: .13, hohe:.26
• Was sagt uns ETA2 bei der ANCOVA? Effektstärkemaß Erklärungskraft der unabhängigen Variable geht von 0 –1, lässt sich in % angeben = Varianzaufklärungspotential der unabhängigen Variable für die abhängige Variable Fehlerreduktionsmaß: die Kenntnis der unabhängigen Variable reduziert den Fehler, den man bei der Prognose der abhängigen Variable ohne ihre Kenntnis machen würde um den Wert des Maßes in Prozent
• Was kann die generalisierte ANCOVA? hier werden Interaktionen zw. Kovariaten und BehandlungsGr. zugelassen, d.h. in Abhängigkeit von den Kovariatenwerten können Behandlungseffekte größer o. kleiner sein
• Advertisement
• Wie kann die generalisierte ANCOVA dargestellt werden? (Gleichung, Regressionsmodell) E (YIX,Z) = g0 (Z) + g1 (Z)°x =            ß0 + ß1Z + y0X+y1ZX        g0 = Achsenabschnittsfunktion g1 = Effektfunktion
• Was sind Vorteile der generalisierten ANCOVA? Behandlungseffekte werden nicht nur für Gesamtpopulation geschätzt, sondern es werden einzelne BehandlungsGr. berechnet Kovariaten sowie Outcome können als latente (messfehlerbereinigte) Var.n spezifiziert werden Varianzhomogenität zw. den Gr. ist keine notwendige Bed. für die Validität der Inferenzstatistiken Es werden nicht nur durchschnittl. Behandlungseffekte angegeben, sondern auf Grundlage des individuellen Musters von Kovariatenwerten auch Behandlungseffekte für jeden einzelnen Probanden
• Was ist ein Propensity Score? Pi = P(X=1 I Z) Propensity Score = bedingte Wahrscheinlichkeit dafür, dass man behandelt wird (x=1), gegeben der Kovariaten z in einer 1:1-randomisierten Studie ist diese gerade 0,5  in nichtrandomisierten Studie ist Wahrscheinlichkeit für jeden einzelnen Patienten unbekannt & hängt von dessen Merkmalen ab
• Wie lautet das 2stufige Verfahren beim PS? Adjustierung ihne Outcome durch 2 getrennte Analyseschritte (heikle Themen, z.B. Rauchen)  1) PS muss also in einem ersten Schritt aus den vorliegenden Daten geschätzt werden: PS kann in einer logistischen Regression geschätzt werden auf Basis eines logistischen Regressionsmodells wird aus allen potenziell konfundierten Var. die Wahrscheinlichkeit für die Zugehörigkeit zu einer der beiden Gr. geschätzt --> zugeteilte Therapie = AV --> die bei Therapiebeginn bestehenden Patientenmerkmale = UV Wert kann kann als Kovariate i. R. von Folgeanalysen (z.B. Kovarianzanalyse) berücksichtigt werden es wird darauf Wert gelegt, dass beide Therapiegr. hinsichtlich der Patientenmerkmale ähnlich sind --> beim RCT durch Randomisierung, beim PS durch Berechnung des PS-Modells 2) im zweiten Schritt wird eigentlicher interessierender Therapieeffekt unter Zuhilfenahme des PS geschätzt
• Was macht die logistische Regression beim PS? alles was wir für lineare Regression gebraucht haben, können wir auch für logistische nehmen, dazu brauchen wir aber diese Gleichung... ich interessiere mich nicht für die Regression an sich, sondern für die Werte --> diese sind dann die PS 1) Speichern der vohergesagten Werte als Schätzung des PS 2) Kovariatenauswahl & Annahmen über die funktionelle Form können falsch sein
• Wann wendet man den PS an/ wann ist er empfehlenswert? wird insbes. in multivariaten Regressionsmodellen (Regressionsanalyse) und Kovarianzanalyse verwendet wird verwendet, um systematische Unterschiede o. Verzerrungen zw. Vgl.sGr. zu kontrollieren wenn die Zugehörigkeit der VP zu z.B. 2 Vgl.gr. nicht per Randomisierung gebildet wird (Quasi-Experiment) --> Gefahr der Konfundierung der Gr.zugehörigkeit mit bedeutsamen Drittvar. -->  empfehlenswert zur Kontrolle von Konfundierungseffekten
• Warum Bedarf von PS zusätzlich zur ANCOVA? theoretisch kann man Effekt in der ANCOVA so produzieren wie man möchte --> je nachdem welche Kovariaten man reinnimmt --> Adjustierung und Effektschätzung in einem Schritt -->Z.B. so Ergebnisse, dass Rauchen nicht gesundheitsgefährdend Modell soll zw. Kovariate & Treatment modellieren erst im zweiten Schritt kommt Outcome hinzu PS-Analysen ähneln vom Vorgehen her eher einer randomisierten kontrollierten Studie Problem der herkömmlichen Regressionsmodelle: Ein-Schritt-Verfahren: Einfluss der Therapie auf die Zielgröße wird gleichzeitig mit den anderen UVs geschätzt schätzen immer Therapieeffekte, selbst dann, wenn sich die beiden Gr. von Behandelten & Nicht-Behandelten so extrem unterscheiden, dass eine solche Schätzung nicht sinnvoll ist PS kann, wie die herkömmlichen Regressionsmodelle auch, jedoch nur für die bekannten und tatsächlich gemessenen Patientenmerkmale adjustieren
• Problem PS Methoden Viele automatische Lösungen zur PS Schätzung Balance wird angenommen und gar nicht oder nur bezüglich des geschätzten PS (^𝜋) getestet wenn man es richtig macht, dann kann die explorative Vorgehensweise aufwendig sein
• Was interpretiert man bei PS-Analysen? Balance Overlap Regressionskoeffizienten 2. Teil kausale Effekte
• Was ist Balance? Verteilung der Kovariaten ist gleich in den Treatmentgr. gegeben 𝜋 („Balancing Score“)   wenn man 𝝅 berücksichtigt, dann sollten die TreatmentGr. „vergleichbar“ sein --> Balance = Vgl.barkeit der Treatmentgr. wenn wir für diese Wahrscheinlichkeit kontrollieren, dann unterscheiden sich die Kovariaten-Verteilungen nicht mehr --> mit der Wahrscheinlichkeit mache ich meine Gr. vergleichbar man schaut sich die Verteilung von 𝝅 und alle Kovariaten an (bzw. MW und Varianz der Verteilung)  am besten für alle Kovariaten, die man hat --> alle Kovariaten sollten ungefähr gleich sein (es müssen aber nicht alle Kovariaten in das Modell eingehen) Zwillinge in Kontroll- und TrainingsGr. finden --> Worin unterscheiden sich Prs.? selber PS = dann sind sich Zwillinge ähnlich --> in PS stecken alle Kovariate, die zu Unterschieden führen
• Was ist Overlap? Overlap kann hinsichtlich 𝝅 überprüft werden --> ist notwendige Bedingung besagt, dass der Teilnahmestatus nicht perfekt vorausgesagt werden darf, damit immer noch eine Variation zw.  Teilnehmern und Nichtteilnehmern besteht d.h. Prs. mit identischen  Charakteristika besitzen pos. Wahrscheinlichkeit  sowohl zu Teilnehmern als auch zu Nichtteilnehmern zu gehören: 0<𝑃(𝑋=1I𝑈)<1 Non-overlapping cases z.B. Prs. mit starker Bedürftigkeit die immer ins Treatment kommen  diese Fälle werden typischerweise ausgeschlossen, weil sie schlecht für die Balance sind & keinen Vgl.spartner haben “Caliper” – Toleranzbereich: Wie streng ist man beim Ausschluss die Alternative zum Ausschluss von non-overlapping cases ist modellbasiert zu Extrapolieren (siehe ANCOVA)
• Müssen bei PS-Methoden alle Kovariaten im Modell enthalten sein?  es müssen nicht alle Kovariaten im Modell enthalten sein (aber auf allen Kovariaten muss Balance sein)
• Was muss man bei der Interpretation von PS beachten? es geht nicht um Varianzaufklärung und Signifikanz der Prädiktoren wie bei ANCOVA – sondern um Balance es müssen nicht alle Kovariaten im Modell enthalten sein (aber auf allen Kovariaten muss Balance sein) es kann sein, dass nicht-lineare Terme und Interkationen nötig sind um Balance zu erreichen
• Was gibt es für unterschiedliche PS-Methoden? PS ANCOVA PS Weighting PS Stratification PS Matching
• Was bedeutet PS-Matching? Ursprung von PS Methoden - Nicht SubGr. bilden sondern auf Prs.ebene vergleichen („Zwilling“) jedem behandelten Patienten wird unbehandelter Patient („1:1-Matching“) zugeteilt  oder mehrere unbehandelte Patienten („1:n-Matching“) mit demselben PS o. minimal abweichenden PS im gematchten Kollektiv wird dann Therapieeffekt unter Berücksichtigung des Matchings geschätzt
• Wie kann man für den Propensity Score adjustieren? Mit dem 2stufigen Vorgehen kann man adjustieren ohne das Outcome zu kennen PS wird mit dem Treatment & Kovariaten geschätzt & untersucht, ob er für die Adjustierung verwendet werden kann Mit dem Outcome wird der Effekt des Treatments geschätzt bei Adjustierung für PS
• PS ANCOVA logit von 𝝅 als Kovariate verwenden, da dann Var. metrisch & nicht mehr zw. 0 & 1 eingeschränkter Wertebereich üblich nicht lineare Zsh. einzuschließen um bloß nichts falsch zu machen
• PS Gewichtung Gewichte werden mit dem PS gebildet Idee: überrepräsentierte Gr. werden geringer und unterrepräsentierte Gr. werden stärker gewichtet z.B. Kovariate Geschlecht: Männer in KG weniger --> stärker gewichtet
• PS Stratifizierung  SubGr. vergleichen Iogit von 𝝅 verwenden um Strata/ SubGr. zu bilden q=1,…, Q Idee: Prs. innerhalb eines Strata sind homogen (gleiche Kovariaten Verteilung) Schätzung des ATE in jedem Strata Mittelung Effekte über die Strata Anzahl der Strata abhängig vom Stpr.umfang (mind. 5 hier 10 )
• Was macht man bei einem Within-Study Comparison Design? Vgl. MWsdifferenz im Experiment & Quasi-experiment ich schaue ob mit den Kovariaten der ATE aus dem Exp. repliziert werden kann

back  |  next 1 / 2