Evaluation (Fach) / Forschungsdesigns in der Evaluation (Lektion)

Kap. 3

Diese Lektion wurde von loewi erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Sinn einer summativen Evaluation Untersuchen, ob Programm gewünschten Effekt hat!
• Beispiele für Effekte, die untersucht werden könnten in summativen Evaluationen: - Vergleich zweier Unterrichtsformen - Vergleich der Wirksamkeit von Therapieformen - Wirksamkeit von Stressmanagementtraining am Arbeitsplatz - Erfolg einer Informationskampagne zum Thema Tabakkonsum
• Interne Validität Können die Effekte wirklich auf das Treatment zurückgeführt werden? (Kausalität). - liegt Programm zeitlich vor dem Effekt? - sind Programm und Effekt zeitlich korreliert? - sind alternative Erklärungen für den Zusammenhang möglich? Und plausibel?
• Externe Validität Können die Evaluations-Ergebnisse von der Stichprobe auf Population generalisiert werden?
• Störfaktoren der internen Validität (10) Selektionseffekte (Gruppen nicht äquivalent) Dropout (z. B. durch Mortalität) Rosenthal-Effekt (Versuchsleiter-Erwartungseffekt) Placebo-Nocebo-Effekt (Erwartungshaltung) Mangelnde Treatment-Reinheit Programm zeitlich nicht vor dem Effekt Messinstrument nicht reliabel externe zeitliche Einflüsse (z. b. politische Rahmenbedingungen) Reifungsprozesse der Probanden, Spontanremission Regressionseffekte (bei Extremgruppen)  
• Störfaktoren der internen Validität, speziell bei Kontrollgruppen-Designs KG verärgert über Vorenthalten des Treatments KG versucht, EG zu überflügeln Versuchsleiter versucht, Ungleichheit von EG und KG auszugleichen Treatment-Diffusion (KG erfährt von Treatment und imitiert die Reaktion)
• Regression zur Mitte artifizielle zufallsbedingte Veränderungen, die entstehen wenn zu Beginn Extremgruppen aus der Population ausgewählt werden. v.a. bei Interventionsstudien! (Ein-Gruppen-Prä-Post-Design).
• Weg um Regression zur Mitte zu kontrollieren Randomisierte Zuweisung zu KG und EG, um zwischen Behandlungseffekt und Regressionseffekt zu unterscheiden.
• Störfaktoren der externen Validität - Messinstrument nicht valide (dadurch Konstrukt nicht adäquat abgedeckt) - Stichprobe nicht repräsentativ - Prätest-Effekte (Pb erhalten im Vorfeld Infos zur Untersuchung, die Ergebnisse beeinflussen) - Spezifische Laborsituation - Hawthorne-Effekt (Wissen um Beobachtet-werden verändert VH)  
• Spannungsfeld externe - interne Validität Feldstudien: Externe Validität wird besser (natürliches Setting), interneValidität verschlechtert durch unkontrollierbare Einflußgrößen Kontrolltechniken: Interne Validität erhöht, externe Validität verschlechtert durch unnatürliches Setting
• Warum ist perfekte Evaluationsstudie nicht möglich? • Einbindung in einen natürlichen Kontext• Randomisierung oft nicht möglich• Ressourcen sind begrenzt• Sozialwissenschaftliche Theorien vs. empirische Befunde• Formulierbarkeit & Messbarkeit eindeutiger Zielkriterien
• Was soll anstelle der perfekten Evaluationsstudie angestrebt werden? das best-mögliche Forschungsdesignzu wählen um interne und externe Validität so weit wiemöglich zu sichern (Kreativität gefragt)
• Ausarbeitung einer Programmtheorie - Schritte 1. Problemanalyse 2. Festlegung der effektiven Interventionskomponenten 3. Definition der Outcomes 4. Beschreibung der Wirkungsmechanismen
• Problemanalyse Programmtheorie Teil 1     Was wird bei wem unter welchen Bedingungen zu einem Problem? Welche Einflussgrößen/-möglichkeiten bestehen? Was ermöglicht einen problemlosen Ablauf?
• Festlegung der effektiven Interventionskomponenten Programmtheorie Teil 2 =Spezifizierung der gewählten Interventionsstrategie • Theoretisches und praktisches Wissen notwendig• Festlegung der Interventionsstärke
  Kontaktintensität (z.B. Dauer einer Sitzung)
  Häufigkeit der Intervention
  Zeitdauer (Laufzeit) • Was bedingt Compliance?
• Definition der Outcomes? Programmtheorie Teil 3   • Eindeutig, konkret, klientenorientiert• Programmtheorie hilft den Outcome zu konkretisieren• Operationalisierung, Festlegung der Datenquellen, etc.• Surrogat- und Zielvariablen wichtig (z.B. SenkungMedikamentenkonsum/Schmerzreduktion)• (Nichtintendierte) Nebenwirkungen > wie können Sievermieden werden?
• Beschreibung der Wirkungsmechanismen Programmtheorie Teil 4   • Beziehung zwischen UV, IV, AV aufzeigen (z. B. mit Pfaddiagramm)• Einfluss von Ausgangsbedingungen, Kontext usw.
• Experimentelle vs. quasiexperimentelle Studien - Nachteil? • Wichtig bei Gruppenvergleichen: Die Gruppen müssen vor Behandlung vergleichbar sein!• „Gold standard“: Randomisierte, verblindete experimentelle Studien• Weil Randomisierung (und Verblindung) oft nicht möglichist: Quasiexperimentelle Studien, in denen man versuchtdie Gruppen auf anderem Wege vergleichbar zu machen
  Vergleichbarkeit der Gruppen bei quasiexp. Design aberoft eingeschränkt > Gruppenunterschiede auf der AV sindnicht notwendigerweise auf das Treatmentzurückzuführen = Einschränkung der internen Validität
• Designempfehlungen zur Erhöhung der internen Validität quasi-experimenteller Studien • Konstanthalten (z.B. nur weibliche Vpn)• Parallelisierung oder individuelles matching (Achtung: Evtl. Gefahr der Regression zur Mitte)• Analyse der Gruppenselektion, um eventuelle Gruppenunterschiede statistisch kontrollieren zu können• Dokumentation konfundierter Merkmale, die neben demTreatment ebenfalls auf die abhängige Variable Einfluss nehmen können• Kontrolle relevanter Variablen durch Aufnahme als zusätzlicherFaktor im Design oder statistische Kontrolle • Einsatz mehrerer abhängiger Variablen um alternativeErklärungen ausgrenzen zu können• Wiederholte Treatmentphasen (findet sich jeweils der gleicheEffekt > Beleg für interne Validität)• Wiederholte Prätestmessungen um Entwicklung ohneIntervention in beiden Gruppen zu dokumentieren• Mehr als zwei Vergleichsgruppen die unterschiedlich sensibelauf das Treatment reagieren (sollten)• Abgestufte Treatmentintensität Auch untersuchungsbedingte Störvariablen eliminieren, konstanthalten und/oderregistrieren! Diese können nicht durchRandomisierung kontrolliert werden
• Alternative zum experimentellen Design: Regressions-Diskontinuitäts-Analyse
• Regressions-Diskontinuitäts-analyse • Personen unter Cutoff auf Zuweisungsvariable: EG; Personen überCutoff: KG (oder umgekehrt)• Bsp.: Aufklärungsaktion „Gesunde Ernährung“ für Einkommensschwache„löscht“ Zshg. Einkommen & Gesundheitszustand.
• Phasen der psychologischen Therapieforschung 1. Untersuchungen zur Therapietechnik; Ziel: Entwicklung underste Erprobung eines Therapiemanuals2. Prüfung an Probanden mit minimalen psych. Störungen (z.B.Studierende); Ziel: Überprüfung der Wirkungsweise undPrüfung von Einflussgrößen wie z.B. Therapeutenverhalten3. Überprüfung der Therapie an Patienten; kontrollierte, klinischeStudie, Ziel: Effektivitätsnachweis4. Studien an unausgelesenen Patientenstichproben unterPraxisbedingungen; Ziel: Analyse von Nutzen/Risiken beispeziellen Patientengruppen unter Alltagsbedingungen; z.B.auch Längsschnittsstudien
• Problem der komplexen Interventionen • Problem: Interventionen haben oft viele Komponenten
  Welche Komponenten sind wirksam?
  Einmaliges lineares Durchlaufen der Forschungsphasenunrealistisch
• Ansatz für komplexe Interventionen sequentieller und iterativer Ansatz
• Was heißt efficacy? Effektivität/Wirksamkeit einer Intervention unter optimalen Bedingungen (Phase III-Studien)
  What can work
• Was ist Effectiveness? Effizienz/Nutzen/Wirksamkeit einer Intervention unter Alltagsbedingungen (Phase IVStudien)
  What does work
• Intention-to-treat-analyse - Wo angewendet? Was ist es?Wozu? Bei Effectivness-Studien. geeignet für die Prüfung der Wirksamkeit einer Intervention unter Alltagsbedingungen. • Die Probanden werden bei der Auswertung der Gruppezugeordnet, der sie ursprünglich, bei der Randomisierung,zugewiesen wurden (Zuweisung nach der „Intention“), nichtgemäß der tatsächlichen Behandlung.
  Weil die meisten Abweichungen vom Protokoll auch unterAlltagsbedingungen so geschehen würden
  
• Methodische Anforderungen an kontrolliere, klinische Studie 1. Kontrollgruppendesign (Vergleich mit Standardbehandl. bzwPrüfung von Behandlungskombinationen oder bei stabilerSymptomatik evtl. Verlaufsstudien, z.B. ABAB Design)2. Die Patientenpopulation und die Auswahlkriterien (Ein- undAusschlussregeln) müssen klar definiert sein.3. Die Studie muss prospektiv sein, retrospektive Kontrollgruppensind nicht hinreichend.4. Die Zuteilung muss randomisiert erfolgen.5. In Analogie zu den Blind- und Doppelblindstudien in derMedizin: Dem Patienten ist die Alternativbehandlung nichtbekannt; die Erfolgsbeurteilung wird nicht vom Therapeutenvorgenommen. Die Person, die die Messungen durchführt,kennt die Zuordnung möglichst nicht 6. Kontrolle der Compliance (patienten- und behandlerseitig):z.B. Dropout-Analyse oder Compliance-Ratings 7. Festlegung auf einige wenige, zentrale Zielkriterien.Surrogatkriterien interessant, aber zweitrangig (z.B.Abstinenzfähigkeit vs. Einstellungsänderung; Problem:Reichhaltigkeit der Messung vs. eindeutige Aussagen überdie Wirksamkeit; evtl. a-priori Unterscheidung vonprimären und sekundären Outcome-Maßen)8. Sinnvoll Festlegung des Stichprobenumfangs(Poweranalyse) z.B. mit spezieller Software GPOWER
• Was ist die Consort-Checkliste? Consolidated Standards of Reporting Trials Standards für die Dokumentation von RCTs (einfachesZweigruppen-Design), bestehend aus– Checkliste mit 25 Items– Flussdiagramm Der Beitrag von Schulz et al. (2010) stellt eine revidierteFassung der früheren Versionen der Checkliste dar.
• Kriterien um zu beurteilen, ob Evaluationsprojekt durchführbar ist ist die Evaluationsfrage klar genug formuliert? empirisch überprüfbar? Vorgaben realistisch? (bezgl. Zeit, Geld, etc.) ethisch vertretbar, empirisch zu untersuchen? (z. B. bezgl. Intimsphäre, freiwillige Teilnahme, Augenwischerei)
• Kriterien für sachgerechte Evaluation Ziele und Aufgaben der Evaluation werden vorab präzisefestgelegt, in ein Evaluationsdesign eingebunden undbezüglich der finanziellen Mittel geprüft. Eindeutige Beschreibung des Programms und seinerKomponenten; Bezug auf Programmtheorie Benennung, Beteiligung und Information der beteiligtenPersonen, Interessensgruppen Beschreibung des Programmkontextes Implementationsmonitoring Das Evaluationsdesign soll die beteiligten Personen sowenig wie möglich beeinträchtigen Validität und Objektivität Messinstrumente und Untersuchungsdesign sindnach fachlich-methodischen Standards (Gütekriterien)auszuwählen Kontrolle der Umsetzungsqualität (Handbuch,Leitfaden,Schulungsmaßnahmen) Die Evaluation muss möglichst effizient sein Beschreibung, auf welche Daten unterHinzuziehung welcher Bewertungsmaßstäbe sichwertende Aussagen beziehen Der Evaluationsbericht muss klar, eindeutig, vollständigund fair sein

zurück  |  weiter 1 / 1