Evaluation (Fach) / Effekt- und Respondermessung (Lektion)

Kap. 4

Diese Lektion wurde von loewi erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Beurteilungsdimensionen einer Evaluation • Effekte des Programmes (Fokus der heutigen Vl)• Effizienz (Aufwand vs. Ertrag) des Programms• Zielsetzungen des zu evaluierenden Programmes• Bedarf am untersuchten Programm• Programmkonzept einschließlich Voraussetzungen derProgrammdurchführung (z.B. finanzielle Aufwendungen)• Prozess der Implementierung / Durchführung• Inanspruchnahme des Programmes und• Akzeptanz bei den verschiedenen relevantenInteressensgruppen
• Woran orientiert man sich bei der Effektmessung? An den Programmzielen.   Welche Ziele sollen mit dem Programm erreichtwerden?• Wer sind die Zielgruppen des Programms?• Wie sollen diese Ziele erreicht werden? (Maßnahmen)• Woran erkennt man die Zielerreichung? (Indikatoren)
  >Gemeinsam mit Stakeholdern erarbeiten>
  Programmtheorie ausarbeiten (siehe Vl Termin 3)
• Woraus werden Prozess- und Erfolgsmaße abgeleitet? • Programmtheorie gemeinsam mit Stakeholdern erarbeiten
  Alle relevanten Perspektiven berücksichtigen (z.B. Schüler, Lehrer,…)• Programmeffekte auf bio,- psycho- und sozialer Ebene berücksichtigen
• Was sind Erfolg und Nutzen auch in anderen Worten? • Der Erfolg eines Programms wird nicht nur durch diegemessenen Effekte bestimmt, sondern insbesonderevon der Bewertung und Gewichtung dieser Effekte
  >>> Wieviel Nutzen haben die unterschiedlichenProgrammeffekte jeweils?• Festlegung der gewünschten Programmeffekte und dieBewertung dieser Effekte erfolgt gemeinsam mitStakeholdern
• Warum Messmodelle? • Datenerhebungs- und Datenanalysekonzepte derEvaluationsforschung müssen der Komplexität derProgrammwirkungen auf multiplen Ebenen und aufmultiple Personengruppen Rechnung tragen• Selbst scheinbar simple psychologische Konstrukte habenviele Facetten und können ganz unterschiedlichgemessen werden
  Breiter, mehrdimensionaler Zugang zur Messung undDatenanalyse erforderlich
  Messmodelle helfen, die richtigen Entscheidungen zutreffen
• Multitrait-Multimethod-Ansatz • Ausgangspunkt: Nur mäßige Korrelationen zwischenunterschiedlichen Datenquellen/Messverfahren. Hoffnung ist durch multimodale Operationalisierung mehr Kriteriumsvarianz aufzuklären   • Vorgehen bei MMTM: – Programmeffekte und Prädiktoren/Prozessmaße über mehrere (Teil-) Konstrukte erfassen (multi-trait) – Psychologische Konstrukte mittels multimethodaler Messung (multi-method) erfassen  
• Beispiel für multimodale Messung an Erfassung psychischer Störung • Multi-trait: Messung der Teil-Konstrukte Angst,Depression, etc. • Multi-method:– Mehrere Datenquellen:• z.B. Patient-Angehörige-TherapeutInnen– Mehrere Datenebenen:• z.B. soziale, psychologische, physiologische• auf der psychischen Ebene z.B. Erleben, Verhalten
• 4 Fälle von Asymmetrie nach dem Linsenmodell • Fall 1: Inadäquate Effektmaße > Maximale Asymmetriezwischen Prädiktoren und Kriterien (z. B. wenn Messinsturmente wg. leichter Verfügbarkeit ausgewählt werden soll) • Fall 2: Zur Bewertung eines breiten Programms werdennur wenige, spezifische Effektmaße verwendet (z. B. Erfolg der Reha nur über berufl. Wiedereingliederung gemessen) • Fall 3: Zur Bewertung eines spezifischen Programmswerden breite Effektmaße verwendet (z. B. Training zur Kontrolle des Blutzuckerspiegels, Beurteilung durch FB zu Lebensstil und Persönlichkeit) • Fall 4: Zur Bewertung eines breiten Programms werdenebenso breite, aber teilweise inadäquate Kriterienmaßeverwendet
• Symmetrieprinzip Konstrukte die miteinander in Beziehung stehen (Beziehung zwischen Prädiktor und Kriterium), sollte sich auf der gleichen Abstraktionsebene befinden (Primär-, Sekundärfaktoren, Itemebene).    
• Was bewirken asymmetrische Veränderungsstrategien? niedrige Teststärke
• Warum gilt bei Katamnesen nicht das Symmetrieprinzip=? • Follow-up Untersuchungen werden oft mit dem Zieldurchgeführt, generalisierende Effekt einer Interventionzu untersuchen– z.B. hat ein Kommunikationstraining für Führungskräfteeinen Effekt auf das generelle Arbeitsklima in einer Firma?
  >>> AV ist breiter angelegt als die Intervention
  >>Asymmetrie der Messung explizit in der Fragestellungangelegt
• Vorteile eingeführte, standardisierte Messinstrumente? – (Hoffentlich) ausführlich geprüft– Allgemein akzeptiert– Sparen viel Zeit, die die Entwicklung und Prüfung vonEigenentwicklungen einnehmen würde (oft ausschlaggebend)
• Vorteile Eigenentwicklungen? – Können speziell auf die Testung der eigenen Hypothesen/derProgrammtheorie abgestimmt werden– Asymmetrieprobleme können vermieden werden
• Datenaggregation? Vor- und Nachteile. Zusammenfassung von Variablen nach best. Algorithmus • Vorteile:– Dateninflation bei multimodalem Vorgehen wirdvermieden -> Überschaubarkeit– Vorhersagekraft des gebildeten Index u.U. größer• Nachteile:– Ergebnisdarstellung weniger differenziert– Die Testung einer Programmtheorie erfordertdifferenzierte Messung• Kompromiss: Theoriegeleitete Aggregation nur vonhomogenen Konstrukten  
• Zugänge zu Datenaggregation • Theoriegeleitet (welche Konstrukte sind verwandt?)– Messmodell (s.o.) kann als Grundlage dienen– Prüfung z.B. mittels konfirmatorischerFaktorenanalyse/Strukturgleichungsmodell• Explorativ– z.B. mittels explorativer Faktorenanalyse• Unkritische Indexbildung• Alternative: Einteilung in primären & sekundärenOutcome
• Welche Nomothetischen Ansätze zur Veränderungsmessung gibt es? - indirekte Veränderungsmessung - Quasi-indirekte Veränderungsmessung - Direkte Veränderungsmessung
• Was ist indirekte Veränderungsmessung? • Veränderungsmessung durch Ermittlung der Prä-Post-Differenzen auf der AV• Klassische Form der Veränderungsmessung
• Indirekte Veränderungsmessung: Vor- und Nachteile • Vorteil: Einleuchtend und einfach • Probleme:– Response shift– Skalenabhängigkeit– Reliabilität der Differenzwerte niedriger als Reliabilität derprä/postWerte– Ausgangswerte nicht berücksichtigt / Regressionseffektemöglich • Alternative (bei der statistischen Testung): AV: Post-Wert;Prädiktoren: Intervention & Prä-Wert, z.B. ANCOVA • Differenzwerte als deskriptives Maß trotz allem gängig
• Was ist quasi-indirekte Veränderungsmessung? • Post-Wert wird in der Jetzt-Zeit gemessen• Prä-Wert wird retrospektiv gemessen
• quasi-indirekte Veränderungsmessung Vor und nachteile • Problem:– Gedächtnisabhängig– (sowie alle anderen Probleme der indirektenVeränderungsmessung außer response shift) • Vorteile:– Evtl. bessere Krankheitseinsicht Post als Prä (Reha-Setting)– Kein response shift– Prä-Wert sind manchmal nur retrospektiv erfassbar
• Direkte Veränderungsmessung • Retrospektive Bewertung• i.d.R. Selbstbeurteilung• Subjektive Veränderung wird direkt eingestuft• Beurteilt werden kann das Ausmaß der Veränderung, dieZufriedenheit, etc.
• Direkte Veränderungsmessung vorteile • Es entspricht dem menschlichen Urteilsprozess, inRelationen wahrzunehmen und zu quantifizieren• Veränderung muss nicht indirekt über Bildung vonDifferenzwerten berechnet werden• Indirekte Veränderungsmessung nicht immermöglich• Ökonomisch (nur ein Messzeitpunkt)
• Direkte Veränderungsmessung nachteile • Abhängigkeit von Gedächtnisleistungen• Gefahr von Antworttendenzen• Unklarheit über das Ausgangsniveau
  >>> Verlaufsmessungen schwierig
• WElcher Zugang wird meist in der Praxis gewählt? • In der Praxis häufig indirekte Veränderungsmessung– Deskriptive Auswertung mittels graphischer Darstellung– Hypothesenprüfung mittels ANCOVA oderMehrebenenanalyse• …oft ergänzt durch eine direkte Veränderungsmessung
• Idiographische Ansätze? wo eingesetzt und welche gibt es? • Relevant wenn die Evaluationsergebnisse abhängigvom Individuum bewertet werden müssen– z.B. Reduktion vs. Steigerung des Selbstwertgefühls • Zugänge: – Qualitative Methoden, z.B. Interviews – Stärkere methodische Strukturierung z.B. mit der Strukturlege-Technik – Goal-Attainment-Scaling  
• GAS Probleme • Validität der Festlegung der Problembereiche ungeklärt• Regression zur Mitte• Summierung der Zielerreichungs-Scores problematisch(Scores basieren auf unterschiedlichen Zielen)• Reaktivität (Festlegung von Zielen hat positiven Effekt auf dietherapeutische Arbeit)• Relevanz von Problembereichen kann sich ändern• Verschlechterungen in nicht ausgewählten Problembereichennicht berücksichtigt• Geringe Teilstichproben die jeweils die gleichen Ziele haben >schwierig die Ergebnisse zu verallgemeinern
• Zielorientierte Ergebnismessung Kombination von nomothetischem und idiographischem Ansatz • Ablauf:– Breite Messung des Patientenprofils Prä• Für alle gleich -> nomothetisch– Festlegung der Therapieziele auf Grundlage desindividuellen Profils• ideographisch– Post-Messung– Indirekte Veränderungsmessung; nur Therapie –Zielbereiche des individuellen Profils werdeneinbezogen
• Was ist besser: Selbst- oder Fremdbeurteilung? • These: Selbst- und Fremdratings ergänzen sich; Ratingshaben immer eine subjektive Komponente; multipleDatenquellen sollten in einer Evaluation in Erwägunggezogen werden (s.o.: MMTM)• Höhe der Übereinstimmung zwischen den Perspektivenhängt vom Untersuchungsgegenstand ab
• Respondermessung • Bestimmung des Anteils der StudienteilnehmerInnen, dieauf die Behandlung angesprochen haben• Bildung einer Dichotomie: Responder/Non-responder • Evtl. nur ergänzende deskriptive Darstellung (%responder) als Ergänzung zur herkömmlichen indirektenVeränderungsmessung mit kontinuierlicher AV/ANCOVA
  Prüfung statistischer Signifikanz trennen von derBestimmung der klinischen Signifikanz (Snapinn & Jiang,2007)
• Responderanalyse Prädiktion der Treatment Response • Ziel: Zu untersuchen wer auf eine Behandlung ansprichtund wer nicht• Voraussetzung für Differenzierung der Behandlung• Analyse oft in Form von Regressionsanalysen (AV:Outcome; UVs: Prädiktoren)• Strukturgleichungsmodelle/Pfadanalysen erlaubendifferenzierte Darstellung der Wechselwirkungenzwischen den Prädiktoren

zurück  |  weiter 1 / 1