Evaluation (Fach) / Evaluation alles (Lektion)

Evaluation FSU Jena 2018 alles (nicht Intervention)

Diese Lektion wurde von PsychoStudyKo erstellt.

Lektion lernen

zurück  |  weiter 1 / 3

• Welche Funktionen der systematischen Evaluation werden unterschieden? 1.) Erkenntnisfunktion 2.) Kontrollfunktion 3.) Dialogfunktion 4.) Legitimitätsfunktion 5.) Taktische Funktion
• Wozu dient die Erkenntnisfunktion von Evaluation? Aufbau von Wissensbeständen über den zu bewertenden Sachverhalt (z.B. Wissen über die Entwicklung eines Interventionsprogramms)
• Wozu dient die Kontrollfunktion von Evaluation? Überprüfung von Effektivität und Qualität (auch bezogen auf Kontrolle der Handlungen von Personen)
• Wozu dient die Dialogfunktion von Evaluation? Verbesserung von Austauschprozessen zwischen beteiligten Personen/Institutionen
• Wozu dient die Legitimationsfunktion von Evaluation? Legitimierung von Handlungsstrategien, Funktionsabläufen, Aufgaben- und Ressourcenverteilungen sowie generell von Positionen und Institutionen
• Wozu dient die Taktische Funktion von Evaluation? Einsatz von Evaluationen zum Zweck der Außendarstellung und als dekorative Symbolik Enge Verflechtung zwischen Erkenntnis und Interesse in der Evaluationsforschung (Brandtstädter, 1990).
• Was sind die grundlegenden Annahmen rationaler Evaluationsstrategien? 1. Grundsätzliche Planbarkeit sozialer Prozesse 2. Veränderbarkeit menschlichen Verhaltens und Erlebens 3. Kausalität
• Was bedeutet Kausalität? Zeitliche Strukturierung, Kovariation UV-AV, keine Konfundierung mit anderen Variablen (Begrenzung auf gerichtete Kausalität)
• Welche Kontextprobleme sollten Beachtung finden? 1.) Gesellschaftlicher Kontext 2.) Institutioneller Kontext 3.) Mikrokontext (-> beteiligte Personen, Rollen und Interessen)
• Welche Validitätsarten werden in der experimentellen Forschung unterschieden? Interne Validität Externe Validität
• Welche Validitätsarten werden in der Evaluation unterschieden? (nach Cook & Campbell) 1.) Statistische Validität 2.) Interne Validität i.e.S. 3.) Konstruktvalidität 4.) Externe Validität i.e.S. 5.) Deskriptive Validität
• Wodurch wird die Externe Validität i.e.S. gefährdet? Wechselwirkung zwischen Selektion und Intervention (systematische Auswahl kooperativer Fälle) Wechselwirkung zwischen Setting und Intervention (Auswahl günstiger Rahmenbedingungen) Wechselwirkung zwischen zwischenzeitlichem Geschehen und Intervention (besonders günstiger Durchführungszeitpunkt) Wechselwirkung zwischen Erhebungszeit und Intervention (es könnte sich nur um kurzfristige Änderungen handeln -> deshalb Follow-Ups)
• Wodurch wird die deskriptive Validität gefährdet? (unzureichende) Beschreibung der Intervention  (unzureichende) Beschreibung der Studiendurchführung Fehlende Angabe statistischer Kennwerte
• Wozu dient eine ausführliche Implementationsanalyse? Sie dient der Kontrolle der deskriptiven Validität. Aspekt: Beschreibung der Intervention
• Was ist Signifikanzenfischen? Wie kann es kontrolliert werden? Was gefährdet es? Beim Signifikanzenfischen handelt es sich um Zufallsergebnisse bei einer Vielzahl von Signifikanztests. Nicht signifikante Ergebnisse werden ausgelassen. Kontrolle: a-Adjustierung, vollständige und korrekte Berichterstattung Gefahr für die Statistische Validität
• Was gefährdet die statistische Validität (a-Fehler)? Fehlerhafte Anwedung statistischer Tests Signifikanzenfischen Reliabilität der Messinstrumente (a und ß)
• Was gefährdet die statistische Validität (ß-Fehler)? Geringe statistische Aussagekraft (z.B. durch zu kleine Stichprobe) Reliablität der Messinstrumente (a+ß) Reliabilität der Intervention (z.B. unstandardisierte Intervention) Zufällige Störeinflüsse Zufällige Heterogenität der Stichprobe (Zufallsfehler in der Randomisierung -> besser Matching oder Parallelisierung)
• Was gefährdet die Interne Validität i.e.S. (a-Fehler)? 1.) Zwischenzeitliches Geschehen (a+ß) 2.) Reifung / natürliche Entwicklung 3.) Testeffekte (Lern- & Erinnerungseffekte, Reaktivität) (a+ß) 4.) Statistische Regression (Tendenz zur Mitte bei Zweitmessung) 5.) Selektion (ggf. auch als Interaktion mit zwischenzeitlichem Geschehen oder Reifung) 6.) Experimentelle Mortalität (selektive Drop-outs) 7.) Unklare Richtung des Kausalzusammenhangs (bei Korrelationsstudien) 8.) Demoralisierung der Vergleichsgruppenteilnehmer 
• Was gefährdet die Interne Validität i.e.S (ß-Fehler)? 1.) Zwischenzeitlicher Geschehen (a+ß) 2.) Testeffekte (Reaktivität) (a+ß)  3.) Transfer oder Imitation der Intervention (Kontakt IG und KG) 4.) Ausgleichende Rivalität durch Teilnehmer der Vergleichsgruppe
• Wodurch ist die Konstruktvalidität gefährdet? 1.) Mono-Operationalisierung der AV (nur eine AV -> besser multimodale Diagnostik) 2.) Verwednung einer Methode zu Erfassung der AV (Multi-methodale Diagnostik) 3.) "Hypothesenraten der Teilnehmer" 4.) Erwartungseffekte der Administratoren (unabhängige Beurteilung oder Standardisierung) 5.) Wechselwirkung verschiedener Interventionen  6.) Wechselwirkung zwischen Test und Treatment (z.B. Interventionsinhalte abfragen) 7.) Aufmerksamkeits- oder unspezifische Effekte (z.B. Effekt allein durch die Beschäftigung mit den Teilnehmern)
• Was ist der Solomon-4-Gruppen-Plan? Der Solomon-4-Gruppen-Plan ist eine Planungsmethode für experimentelle Forschung.  Er dient der zusätzlichen Kontrolle von Messeffekten (also von Effekten durch wiederholte Messung). Es gibt jeweils zwei Interventions- und Kontrollgruppen. Jeweils eine IG und KG nehmen an einer Prämessung teil, die anderen beiden nicht. Alle vier Gruppen nehmen an einem Posttest teil - um Messeffekte zu schätzen werden nun IG mit IG und KG mit KG verglichen. Dieses Design ist oft nicht nötig, z.B. bei längeren Messzeitpunkt-Intervallen oder bei einer geringen Testeffektanfälligkeit. -> sehr aufwändig und teuer
• Was ist Parallelisierung? Kontrolle der Gruppenvergleichbarkeit durch gleichmäßige Verteilung wichtiger Variablen wie Alter und Geschlecht innerhalb der Interventions- und Kontrollgruppe. Dies erhöht die interne Validität eines Quasi-Experiments. Wird auch Matching genannt.
• Was sind Quasi-Experimente? Ein Untersuchungsdesign für quantitative Forschung. Ähnlich wie Experimente, aber die Kontrollgruppe unterscheidet sich systematisch von der Interventionsgruppe (z.B. andere Schulklasse - "natürliche Kontrollgruppen / natürliches Experiment"). Zufallsverteilung ist in diesem Fall nicht möglich. Die Kontrollgruppe ist eine augenscheinlich vergleichbare Gruppe. Um eine bessere Vergleichbarkeit zu schaffen werden Parallelisierung / Matching und statistische Kontrollen (z.B. Kovarianzanalysen) eingesetzt.
• Was sind Präexperimentelle Designs? Ihnen fehlt mindest ein wichtiger Aspekt von (Quasi-)Experimenten: Zwei Formen: 1.) Prä-Post-Analyse von nur einer Gruppe 2.) Post-Intergruppenvergleich -> eine KG und IG (ohne Zufallszuordnung); nur ein Messzeitpunkt
• Was sind Nicht-experimentelle Designs? Zwei Arten: 1.) quantitativ, längsschnittlich: Panel-Untersuchungen (Zeitreihen einer Gruppe) Trendstudien (verschiedene Gruppen, wiederholte Messungen) Kohortendesigns (auch Kohorten-Sequenz-Design) 2.) qualitativ: Kasuistiken (intensive systematische und anekdotische Fallberichte)
• Was sind Kasuistiken? intensive systematische und anekdotische Fallberichte
• Was ist das Regressions-Diskontinuitäts-Design? Eine Gruppe wird anhand eines Erfolgskriterium in zwei Gruppen geteilt. Eine Gruppe erhält nun eine Intervention (meist die schwächere). Ist die Regressionsgerade in der IG nun eine andere als in der KG (sie ist also diskontinuiert), so hat die Intervention einen Effekt.
• Was sind unterbrochene Zeitreihen? Sonderform eines Quasi-Experiments: Mit und ohne Kontrollgruppe Viele Messungen (z.T. auch während der Intervention) Vorteil: Sehr hohe Aussagekraft (v.a. mit Vergleichsgruppe) Nachteil: aufwändig, ggf. Messeffekte
• Was sind Dose-Response-Designs? Bestehen aus mindestens zwei Interventionsgruppen (und keiner unbehandelten Kontrollgruppe) Diese Gruppen erhalten eine unterschiedliche Dosis. Vorteil: keine unbehandelte Kontrollgruppe Nachteil: Annahme linearer Dosis-Wirkungs-Zusammenhänge; Dosierung bei psychosozialen Interventionen schwer zu quantifizieren.
• dBei welchem Design liegt in der Regel eine unbehandelte Kontrollgruppe vor? a. Regressions-Diskontinuitäts-Design b. Quasiexperimentelles Design c. Solomon-4-Gruppen-Plan d. Dose-Response-Design e. Experimentelle Einzelfallstudien f. Kohortendesign a. Regressions-Diskontinuitäts-Design (b. Quasiexperimentelles Design) -> oft auch Alternativ- oder Kontrollintervention c. Solomon-4-Gruppen-Plan d. Dose-Response-Design e. Experimentelle Einzelfallstudien f. Kohortendesign
• Was sind die zentralen Aspekte der Qualitätssicherung? 1. Strukturqualität (SQ) - Qualität der Versorgung 2. Prozessqualität (PQ) – Qualität des Handelns 3. Ergebnisqualität (EQ) – Qualität des Resultates SQ und PQ als notwendige, aber nicht hinreichende Bedingungen der EQ. EQ als eigentliche Zielgröße der Qualitätssicherung
• Was sind nicht-empirische Strategien der Qualitätssicherung? 1.) Standards der Fachausbildung (Diplom, Bachelor, Master; postgraduale Ausbildungen) 2.) Richtlinien für Fort- und Weiterbildungen 3.) Zertifizierungen, Akkreditierungen, Begutachtungen 4.) Supervision und Qualitätszirkel 5.) Managementschulungen
• Was sind empirische Strategien zur Qualitätssicherung? 1.) Kunden-/Patientenbefragungen – Kundenzufriedenheit 2.) Mitarbeiterbefragungen - Mitarbeiterzufriedenheit 3.) Basisdokumentationssysteme über Inhalt und Umfang von Leistungen 4.) Aktenanalysen (Verkaufs-, Inanspruchnahmezahlen, Fehlzeiten, Kosten-Nutzen-Analysen) 5.) Routinekatamnesen/-erfolgsbeurteilungen im Einzelfall
• Welche der folgenden Instrumente sind nicht-empirische Maßnahmen der Qualitätssicherung? a. Weiterqualifikation des Personals b. Analyse von Versorgungsdaten c. Kundenbefragungen d. Richtlinien und Standards e. Supervision f. Basisdokumentationsanalysen a. Weiterqualifikation des Personals b. Analyse von Versorgungsdaten c. Kundenbefragungen d. Richtlinien und Standards e. Supervision f. Basisdokumentationsanalysen
• Bei welchen Evaluationen handelt es sich um kennerschafts- bzw. expertiseorientierte Evaluationsmodelle? a. Politischer Diskurs b. Juristischer Prozess c. Experimentelle Untersuchung d. Qualitätssicherung e. Analyse von Versorgungsdaten f. Kunstkritik a. Politischer Diskurs (Gegnerschaftsorientiert) b. Juristischer Prozess c. Experimentelle Untersuchung d. Qualitätssicherung                                  (d und e sind keine Evaluationsmodelle) e. Analyse von Versorgungsdaten f. Kunstkritik
• Bei der direkten Veränderungsmessung handelt es sich um: a. Die Einschätzung der Zufriedenheit mit der Intervention b. Eine subjektive Einschätzung der Zielerreichung c. Eine Einschätzung der erlebten Veränderungen d. Den normativen Vergleich mit einer nicht-klinischen Gruppe e. Die Einschätzung der subjektiven Relevanz a. Die Einschätzung der Zufriedenheit mit der Intervention b. Eine subjektive Einschätzung der Zielerreichung c. Eine Einschätzung der erlebten Veränderungen d. Den normativen Vergleich mit einer nicht-klinischen Gruppe e. Die Einschätzung der subjektiven Relevanz 1-Punkt-Erhebung  insgesamt unsicher bei dieser Frage, wird unterschieden zwischen vorher: Veränderung und Ziel/Norm: Zielerreichung Nach Konsultation mit meinen Komiliton*innen bin auf b und c gestoßen, anstatt auf a und c. Abschließende Diskussion hat sich auf c und e berufen.
• Bei welchen Gefährdungen statistischer bzw. interner Validität kommt es nur zu einer Erhöhung des Beta-Fehlers? a. Geringe statistische Aussagekraft b. Messeffekte c. Unreliabilität der Messinstrumente d. Statistische Regression e. Imitation des Treatments in der Kontrollgruppe f. Ausgleichende Rivalität a. Geringe statistische Aussagekraft b. Messeffekte -> Alpha- und Betafehler c. Unreliabilität der Messinstrumente d. Statistische Regression -> nur Alphafehler e. Imitation des Treatments in der Kontrollgruppe f. Ausgleichende Rivalität
• Welche Validitäts-Gefährdungen sind bei einem Nur-Nachher-Design (Querschnitt, nur ein Messzeitpunkt) mit einer nicht-randomisierten Kontrollgruppe nicht zu kontrollieren? a. Erwartungseffekte der Administratoren b. Selektion in Treatment c. Zwischenzeitliches Geschehen d. Gleichzeitige Interventionen e. Unspezifische Aufmerksamkeitseffekte a. Erwartungseffekte der Administratoren b. Selektion in Treatment (theoretisch über Matching bedingt kontrollierbar) c. Zwischenzeitliches Geschehen -> wahrscheinlich nur das d. Gleichzeitige Interventionen (?) e. Unspezifische Aufmerksamkeitseffekte
• Welche dieser Aspekte können die Konstruktvalidität gefährden? a. Geringe Repräsentativität der Stichprobe b. Hauptsächliche Operationalisierung der AV durch Selbstauskünfte c. Multimethodale Diagnostik d. Nur proximale Messung e. Beurteilung durch die Progammentwickler f. Unspezifische Kontrollgruppen a. Geringe Repräsentativität der Stichprobe (gefährdet die statistische Validität) b. Hauptsächliche Operationalisierung der AV durch Selbstauskünfte c. Multimethodale Diagnostik (Kontrolle der Konstruktvalidität; Gefährdung: Messung der AV durch nur eine Methode) d. Nur proximale Messung e. Beurteilung durch die Progammentwickler (Erwartungseffekte) f. Unspezifische Kontrollgruppen (dies ist eine Kontrolle für Aufmerksamkeits- und unspezifische Effekte - Konstruktvalidität)
• Ein (!) Nachteil von Konsumentenbefragungen in der Wirksamkeitsforschung besteht darin, dass… Einen aussuchen! . . . die Subjektivität jedes einzelnen Befragten einfließt. . . . Bewertungskriterien und ihre Herkunft unklar sind. . . . es sich um eine eindimensionale Bewertung handelt. . . . es sich häufig um eine hohe Selektivität der Stichprobe handelt (dies gefährdet die interne Validität) . . . Zufriedenheitratings hohe Validitätsprobleme (Konstruktvalidität - nur eine Methode) aufweisen -> z.B. kann kognitive Dissonanz dazu führen, dass man ein Produkt, dass man zwar konsumiert, aber nicht so super findet, übermäßig positiv darstellt - da man es ja konsumiert und grad auch noch an einer Untersuchung dafür teilnimmt.
• Was ist das zentrale Element von Qualitätssicherung? Der Vergleich von Ist- und Sollzuständen
• Erfolgreiche Qualitätssicherungssysteme setzen eine zuverlässige…. voraus. Erfolgreiche Qualitätssicherungssysteme setzen eine zuverlässige Etablierung von verbindlichen Qualitätsstandards / Normen voraus. Erfolgreiche Qualitätssicherungssysteme setzen eine zuverlässige kontinuierliche Erfassung wichtiger Ergebnisparameter voraus.
• Was versteht Stockmann (2006) und der taktischen Funktion eines Evaluationsvorhabens? Einsatz von Evaluationen zum Zweck der Außendarstellung und als dekorative Symbolik Enge Verflechtung zwischen Erkenntnis und Interesse in der Evaluationsforschung
• Was versteht Stockmann (2006) und der Legitimitätsfunktion eines Evaluationsvorhabens? Legitimierung von Handlungsstrategien, Funktionsabläufen, Aufgaben- und Ressourcenverteilungen sowie generell von Positionen und Institutionen
• Was versteht Stockmann (2006) und der Erkenntnisfunktion eines Evaluationsvorhabens? Aufbau von Wissensbeständen über den zu bewertenden Sachverhalt (z.B. Wissen über die Entwicklung eines Interventionsprogramms)
• Was versteht Stockmann (2006) und der Kontrollfunktion eines Evaluationsvorhabens? Überprüfung von Effektivität und Qualität (auch bezogen auf Kontrolle der Handlungen von Personen)
• Was versteht Stockmann (2006) und der Dialogfunktion eines Evaluationsvorhabens? Verbesserung von Austauschprozessen zwischen beteiligten Personen/Institutionen
• Worin unterscheiden sich Kosten-Nutzen-Analysen von Kosten-Effektivitäts-Analysen? Kosten-Nutzen-Analysen: Dienen der systematischen Gegenüberstellung von monetären Kosten und monetären Nutzen einer Intervention (z.B. Kosten: Personal, Material vs. Nutzen: geringere Krankheitskosten, Lohn- und Steuerzahlungen etc.) Kosten-Effektivitäts-Analysen: Dienen der systematischen Gegenüberstellung von monetären Kosten und Parametern der Effektivität (z.B. die Heilung eines Patienten kostet bei dieser Intervention einen Betrag X; zumeist personenorientierte Auswertung) -> Unterschied also, das monetäre Kosten mit unterschiedlichen Erfolgsparametern verglichen werden.
• Welche Arten von Verzerrungen können bei Selbstauskünften auftreten? Soziale Erwünschtheit Kognitive Dissonanz  recency- und primacy-Effekte  generell Erinnerungverzerrungen Tendenz zur Mitte Positionseffekte Akquieszenz -> Ja-Sage-Tendenz
• Wie interpretiert man den Effekt, der in der Abbildung unten dargestellt ist? Begründen Sie, unter welchen Bedingungen man trotz des fehlenden Langzeiteffekts diese Intervention empfehlen könnte. (Effekt in der IG geht nach oben, geht dann aber wieder auf das Ausgangsniveau zurück) Kurzzeitanhebung Obwohl der Langzeiteffekt ausbleibt, kann eine Intervention mit diesem Muster empfehlenswert sein: Muss eine kritische Zeit (z.B. Jugendphase) überwunden werden in der eine Handlung (z.B. Marihuanakonsum) besonders negative Folgen hat, sich später aber nicht mehr so stark auswirkt, so ist eine dementsprechende Drogenprävention zu empfehlen. In diesem Fall handelt es sich bei der Anhebung um ein weniger an Marihuanakonsum, der nach einer gewissen Zeit wieder zurück auf das generelle Level sinkt.

zurück  |  weiter 1 / 3