83

Evaluation und Forschungsmethoden (Subject) / Evaluation (Lesson)

This lesson was created by sarrao91.

Learn lesson

back  |  next 1 / 2

• Was ist Evaluation? Evaluation untersucht wissenschaftsgestützt unter Berücksichtigunggeltender Standards  die Effektivität  und Effizienz vonGegenständen. (Spiel, Gradingern, Lüftenegger, 2010, S. 223).
• Wissenschaftliche Evaluation Bewertungen, die systematisch auf wissenschaftlichenForschungsmethoden beruhen, mit dem Ziel einer Erhöhung derValidität von Beschreibung und Bewertung.
• Abgrenzung Evaluation und Wissenschaft: Unterschiede Erklärungen + Folgerungen vs.Entscheidungen + Handlungen Wahrheit vs. Nutzen Erkenntnis vs. Verwendung Hypothese vs. unabhängiges Produkt Maßnahmen zerlegbar und künstlich vs. komplex und global.
• Abgrenzung Evaluation und Wissenschaft: Gemeinsamkeiten Ablauf: Konzeptualisierung, Durchführung, AuswertungZielsetzung: Erklärungen für WirkungenAnwendungsorientierung: Praxisorientierte Evaluationen konkreter MaßnahmeEntwicklungsorientierte Evaluationen: Ergebnisse für ähnliche Maßnahmen nutzenTheorieorientierte Evaluationen: erklärende Hypothesen prüfen
• Evaluation Verwandte Begriffe Erfolgsforschung (z.B. Psychotherapieforschung) Begleitforschung (kontinuierliche Untersuchung Modellprojekte) Wirkungsforschung (z.B. Medien- und Werbekampagnen) Rankings (z.B. von Studienorten durch CHE/ Die Zeit) Ratings (z.B. Forschung von Instituten durch Wissenschaftsrat) Monitoring
• Evaluationskontext: Zu berücksichtigen sind unter anderem:  Rolle der Evaluierenden Mögliche Interessensgruppen Umgang mit Konflikten Einstellung auf Adressaten der Evaluation
• Funktionen von Evaluationen Evaluation als Entscheidungsunterstützung:Klare Definition von mindestens zwei Alternativen sowie dererwünschten und unerwünschten Merkmale. Evaluation als strategisches Instrument:Die Evaluationsergebnisse können genutzt werden, um bestimmteZiele zu erreichen, Maßnahmen durchzusetzen oder einesymbolische/ritualisierte Funktion haben.
• Arten von Evaluation: Analytische Evaluation Detaillierte Beurteilung verschiedener Komponenten einer Maßnahme.Einzelne Aspekte können unterschiedlich bewertet werden (evtl.gewichtete Zusammenfassung zu einer Gesamtbewertung). Ermöglicht:Detaillierte Hinweise für VerbesserungsmöglichkeitenÜberprüfung von Wirkmechanismen
• Arten von Evaluation Globale Evaluation Zuordnung eines globalen Wertes (Note, Erfolgsmaß, Qualitätsstandard) zu einer Maßnahme. Einfacher, schneller und reliabler als spezifische Maße  Black-Box-Evaluation, da keine Erkenntnisse über Details,auch keine Hinweise auf Verbesserung einzelner Aspekte. Überprüfung von Wirkmechanismen
• Summative Evaluation (program impact) Zusammenfassende Bewertung der Wirksamkeit/Output nach Abschluss einer Maßnahme -> was hat die Maßnahme letzendlich gebracht?
• Advertisement
• Formative Evaluation (dynamische Evaluation): Kontinuierliche Bewertung eines Programm/Interventionsablaufs Planung, Entwicklung, Implementierung Feststellung von Zwischenergebnissen, mit dem Ziel die Maßnahmegegebenenfalls zu modifizieren Gegenüber zu der summativen Evaluation!
• Baseline-Evaluation: Ist-Stand Analyse zur Beschreibung derAusgangssituation
• Prospektive Evaluation: Bewertung der Programmkonzeption zurAbschätzung der Realisierbarkeit einer Maßnahme sowie möglicherNebeneffekte
• Evaluation der Programmeffizienz: Bewertung der Ökonomie einerMaßnahme (Kosten-Nutzen Relation)
• Impact Evaluation: Bewertung der nachhaltigen Effekte vonMaßnahmen, die über direkte Effekte hinausgehen
• Zielbezogene Evaluation (goal-based evaluation) Maßnahme daran messen, ob festgelegte Ziele erreicht sindStrengste Form: Zielerreichungsevaluation (goal-achievementmodel)
• Zielfreie Evaluation (goal-free evaluation) alle Wirkungen beachten (beabsichtigte und unbeabsichtigte),die Bedürfnissen von Beteiligten entsprechen (needs-basedevaluation)
• Einteilung wissenschaftlicher Evaluation nach Rollen der Evaluierenden Selbstevaluation: Mitglieder einer Institution/Organisation bewertensich/ihre Maßnahme.Fremdevaluation: Bewertung wird durch dritte (die nicht direkt an derMaßnahme beteiligt sind) vorgenommen.Interne Evaluation: Evaluierende stammen aus der gleichenOrganisation/Institution sind aber nicht selber an den Maßnahmenbeteiligt.Externe Evaluation: Bewertung durch unabhängige Experten, die in keinerBeziehung zur Einrichtung stehen.
• Evaluationsmodelle: welche gibt es? ZielerreichungsmodelleMaßstab für Erfolg und Misserfolg einer Maßnahme ist dieÜbereinstimmung der Resultate mit den a-priori festgelegten Zielen→ Kriterienorientierte MessungWirksamkeitsmodelleDie Effekte einer Maßnahme sollen kausal erklärt werdenNutzenmodellePraktische Verwertbarkeit der Ergebnisse für die Stakeholder → Wahl eines Evaluationsmodell an dem Evaluationsanliegenausrichten
• Konzeptionelle Trennung der Begriffe Wirkung und Wirksamkeit nach Hager & Hassselhorn (2000) Wirksamkeit: durch eine Maßnahme verursachte Konsequenzen(Effekt)Wirkung: Modelltheoretisch angenommen Mechanismen, die zuden beobachteten Effekten geführt haben.
• Evaluationsstudien: Unterschiede • Gegenstände (Objekte) der Evaluation und ihre Eigenschaften• summative oder formative sowieglobale oder analytische Ausrichtung• Rolle der Evaluatoren und Einbeziehung verschiedener Interessengruppen• Zielsetzungen der Evaluation und der evaluierten Maßnahme• Art und Ausmaß der wissenschaftlichen Fundierung• evaluierte Abschnitte der Maßnahme
• Evaluationen: unterschiedliche Bereiche, wo es eingesetzt werden kann • Bildung: kompensatorische Erziehung, Gesamtschule,Schulzeitverkürzung (G8), Lehrprogramme• Sozial: Beschäftigungsprogramm, Obdachlosenbetreuung,Strafvollzug• Wirtschaft: Ausbildungen, Arbeitsabläufe, Kundenbetreuung• Gesundheit: Vorsorgeprogramme, Psychotherapie, Reha-Kliniken
• Zustandsevaluation: Merkmale erfassen und evtl. vergleichen
• Veränderungsevaluation Entwicklung erfassen/vergleichen
• Wirksamkeitsevaluation mögliche Ursachen prüfen -->Voraussetzung: andere Einflussvariablen unkorreliert mit UV,d.h. konstant oder gleichverteilt über alle Ausprägungen(schwache Kausalität) --> experimentelle und quasi-experimentelle Methoden
• Summative oder formative Ausrichtung • summative Evaluation • formative Evaluation (dynamische Evaluation) • Kombination– Testphase des Programms: formativ– endgültiges Programm: summativ
• • formative Evaluation (dynamische Evaluation): – kontinuierliche Bewertung– Rückmeldung von Stärken und Schwächen– eventuell Veränderung der Maßnahme
• • summative Evaluation: – Bewertung der Programmwirksamkeit (program impact)– Output- oder Produkt-Evaluation nach abgeschlossener Maßnahme
• Analytische oder globale Orientierung • analytische Evaluation: Beurteilung der Einzelheiten des Objekts– Komponenten-Evaluation:  Hinweise für Verbesserungen– dimensionale Evaluation:  Beurteilung von Aspekten-> evtl. Synthese zu Gesamtbewertung (mit Gewichtungen)-> Überprüfung von Wirkmechanismen möglich • globale Evaluation: Zuordnung eines einzigen Wertes– Verfahren: globale Ratings, Erfolgsmaße, Notengebungen usw.– einfacher, schneller, reliabler als spezifische Maße– keine Ursachen und Verbesserungshinweise(Black-Box-Evaluation)
• Rolle der Evaluatoren: Unterschiede • hauptsächliche Aufgaben:– technische und methodische Experten (Campbell)– neutrale Vorbereiter von Entscheidungen (Rossi/Freeman)– Informatoren und Erzieher aller Beteiligten (Cronbach)– Mediatoren und Konfliktlöser (Chen)– Helfer der Programmpraktiker und –klienten (Stake) • Beteiligung an Maßnahme: teilnehmend vs. distanziert• Herkunft: internale Evaluation ( Selbstevaluation) vs. externale Evaluation (= Fremdevaluation)• Offenheit der Auftraggeber: objektive vs. parteiliche Evaluation • Freiheit der Evaluatoren: unabhängig vs. eingebunden
• Advertisement
• Parteiliche Evaluation: Gestaltung und Evaluation• aus Sicht der Auftraggeber (Patton: utilization-focused evaluation)• aus Sicht der Betroffenen ( empowerment evaluation)
• Partizipatorische Evaluation (stakeholder evaluation) • Wahl von Wegen, die alle Auffassungen repräsentieren• Herstellung von Einigkeit über Ziele und Vorgehen• Dialog zur Annäherung (konstruktivistische Evaluation)
• Wissenschaftliche Evaluation: Ziele und mögliche Vorteile - Minimierung von Evaluationsfehlern (höhere Validität)- bessere Glaubwürdigkeit und Durchsetzbarkeit- Gewinnung von Erkenntnisse über Ursachenzusammenhänge
• Anwendung wissenschaftlicher Methoden • Erfassung von Voraussetzungen:– Bedürfnisse, Ziele, Kriterien usw.• Konzipierung der Maßnahme:– Prognose von Wirkungen, Hindernissen• Erfassung der Auswirkungen:– Leistungen, Meinungen, Zufriedenheit, Wohlbefinden usw.• Gestaltung von Untersuchungen:– Beobachtungsschema, Interviewleitfaden usw.• Auswertung und Interpretation:– Signifikanztest, Kosten-Nutzen-Rechnung usw.
• Maßnahmen und Evaluationen: potentielle Bestandteile: Planung Planung • Bestimmung: Probleme, Ziele, erwarteter Nutzen, Zielgruppen• Konzipierung: Programmtheorie,adäquate Maßnahme input evaluation könnte hier ansetzen (prospektive Evaluation) 
• Maßnahmen und Evaluationen: potentielle Bestandteile: Durchführung • Erfassung Ausgangswerte AV• Implementation• Ausführung• Erfassung Kosten• Erfassung vorläufige Werte AV --> Prozesseva könnte hier ansetzen
• process evaluation  Implementationskontrolle Programm-Monitoring(Programmintegrität?)-> Zwischen-Evaluationen
• Maßnahmen und Evaluationen: potentielle Bestandteile: Bewertung • abschließende undkatamnestische Werte der AV• statistische Auswertung• Berichtslegung -->Output Evaluation
• output evaluation (summative E.)  Abschätzung Validität Schätzung Netto--Effekte EffizienzanalysenAbleitung Empfehlungen
• Phasen der Eva Planung Durchführung Bewertung
• Vorab-Evaluationen • strategische (prospektive, antizipatorische) Evaluation:– Abschätzung der Wirkungen und fördernden Bedingungen– z.B. durch Befragung von Experten oder Betroffenen• prognostische Evaluation:– empirisch fundierte Vorhersage der Wirkungen• Input-Evaluation:– Bewertung der zur Verfügung stehenden Ressourcen• intrinsische Evaluation:– Bewertung einer Maßnahme aufgrund ihrer Inhalte,z.B. wissenschaftlich-theoretisch oder unternehmenspolitisch
• Evaluation der Programmdurchführung Prozessevaluation bei summativer Evaluation• adäquate Durchführung? → Implementationskontrollen• vorläufige Wirksamkeit? → Teilerfolgsanalysen  Ziel: eindeutige Rückführung von Effekten auf Maßnahmed.h. Sicherung der internen Validität Prozessevaluation bei formativer Evaluation• bei negativen Ergebnissen möglich: Veränderungenvon Komponenten, Rahmenbedingungen, Zielsetzungen• Vorgehen: eher informell, nicht-standardisiert, nicht-quantitativ   Ziel: Optimierung der fallspezifischen MaßnahmeSicherung des praktischen Erfolgs
• Wirkung vs. Wirksamkeit • Wirksamkeit: Verändert Maßnahme Kriterien wie intendiert?-> erfordert hinreichend hohe interne Validität • Wirkung: Warum verändert die Maßnahme die Kriterien?-> theoretische Annahmen und valide Operationalisierungen
• Arten der Wirksamkeit • isolierte Wirksamkeit: Kontrollgruppe nicht behandelt• vergleichende Wirksamkeit: Kontrollgruppe anders behandelt• globale Wirksamkeit: der Maßnahme insgesamt• analytische Wirksamkeit: einzelner Bestandteile oder Aspekte
• Arten von Wirkungen • intendierte: durch Maßnahme bedingt, Zielen entsprechend• Nebenwirkungen: durch Maßnahme bedingt, nicht angezielt• Folgewirkungen: Folgen intendierter Wirkungen• maßnahmen-unabhängige:– interventions-abhängig: durch irgendeine Aktivität bedingt– interventions-unabhängig: ohne Maßnahme, externe Ursachen• längerfristige (persistierende, Erfassung durch follow-up)– Typen: Aufrechterhaltung, Rücknahme, Entwicklungsschub• transferierbare: auf andere (alltägliche) Situationen• robuste: konstant über verschiedene Randbedingungen  --> Moderatoren der Wirksamkeit: (disordinale) Interaktionen
• Bruttowirkung: alle Veränderungen auf Kriterien (AVn Y)
• Nettowirkung: Nettowirkung: spezifische Effekte der Maßnahme auf Kriteriend.h. Veränderungen Y auf AV Y allein durch Maßnahme X(intendierte Wirkungen, Nebenwirkungen, Folgewirkungen)
• Ziel vergleichender Evaluationen: Kausal-Aussagen! – Bestimmung der Größe der Nettowirkungen (Netto-Effekte)– Prüfung empirische Hypothese: X ist Ursache für Y--> notwendig: hohe interne Validität, d.h. möglichstkeine Konfundierungen der UV mit Störvariablen
• Interne Validität Define Interne Validität: Ein Versuch ist intern valide, wenn Veränderungen der AVeindeutig auf Variationen der UV zurückzuführen sind. Am höchsten ist die interne Validität dementsprechend, wenn SV=0!
• Nutzen einer Maßnahme Define Nutzen = Wirkung * Wert

back  |  next 1 / 2