Begriffe Definieren - Evaluation online lernen

Evaluation (Fach) / Begriffe Definieren (Lektion)

In dieser Lektion befinden sich 74 Karteikarten

Begriffe

Diese Lektion wurde von Lisa0411 erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

Evaluationsgegenstand Objekt das was bewertet werden soll z.B. Projekt Programme Politiken
Evaluationskriterien auf welcher Basis soll Eval.gegenstand bewertet werden - Wirksamkeit (Effektivität) - Transfererfolg (Sit.transfer/Anforderungstransfer) - Kosten-Nutzen-Bilanz (Effizienz) - Bedarf - Qualität des Interventionskonzeptes (basierend auf plausiblen empirisch gesicherten Theorien etc) - Qualität der Einführung & Implementation - Akzeptanz - Nachhaltigkeit - State of the Art (Konzeption, Implementation und Eval. einer Maßnahme orientiert an allgemeinen Standards (Regeln der Kunst))
Jede Eval. findet unter konkreten Rahmenbedingungen statt Evaluation im Feld vs Labor Parteiliche vs objektive (überparteiliche) Eval. geschlossene vs offene Eval. Vertrauliche vs. offene Eval.
Eval. im Feld vs Labor Feld: natürliche reale Umgebung (meistens Eval) Labor: künstliche Sit., in dem Kriterien eines "echten" Exp erfüllt sind: Manipulation und Kontrolle; interne Valid. höher Problem wenn Labor verlassen -> externe Validität
parteilich vs überparteilich/objektiv Rolle des Evaluators im Rahmen eines Eval.auftrags parteilich wenn Untersuchung bereits so angelegt dass bestimmtes erwünschtes Ergebnis wahrscheinlicher ist als andere objektiv/überparteilich wenn keine Begünstigung gegeben ist -> unabdingbar
geschlossen vs offen Konkretheit des Eval.auftrags - geschlossen: Fragestellung des Evalvorhaben bereits genau im Vorhinein definiert - offen: Bestimmung der Fragestellung, Methoden, Hypothesen selbst Gegenstand des Eval.prozesses weiteres Verständnis: Umgang mit Ergebnissen: geschlossene ausschlißelich für Auftraggeber bestimmt, Ergebnisse Öffentlichkeit vorenthalten, z.B. Sicherheitsanalysen Flughafen; offene Eval. ist transparent, z.B. Publikation)
vertraulich vs öffentlich wie mit Ergebnissen verfahren öffentlich: allen zugänglich vertraulich: nur Auftraggeber -> Gefahr der Parteinahme wegen eingeschränkter Transparenz
Evaluationsmodelle? Zielrichtung des jeweiligen Ansatzes, welche Zielsetzung im Vordegrund - Praxisorientierte Eval - Entwicklungsorientierte Eval. - Theorieorientierte Eval.
Ausrichtung der Evaluation - Makroevaluation (Gesamtbewertung eines Evalgegenstands)- Mikroevaluation (einzelne Aspekte) - Programmevaluation - Inputevaluation - Complianceevaluation - Ergebnisevalution
Programmevaluation Aufgabe des Evaluators durch Bereitstellung relevanten Handlungswissens die Programmsteuerung und -planung zu unterstützen, Wirkungen eines vorab definierten Programm zu analysieren sowie Erfolgsfaktoren und -hindernisse für Etablierung und Fortsetzung des Programms zu identifizieren
Zeitpunkt der Evaluation - prognostische (vor der Wahl Wahlergebnis anhand von Sp prognostiziert; welche Teile Asiens überflutet wenn keine Klimamaßnahme; vor Beginn der Maßnahme bestimmte Zustände antizipieren) - prospektive (auch zukunftsgerichtet, aber Prüfung und Schaffung von Voraussetzungen und Rahmenbedingungen, welche Wirksamkeit Maßnahme positiv beeinflussen bzw. sichern sollen; Maßnahme unter gegebenen Umständen bewerten bevor umgesetzt wird) - Proessevaluation (begleitende Bewertung einer Intvernetionsmaßnahme in Phase ihrer Durchführung; regelmäßige Zwischenevaluationen, die Auskunft über Qualität der Implementation sowie bisherigen Effekte geben; auf Basis der Zwischeneval. wird Maßnahme verändert und optimiert oder durch andere Maßnahme ersetzt) -> Optimierung der Maßnahme vorrangiges Ziel - Ergebnisevaluation = Outputevaluation (Lehrerverhalten nach Maßnahme als Resultat bzw Output der Fortbildung (Intervention)
schriftliche Befragung? schriftl vorgelegte Fragen (fragebogen) - im Rahmen einer schriftl Befragung wird den in Frage kommenden Leuten ein Fragebogen (meist per Post) zugesendet, mit der Bitte diesen auszufüllen und zurückzusenden (innerhalb Frist) - Vorteile: rasche und kostengünstige Durchführung, längeres Überlegen möglich, Minimierung Interviewereinfluss - Nachteile: wer füllt aus, oft sehr geringe Rücklaufquote - schriftl Befragung mit Fb ist klassische Methode der quantitativen Befragung
Zitat Stufflebeam über Sozialprogramme - Nutzen der Evaluation liegt in Unterstützung von Entscheidungen - an Bedürfnissen der Beteiligten orientiert - vielfältige Methoden einsetzbar (quant und qual) - S lieferte mit die erste komplexe Evaltheroei die einzelne Komponenten berücksichtigt: Input, Prozess und Outputinformation - Es gibt 4 Komponenten die eine Entscheidungssit klassifizieren: 1) Context: gesetzliche, ökonomische und gesellschaftl Rahmenbeding, Auftraggeber sowie Betroffene und Beteiligte (Kontexteval.: Analyse der Bedürfnisse der Beteiligten), hilft angemessene Ziele zu entwickeln 2) Input: Beschreibung der am Programm teilnehmenden Personen, der Vorraussetzungen für Durchführung und vorhandene Ressourcen, Kosten-Nutzen Überlegungen 3) Process: Überprüfen wie Programm durchgeführt wird; Evaluation der Implementation, läuft wie geplant, wie sind Interaktionsstrukturen der Beteilgten, wie geht Zielerreichung von statten 4) Product; Evaluation der kurz und langfristigen Ergebnisse: Wirkungen der Maßnahme, Frage in wieweit Ziele erreicht wurden, Entscheidungen über weiteren Einsatz und über Modifikationen -> Modifikationen am Evaldesign ausdrücklich möglich, ständiger Kontakt zwischen Auftraggeber und Beteiligten/Betroffenen -> Nutzen der Eval durch genaue Analyse der evaluativen Info unterstützt -> Orientierung an Bedürfnissen der B und B
Kritik an der Metaanalyse - Uniformitätsprobleme, Äpfel-Birnen Argument - Auswahl der Primärstudien - Dokumentation der Primärstudien - Methodische Qualität der Primärstudien -> Garbage in Garbage out Argument - Probleme der Effektstärkenberechnung und Aggrevation
Evaluator und Auftraggeber Ziele klären vorab klären und vertraglich fixieren explizite vs implizite Ziele Evaluationsauftrag
Faktorenanalyse multivariate Methode fasst viele wechselseitig korrelierende Variablen in wenige Dimensionen (Faktoren) zusammen Faktor umfasst inhaltich das Gemeinsame der zu ihm gehörenden korrelierenden Variablen Korrel einer Var mit Faktor -> Faktorladung unterschiedl Methoden der Berechnung
Was ist Effektstärke? standardisierte Quantifizierung eines empirischen Effekts, erlaubt Aussage darüber wir groß gefundene Effekt ist (Cohen s d) Maß der praktischen Signifikanz/Bedeutsamkeit Mittelwertsdifferenz standardisiert
Beteiligte vs Betroffene Beteiligte: Evaluationsobjekte, Auftraggeber, Entscheidungsträger, Evaluatoren Betroffene: nicht direkt beteiligt aber von Ergebnissen Betroffenen (Bsp Dozenten einer Schulungsmaßnahme), höufig entscheidende Gruppe für Umsetzung der Evalergebnisse, nicht immer offensichtlich auf wen Ergebnisse Auswirk haben können
Garbage in garbage out Problem kritisiert wird, Ergebnisse einer MA seien weniger valide weil jede beliebige Untersuchung unabhängig von method Qualität in MA eingeht. Allerdings kann Einluss der meth Qual kontrolliert werden indem Bewertungskriterien herangegzogen werden anhand derer man Ergebnisse einer Untersuchung bewertet und ihre Effektgröße damit gewichtet werden kann
Äpfel- Birnen- Problem kritisiert wird, dass MA Untersuchungen mit unterschiedl Operationalisierungsvarianten zusfassen. Es wird gefordert dass insb in Hinblick auf AV homogene Operationalisierungen vorliegen müssen, da sie alle Indikatoren für das gleiche Konstrukt sein sollen. Andernfalls beziehen sich die Untersuchungen auf verschiedene Kriterien, Zsf wäre dann nicht sinnvoll Das ``Äpfel und Birnen''-Problem kann sowohl für unabhängige als auch für abhängige Variablen auftreten. Die Analyse einer undifferenzierten Sammlung von Studien zu einem Thema kann zur Nicht-Interpretierbarkeit der resultierenden mittleren Effektgröße führen. Eine Abhilfe bietet die Einteilung in Subgruppen anhand einer oder mehrerer unabhängiger Variablen (z.B. Geschlecht). Gänzlich uninterpretierbar kann das Ergebnis einer Metaanalyse sein, wenn mehrere sehr unterschiedliche abhängige Variablen (z.B. Fremdrating und Lautes-Denken Protokolle) in die Analyse eingehen. In solchen Fällen dürften nach abhängigen Variablen getrennte Analysen der einzige Ausweg sein
Schubladenproblem häufig werden nur Ergebnisse publiziert die angenommene Hypothesen bestätigen oder signifik Ergebnisse aufweisen, während Untersuchungen mit nicht-signif Untersuchungen nicht veröffentlicht werden (Publikationsbias, Funnel plot) -> dadurch erfolgt Verzerrung der ma Ergebnisse, da diese Existenz eines Effekts zu oft nachweisen Fail-Safe N berechnen
externe oder interne Eval besser? externe! interne: auch Selbsteval., diejenigen Personen die Maßnahme umsetzen führen auch Evaluntersuchung druch Problem: Evalatoren sind nicht jedem Ergebnis ggüber gleich aufgeschlossen -> will das sich Maßnahme als erfolgreich herausstellt -> parteiliche Eval externe: auch Fremdeval.: Ev wird an andere Person oder Institution vergeben objektive Sicht und Vorgehensweise des Evaluators ggü Ergebnis -> überparteiliche Eval
Delphi Studie qualitatives Prognoseverfahren auf Basis von Expertenbefragungen. Experten werden anonym zu einem Thema befragt, anschließend werden die Ergebnisse ausgewertet und erneut den Experten zur Stellungnahme vorgelegt. Dieser Prozess wird wiederholt, bis eine erwünschte Anzahl von Durchgängen erreicht ist, Konsens hergestellt ist oder die Teilnehmer zu weiteren Durchgängen nicht mehr bereit sind. Die Experten äußern zunächst unabhängig voneinander ihre persönliche Meinung. Am Ende jeder Befragungsrunde werden ihnen die Meinungen der anderen Fachleute zugeleitet, wonach sie ihre eigenen Meinungen angleichen können. Diese Befragungsrunden werden solange fortgesetzt, bis ein gewisser Konsens bezüglich der zu klärenden Fragen erreicht ist. Expertenprognosen werden in mehreren Runden immer weiter verfeinert. Es ist riskant mit einer Einzelprognose künftige Entwicklungen einzuschätzen. Bei der Delphi-Methode google_ad_client = "pub-2517897192885273"; /* 250x250, Erstellt 27.06.10 */ google_ad_slot = "5029409090"; google_ad_width = 250; google_ad_height = 250; google_protectAndRun("ads_core.google_render_ad", google_handleError, google_render_ad); werden zu einem bestimmten Thema Expertenmeinungen gesammelt.Die Befragten geben auch die Begründungen für ihre Ansichten ab. Diese werden zusammengestellt, verglichen und das Ergebnis wieder an die Experten zurückgegeben. Hierauf stellen die Experten ihre zweiten Prognosen, die wiederum gegeneinandergestellt werden. Technik zur expertengestützten Entscheidungsfindung, soll gruppendynamische Effekte ausschalten und konsensbildend wirken Experten werden schriftlich zu einem best Problem in mehrstufigem Prozess individuell befragt - Leitungsgremium entwickelt spezielllen Fragebogen - indiv und anonyme Befragung der Experten - Auswertung durch Lg - Neuer Fb mit Ergebnissen und Standpunkten der ersten Runde - wdh Durchlauf des Schemas, extreme Meinungen werden eliminiert, Schwergewicht auf strittige Punkte - LG Erarbeitet abschließend einen umfassenden Lösungsvorschlag für das relevante Problem
interne Validität inwieweit ist Untersuchungsdesign in der Lage kausale Interpretationen zuzulassen oder nicht Versuchsplan hat hohe i V wenn sichergestellt ist dass Effekt der UV auf AV kausal zu interpretieren ist, also Alternativerklärungen für das Zustandekommen des Effekts ausgeschlossen werden können
Evalstandards Nützlichkeit: Ergebnisse einer Evalstudie müssen nutzenbringend angewendet werden können, sonst schade ums Geld Durchführbarkeit: auch schade ums Geld wenn während Durchführung festgestellt wird, dass Studie doch nicht zuversprochenen Ergebnissen führen kann, ZB erheblich weniger untersucht als zwischen Evaluator und Auftraggeber vereinbart war Korrektheit/Fairness: menschlich, ethisch oder politisch inkorrekte Vorgehensweise der Evaluatoren sind ärgerlich und führen oft auch zu falschen Ergebnissen und Gefahr daraus falsche Schlussfolgerungen zu ziehen Genauigkeit: handwerkliche Konsequenz: Durchführung, Auswertung, Berichterstattung sollte so professionell wie möglich ablaufen
Zielsetzungen der Eval Zielsetzungen betreffen das Implementieren und Umsetzen von zielgerichteten Verfahrensweisen so dass eine der Fragestellung entsprechende Aussage aus der Gesamtheit des Evalprozesses abgeleitet werden kann. 1) Zustandsevaluation 2) Veränderungsevaluation 3) Wirksamkeitsevaluation
Zustandsevaluation dabei zielt die Evalforschung darauf ab, alle Eigenschaften und Attribute zu ermitteln, die den Evalgegenstand - das Forschungsobjekt - definieren und es von anderen Fo unterscheiden bzw abgrenzen. z.B. Wissenstand aller 8. Klässler in Mathe in Baden Württemberg z.B. veränderte Bestimmungen des Jugenschutzgesetzes tatsächlich eingehalten überprüfen
Veränderungsevaluation dabei wird der Zustand eines Forschungsobjekts in einem raum-zeitl Prozess analysiert Prozess kann unterschiedl abgebildet werden - Diagnosen: Fo kann über die Zeit im Rahmen mehrerer Erhebungen hinsichtlich seiner Quantität und/oder Qualität erfasst werden. Hierbei ist der Trend von Interesse, also wie sich das Objekt über die Zeit entwickelt hat bzw entwickeln wird - Prognosen: mit Blick auf einen in der Zukungt liegenden Zeitpunkt werden Aussagen über Quantität und/oder Qualität edes Forschungsojekts gemacht - Retrognose: aktuelle Situation wird mit einem in der Vergangenheit liegenden Zeitpunkt hinsichtlich der Qualität und/oder Quantität verglichen
Wirksamkeitsevaluation dabei geht es wieder darum den Zustand eines Forchungsobjekts in einem raum-zeitl Prozess zu analysieren Im Unterschied zur Veränderungseval richtet sich hierbei das Forschungsinteresse auf die Folgen einer Intervention, welche Anlass zu Veränderung gibt
Evaluationsbedarf in Evalforschung werden Hypothesen überprüft, nur möglich wenn der Sachverhalt aus Fragestellung hinreichend fdeutlich präszisiert und der Gegenstand operationalisiert wird, außerdem braucht man Methodik, mit der Fragestellung beantwortet werden kann. An erster Stelle Balzers normatives Modell: Evalbedarf: dabei geht es um die Frage warum eine Eval in der Praxis überhaupt durchgeführt werden soll -> Antworten darauf liefern Begründungszusammenhang für eine Eval
Evaluationsauftrag an 2. stelle Balzers Modell: rechtliche Randbedingungen und insb Verhältnis zwischen AUftraggeber und Autragtnehmer - Diskurs an dessen Anfang eine Verständigung über Fragestellung und an dessen Ende Kontrakt steht
Allgemeine Gütekriterien Spezifikationen allg Kriterien wie Gütesiegel, Qualitätssiegel, Zertifikat... um zB qualitative Ausage über Produkte zu machen unter wiss Perspektive: Maße mit denen die Qualität eines Produktus erfasst wird Gütekroiterien je nach Fragestellung unterschiedl gewichtet 1) Komplexität eines Evalgegenstands 2) Gültigkeitsbereich einer Aussage/Fragestellung 3) Objektivierbarkeit mit den Kriterien Erkennbarkeit, Bestimmbarkeit und Dokumentierbarkeit 4) Transparenz
Allg Gütekriterien: Definieren 1) Komplexität: theoretische Annahmen als auch methodischer Zugang (zB wie soll Lehrqualität definiert werden, wie abgrenzen von anderen Konstrukten, wie und welche Dimensionen (zB gute Struktur) operationalisieren) 2) Gültigkeitsbereich einer Fragestellung: Theorien, Modelle etc keine unbeschränkte Gültigkeit, Bereich worauf sich Gültigkeit einer Fragestellung und ihre Anwendbarkeit bezieht klar definieren (zB Lehrqualität an Uni A oder an allen Unis?); Angeben vpon welchen Randbedingungen Gültigkeit abhängt 3) Objektivierbarkeit: Voraussetzung für empir Erfassung eines Evalgegenstands a) Erkennbarkeit: Gegenstand muss Erkenntnis zugänglich sein, zB Gott nicht messbar, gute Lehre als Merkmal erfassbar b) Bestimmbarkeit: es muss bestimmbar/definiert werden können welche beobachtbaren Indikatoren Auskunft über Gegenstand liefern können c) Dokumentierbarkeit: Indikatoren müssen erfasst werden können, so das sie dokumentierbar sind 4) Transparenz: Regeln nach denen Evalgegenstand erfasst wird müssen transparent/nachvollziehbar sein. möglich sein, über diese Regeln zu diskutieren, Frage zu stellen, ggf verändern
Normatives Modell Balzer 1) Evalbedarf 2) Evalauftrag 3) Eval grundlagen 4) Rahmenbedingungen der Eval 5) methodische Projektplanungen 6) Durchführung der Eval 7) Datenauswertung 8) Präsentation und Berichtlegung 9) Dissemination der Ergebnisse 10) Nutzung der Ergebnisse 11) Bewertung der Eval
Psychometrische Gütekriterien - Objektivität: Werte unabhängig von irrelevaneten Randbedingungen (Durchführung, Auswertung, Interpretation) - Rel: Genauigkeit der Merkmalserfassung, dh Messfehler sollen minimiert werden - Val: in welchem Ausmaß gelingt es das Phänomen zu erfassen dass erfasst werden soll - Skalierung: Vorschrift wie Rekationen der Pbn zu einem Wert zu verrechnen sind, dabei müssen empirisch beobachtbaren Vhrelationen wiedergegeben werden - Normierung: Ergebnisse aus Instrument sind in Bezugssystem zu überführen, mit dem Werte einer Person besser eingeschätzt und bewertet werden können; entweder soziales Bezugssystem (welche Werte haben andere?) oder kriteriumsorient (Wie weit entfernt ist das Vh vpon den Vorstellungen einer Kommission oder andere Setzung?) oder individuelles Bezugssystem (welchen Wert aufgrund biograph Entwicklung erreichen?) - Ökonomie des Instruments: möglichst geringen zeitl, finanziellen und persönl Beanspruchung von Ressourcen der untersuchten person, Evaluator, 3.personen - Nützlichkeit: Verwendung des Inst hat praktische Relevanz und zieht Nutzen nach sich der höher ist al enstehende Kosten - Zumutbarkeit der Eval in zeitl, psych, und körperl Hinsich - Unverfälschbarkeit: eingesetzten Instrumente lassen es nicht zu das Person ihre Werte gezielt verfälschen kann - Fairness: Zugehörigkeit der P zu best Gruppe (ethnisch, religiös, soziokulturell oder sonstige soz Gruppe= beeinglusst nicht Testergebnisse
Interne Validität und externe Val iV: hypothesenbasiertes Evaldesign ist in der Lage eine eindeutige Aussage über die Annahme oder Ablehnung entsprechender Hypothesen zu liefern; Behauptung eindeutig bejahen oder verneinen -> Design von besonderer Bedeutung, vermeiden dass empir Befunde mehrdeutig zu interpretieren sind eV: es ist möglich Ergebnisse auf andere Kontexte zu übertragen; Schlussfolgerungen von untersuchten auf gesamte Pop -> nur möglich wenn Sp repräsentativ für Gesamtpop -> auch wenn interne V gegeben, noch keine hinreichede Bedingung für Gewährleistung externer V;
Evalstandard Standard = allgmein als richtig anerkannte Regel in Bezug auf Täötigkeit/Vorgehen... = Normen, normativer Soll Charakter -> nach State of the Art arbeiten - Verstoß führt nicht per se zu rechtlichen Auseinandersetzung, wenn sich Geschädigter auf Standards bezieht kann ein Gericht den Beklagten dazu zwingen diese Regeln einzuhalten, Ersatz von ihm fordern. -1982 erste Standards in USA
Evaluation fragt danach,  • wie die Situation beim „vorher“- Zeitpunkt beschaffen ist (Diagnose 1) • wie die Situation zum „vorher“- Zeitpunkt aus der Sicht des „nachher“- Zeitpunkt beschaffen war (Retrognose) • wie die Situation beim „nachher“- Zeitpunkt aus der Sicht des „vorher“- Zeitpunkts sein wird bzw. sein soll (Prognose) • wie die Situation beim „nachher“- Zeitpunkt tatsächlich ist (Diagnose 2) - Weitere evaluationsrelevante Fragen: • Ist die gegebene Intervention so umgesetzt, wie sie konzipiert wurde (Ausführungsintegrität)? • Ist ein vorgegebenes Lernprogramm nach den Regeln der Kunst (State of the Art) konzipiert? Welcher Therapieerfolg ist bei einer Person zu erwarten, wenn man von den bisherigen Entwicklungen innerhalb der Therapie ausgeht
Historischer Abriss  - 1930-1940: USA: Roosevelt etabliert New Deal, ein soziales Programm der US-Regierung gegen Arbeitslosigkeit; Vorschlag, diese Programme zu evaluieren - 1957: USA: als Folge des Sputnikschocks werden durch Initiative von John F. Kennedy viele Millionen Dollar in die Entwicklung neuer Lehr- und Lernmethoden und die Verbesserung des Schulwesens gesteckt. Die Folgen dieser Investitionen werden evaluiert - 1965: USA: • Übernahme des Planning, Programming and Budgeting System für das Department of Health, Education and Welfare (HEW). Es dient seit 1965 als Evaluationsperspektive • Verabschiedung des Elementary and Secondary Act (ESEA). Es wurden mehr als eine Milliarde Dollar bereitgestellt, um die besonderen Erziehungs- und Ausbildungsbedürfnisse benachteiligter Kinder zu erfüllen. Senator R. Kennedy machte seine Zustimmung für das Gesetz von regelmäßigen Evaluations- und Berichtssystemen abhängig. Sie sollten aufzeigen, wie effektiv die einzelnen Programme für die benachteiligten Gruppen waren - 1969: Community Mental Health Centre Act: 1% der Programmmittel für Evaluation - 1971: BRD: Rahmenvereinbarungen zwischen Bund und Ländern (BLK) zur koordinierten Vorbereitungen, Durchführungen und wissenschaftlichen Begleitung von Modellversuchen im Bildungswesen - 1981: USA: Etablierung von „Standards for Evaluations of Educational Programmes, Projects and Materials of the Joint Committe on Standards in Educational Evaluation (JCS) - 1982: USA: Veröffentlichung der ersten Evaluationsstandards - 1986: USA: Gründung der American Evaluation Association - 1994: Niederlande: Gründung der European Evaluation Society in Den Haag - 1995: USA: Das Planning, Programming and Budgeting wird für den Bundesetat eingeführt und ersetzt Input-Budgetierung durch Output-Budgetierung; ursprünglich vom Verteidigungsministerium der USA entwickelt - 1996: Österreich: Gründung der Plattform Forschungs- und Technologieevaluierung - 1996: Schweiz: Gründung der Schweizerischen Evaluationsgesellschaft - 1997: BRD: Gründung der Deutschen Gesellschaft für Evaluation (DeGEval) - 2001: BRD: Standards für Evaluation der DeGEval
Rahmenbedingungen  Evaluation im Feld vs. im Labor. - reale Umgebung des Geschehens Û künstliche Situation im Labor Parteiliche vs. objektive Evaluation. - parteiliche Evaluation: wenn die Untersuchung bereits so angelegt ist, dass ein bestimmtes Ergebnis wahrscheinlicher ist als andere Ergebnisse. - objektive Evaluation: wenn keine Begünstigung gegeben ist Geschlossene vs. offene Evaluation. - geschlossene Evaluation: Fragestellung des Evaluationsvorhabens ist bereits im Vorhinein genau definiert - offene Evaluation: Bestimmungen der Fragestellung, der Methoden und Hypothesen sind selbst Gegenstand des Evaluationsprozesses Vertrauliche vs. öffentliche Evaluation. - öffentliche Evaluation: Ergebnisse sind allen Interessierten zugänglich - vertrauliche Evaluation: verpflichtet die Evaluatoren, nur den Auftraggebern selbst die Befunde vorzulegen
Evaluationsmodell  Praxisorientierte Evaluation. - ein gegebenes Projekt wird danach beurteilt, ob und wie es sich im Praxiseinsatz bewährt und welche konkreten Effekte es hervorgebracht hat Entwicklungsorientierte Evaluation. - die konkreten Ergebnisse einer bereits durchgeführten Evaluation dienen der Verbesserung ähnlicher Maßnahmen in der Zukunft Theorieorientierte Evaluation. - Ziel besteht darin, die einer Maßnahme zugrunde liegende theoretische Fundierung zu testen bzw. zu optimieren.
Ausrichtung der Evaluation  Makroevaluation. - es geht um die Gesamtbewertung eines Evaluationsgegenstandes Mikroevaluation. - einzelne Aspekte sollen evaluiert werden Programmevaluation. - durch Bereitstellung relevanten Handlungswissen die Programmsteuerung und –planung zu unterstützen, die Wirkung eines vorab definierten Programm zu analysieren sowie Erfolgsfaktoren und –hindernisse für die Etablierung und Fortsetzung des Programms zu identifizieren. Inputevaluation. - Unter welchen Randbedingungen wird eine Maßnahme begonnen? Welche Ressourcen stehen zur Verfügung? à diese Rahmenbedingungen stellen die entsprechenden Evaluationsgegenstände dar Complianceevaluation. - (= Einverständnis); das Verhalten von Betroffenen im Kontext einer Intervention wird evaluiert. Die Compliance des Patienten ist eine zentrale Randbedingung einer Intervention und zentral für ihre Wirkwahrscheinlichkeit. Outputevaluation. es wird bewertet, was eine Maßnahme letztendlich gebracht hat.
Zeitpunkt der Evaluation  Prognostische Evaluation. - vor Beginn einer Maßnahme wird eine Evaluation durchgeführt, um bestimmte Zustände zu antizipieren.(Bsp Wahlergebnis prognostizieren) Prospektive Evaluation. - bezeichnet man die Prüfung von Voraussetzungen und Rahmenbedingungen, welche die Wirksamkeit einer geplanten Maßnahme positiv beeinflussen. Es geht darum, die Maßnahme unter den gegebenen Bedingungen zu bewerten, bevor sie implementiert wird Prozessevaluation. - versteht man die begleitende Bewertung einer Interventionsmaßnahme in der Phase ihrer Durchführung. Dabei werden regelmäßig Zwischenevaluationen durchgeführt. Die Maßnahme wird gegebenenfalls verändert und damit optimiert oder durch eine andere Maßnahme ersetzt. Ergebnisevaluation. - entspricht der Outputevaluation
Durchführungsmodi  Intrinsische vs. extrinsische Evaluation. - intrinsische Evaluation: Bewertung der inneren Struktur der Maßnahme (Wirkmodell theoretisch sinnvoll begründet?); - extrinsische Evaluation: Analyse der Effekte der Maßnahme auf die betroffenen Personen Interne vs. externe Evaluation. - interne Evaluation: diejenigen Personen, welche die Maßnahme umsetzen, führen auch die Evaluationsuntersuchung aus (Selbstevaluation); - externe Evaluation: Evaluation wird an eine andere Person oder Institution vergeben (=> überparteilichen Evaluation) Summative vs. formative Evaluation. - summative Evaluation: bezeichnet eine zusammenfassende Aussage über die Wirksamkeit einer Maßnahme; - formativen Evaluation: Ziel die Maßnahme zu optimieren bzw. Rahmenbedingungen zu schaffen, die eine Wirksamkeit der Maßnahme eher wahrscheinlich machen Vergleichende vs. nicht-vergleichende Evaluation. - vergleichende Evaluation: unterschiedliche Maßnahmen werden miteinander in Bezug auf ihre Konzeption, ihre Umsetzung, ihre Wirksamkeit oder ihre Effizienz verglichen; - nicht-vergleichende Evaluation: eine einzige Maßnahme wird bewertet
Metaevaluation und Metaanalyse  - liegen zum gleichen Evaluationsgegenstand mehrere Evaluationsstudien vor, so kann im Rahmen einer Metaevaluation eine Globalaussage gewonnen werden. Metaevaluation bzw. summative Metaevaluation - ist ein forschungsmethodischer Ansatz zur quantitativen Analyse und Integration von Ergebnissen aus inhaltlich homogenen Primärstudien - Ziel: Gemeinsamkeiten und Unterschiede in der Befundlage statistisch festzustellen und auf ihre praktische Brauchbarkeit zu überprüfen Programm-Design-Evaluation. - mit Hilfe von evaluativen Ansätzen werden Erfahrungszusammenfassungen und Überprüfungen zum Zwecke einer verbesserten zukünftigen Durchführung hinsichtlich Planung, Gestaltung, Zielsetzungen usw. geleistet
Diagnostik, Methodologie und Methodik  Diagnostik. - bezieht sich auf das systematische Sammeln und Aufbereiten von Informationen mit dem Ziel, Entscheidungen und daraus resultierende Handlungen zu begründen, zu kontrollieren und zu optimieren. Methodologie. - ist die Lehre von den Methoden, den wissenschaftlichen Verfahren zur Prüfung und Analyse von Sachverhalten. Methodik. - betrifft das Methodenwissen des Evaluationsforschers.
Psychologische Anwendungsfelde  - ABO-Psychologie: Effektivität eines Programms zur Verbesserung des Organisationsklimas - Forensische Psychologie: Auswirkung von Befragungstechniken auf eine valide Erschließung des Tathergangs - Klinische Psychologie: Wirksamkeit von therapeutischen Ansätzen für eine Behandlung von Jugendlichen mit ADHS-Syndromatik
Nicht-psychologische Anwendungsfelder  - Forstwissenschaft: Effizienz der Umstellung der Bewirtschaftung von Waldökosystemen - Medizin: Wirksamkeit eines Trainingsprogramms für das Pflegepersonal auf die Reduktion der Erkrankung an Lungenentzündungen während des Klinikaufenthalts - Zahnmedizin: Veränderung der Mundflora nach Zahnimplantationen
Eavl und Evalforschung  Evaluation: - Bewertung eines bestimmten theoretischen oder empirischen Sachverhalts - kann zu verschiedenen Zeitpunkten vorgenommen werden à unmittelbare bzw. intuitive Erkenntnis Evaluationsforschung: - eine theoretische Fundierung sowie eine raumzeitliche Fixierung des Evaluationsprozesses sind gegeben - à die Forschung hat immer die Aufgabe einen Erkenntnisgewinn zu erzielen - Der Begriff der Erkenntnis wird durch zwei Merkmale gekennzeichnet: (1) ein Ergebnis (2) den Erkennungsprozess - à relativ zu einer Erkenntnis ist ein qualitativer und/oder quantitativer Zugewinn zu verzeichnen à unmittelbare oder diskursive Erkenntnis
Zielsetzung der Evaluation  (1) Zustandsevaluation. - alle Eigenschaften oder Attribute zu ermitteln, die den Evaluationsgegenstand definieren und es von anderen Forschungsobjekten abgrenzen. (2) Veränderungsevaluation. - Zustand eines Forschungsobjekts wird in einem raum-zeitlichen Prozess analysiert. • Diagnosen: wie sich das Objekt über die Zeit hinweg entwickelt hat bzw. entwickeln wird • Prognosen: mit Blick auf einen in der Zukunft liegenden Zeitpunkt werden Aussagen über die Quantität und/oder Qualität des Forschungsobjektes gemacht • Retrognose: die aktuelle Situation wird mit einem in der Vergangenheit liegenden Zeitpunkt hinsichtlich der Qualität und/oder Quantität verglichen (3) Wirksamkeitsevaluation. - richtet sich auf die Folgen einer Intervention, welche Anlass zur Veränderung gab

Karteikarten online lernen - wann und wo du willst!

Evaluation (Fach) / Begriffe Definieren (Lektion)