Evaluation

Question 1

Multivariate Nutzenfunktionen

Accepted Answer

Wie kann man die Vielfältigkeit von Effekten und Wertigkeiten in einem einzigen Kennwert für den "Gesamtnutzen" einer Maßnahme ausdrücken? --> unterschiedliche Effekte und unterschiedliche Wertigkeiten müssen in gleichen Einheiten vorliegen und dann in die Formel eingefügt werden Nutzen = Wirkung (bzw. Effekt) * Wert

Question 2

Kosten-Nutzen-Analyse

Accepted Answer

Gegenüberstellung: (monetäre) Kosten des Programms und den monäteren Nutzen -> Effizienz als Relation von Kosten und Nutzen pro Person– Netto-Nutzen Differenz: Nutzen - Kosten– Nutzen-Quote Verhältnis: Nutzen ⁄ Kosten– Profitrate Verhältnis: Netto-Nutzen ⁄ Kosten

Question 3

Kosten-Effektivitäts-Analyse

Accepted Answer

Wirkung wird in eine sinnvolle Einheit transferiert und die Kosten pro Einheit berechnet. Effizienz als Kosten für– eine erfolgreiche Behandlung: Kosten pro erfolgreich behandelte Person zB)– Veränderung um eine Einheit: Kosten pro Veränderungseinheit (Gewichtsabnahme, Anzahl Zigaretten pro Tag, Aggressivität) • Effizienzvergleiche: sinnvoll bei gleichen Zielen und Kriterien

Question 4

Effizienzanalyse

Accepted Answer

Während die Effektivitätsanalyse nach der Wirksamkeit einer Maßnahme fragt, steht bei der Effizienzanalyse die Frage nach dem Nutzen und der Kosten-Nutzen-Bilanz im Vordergrund. --> hilft eine Entscheidung für eine Maßnahme zutreffen --> hilf ob sich die Durchführung einer Maßnahme im Nachhinein wirklich gelohnt hat

Question 5

Wodurch zeichnet sich die Validität einer Untersuchung allgemein aus?

Accepted Answer

Validität von Untersuchung U zur Prüfung von Hypothese EHist umso größer,je kleiner die Wahrscheinlichkeit ist,dass aufgrund der Ergebnisse die EH– angenommen wird, obwohl sie falsch ist oder– abgelehnt wird, obwohl sie zutreffend ist.

Question 6

Validitäten einer Untersuchung

Accepted Answer

• interne Validität : Ausschluss oder Kontrolle anderer Einflüsse• Variablenvalidität : adäquate Maßnahmen und Kriteriumsmaße• statistische Validität: Unabhängigkeit, Teststärke, Adjustierung• externe Validität: Prüfung Gültigkeit für andere Anwendungen

Question 7

ROC-Kurve

Accepted Answer

– Sensitivität (Hits, 1-f) versus Unspezifität (Falsche Alarme, e)bei variierenden Entscheidungskriterien bzgl. Testwerten– Validität entspricht Fläche unter der Kurve(AUC, area under curve)

Question 8

tatsächliche Störvariable (confounder):

Accepted Answer

korreliert mit UV und AV

Question 9

Störungen der Internen Validität

Accepted Answer

• Unterschiede zwischen verglichenen Gruppen bzw. Messungen– die über die intendierte Behandlung (UV) hinaus gehen und– sich auf die interessierenden Merkmale (AV) auswirken

Question 10

Einteilung der Störvariablen

Accepted Answer

– Unterschiede zwischen Situationen bzw. Personen– Auswirkungen wiederholter Beobachtungen (Sequenzeffekte)

Question 11

Kontrolle von Störvariablen der internen Validität allgemein

Accepted Answer

– Konstanthaltung, Elimination– Ausbalanzierung (-> Einführung eines Kontrollfaktors)– Randomisierung (Experiment)– Parallelisierung (Quasi-Experiment)– Auspartialisierung (multiple Regression)

Question 12

Standards für Evaluationsstudien

Accepted Answer

• Deutschen Gesellschaft für Evaluation (DeGEval) 25 Standards für gesellschaftlich, ethisch und wissenschaftlichadäquate Durchführung in vier Bereichen– Ursprung: Joint Committee on Standards for Educational Evaluation Nützlichkeit (Utility)informativ für die betrachtete FragestellungDurchführbarkeit (Feasibility)unter gegebenen Bedingungen realisierbarFairness (Propriety)Bedürfnisse und Interessen der Beteiligten wahrenGenauigkeit (Accuracy)umfassend und methodisch sauber (z.B. statistische Auswertung)

Question 13

Nützlichkeit

Accepted Answer

informativ für die betrachtete Fragestellung

Question 14

Durchführbarkeit

Accepted Answer

unter gegebenen Bedingungen realisierbar

Question 15

Fairness

Accepted Answer

Bedürfnisse und Interessen der Beteiligten wahren

Question 16

Genauigkeit

Accepted Answer

umfassend und methodisch sauber (z.B. statistische Auswertung)

Question 17

Experimentelle Evaluation: Bedingungen

Accepted Answer

– mindestens zwei Untersuchusuchungsbedingungen– Randomisierung der Untersuchungseinheiten auf dieBedingungen dadurch Kontrolle der personenbezogenen Störvariablen möglich!-> interne Validität gegeben

Question 18

Quasi-experimentelle Evaluation:

Accepted Answer

– keine Randomisierung von Untersuchungseinheiten– Störvariablen interne Validität: nur approximative Kontrolle

Question 19

Quasi-experimentelle Versuchspläne

Accepted Answer

Beobachtung AV unter ≥ 2 Bedingungen, ohne Randomisierung Störungen interne Validität Effekte nicht eindeutig durch Behandlung verursacht Ziel: möglichst viele mögliche Störfaktoren ausschalten

Question 20

Quasi-Experiment: Erhöhung der internen Validität

Accepted Answer

1. Zusammenstellung möglichst äquivalenter Gruppen 2. Statistische Kontrolle durch Auspartialisierung 3. Ausgleich durch erhöhte Beobachtungszahl

Question 21

Statistische Kontrolle durch Auspartialisierung

Accepted Answer

von potentiellen Störvariablen und Vortestwerten durch multiple Regression (Partialkorrelation, Kovarianzanalyse)• möglich bei vollständig und teilweise vorgegebenen Gruppen

Question 22

Fall-Kohorten-Studien: Zusammenstellung äquivalenter Gruppen

Accepted Answer

1. Erhebung vollständiger Informationen über sinnvolle Kovariaten- AV vor Intervention (Vortest, Autoregressor-Modell) oder- Werte auf vermutlich relevanten Störvariablen (SV)2. Auswahl der Personen für Kontrollgruppe aus größerer Kohorte,Zielsetzung: (möglichst) gleiche• Mittelwerte (evtl. auch andere Verteilungsstatistiken) derGruppen (Ausbalanzierung):• Individual-Werte für Paare von Personen aus beiden Gruppen(Parallelisierung, matching)• vorhergesagte Wahrscheinlichkeiten für Gruppenzugehörigkeit(mittels logistischer Regression aus SV) für Paare vonPersonen (Propensity score matching)

Question 23

Quasi-Experimente: Klassische Störfaktoren der Internen Validität

Accepted Answer

Campbell & Stanley (1963), Shadish, Cook & Campbell (2002)• Unterschiede zwischen Gruppen über UV hinaus, v.a. bezüglich– Merkmale der Personen selection > evtl. Unterschiede in Vortestwerten– Veränderungen von individuellen Merkmalen – Probandenschwund (drop-out) – externe Ereignisse – Effekte wiederholter Messungen – tatsächlich erfasste Merkmale• statistische Regression

Question 24

Simpson-Paradox

Accepted Answer

spezieller Fall der Konfundierung Paradox: ein beobachteter Effekt einer Maßnahme ist innerhalb jeder Subgruppe der Störvariablen hypothesenkonform,aber über die Subgruppen ändert er sein Vorzeichen oder ist hypothesenwidrig (oder anders herum). zwei Bedingungen müssen gegeben sein: Störvariable ist hoch mit der UV korreliert gegensinnige Konfundierung: SV muss einen Haupteffekt auf die AV haben, welcher den Effekt der UV auf die AV zuwiederläuft

Question 25

Randomisierung in Evaluationen und Felduntersuchungen verhindert durch:

Accepted Answer

• rechtliche Gründe• ethische Gründe• politische Gründe• wirtschaftliche Gründe

Question 26

Randomisierung in Evaluationen und Felduntersuchungen ermöglicht durch

Accepted Answer

• hohe Wichtigkeit derMaßnahme• räumlich getrennte Gruppen• Untersuchung isolierter Teilaspekte• unwillkürliche Selbstzuordnung• natürliche Zufallszuweisung

Question 27

Mögliche Störvariablen:

Accepted Answer

Jeder systematische Unterschied zwischen denUntersuchungsbedingungen vor der Erhebung der AV, der überdie UV(en) hinausgeht.

Question 28

Tatsächliche Störvariablen:

Accepted Answer

Variablen, die sowohl mit den UV(en) als auch mit der AVsystematisch assoziiert sind.

Question 29

Elimination:

Accepted Answer

Reduzierung der Ausprägung der Kontrollvariablen auf Null (Sonderfallder Konstanthaltung);

Question 30

Randomisierung:

Accepted Answer

Zufällige Zuordnung der Probanden zu den Untersuchungseinheiten;

Question 31

Validitätsgefährdungen bei wiederholten Messungen

Accepted Answer

• Übung, Erinnerung, Sensibilisierung bei Beurteilern• zwischenzeitliches Geschehen• Veränderung der Beurteilungsmaßstäbe (response shift)• erwartungsgeleitete Wahrnehmungen oder Beurteilungen• Regression zur Mitte,insbesondere bei Untergruppen oder Personen mit extremenVortestwerten• Unreliabilität von Differenzwerten,insbesondere bei hoher Autokorrelation (Retestreliabilität)– hoch reliable Tests für stabile Persönlichkeitsmerkmalefür Veränderungsmessungen ungeeignet

Question 32

Spezielle Störfaktoren bei Feldstudien

Accepted Answer

• Behandlungsdiffusion • Behandlungskompensation • kompensatorische Rivalität • Resignation• Hawthorne- und Placeboeffekte

Question 33

Validitätsgefährdungen bei wiederholten Messungen

Accepted Answer

• Übung, Erinnerung, Sensibilisierung bei Beurteilern• zwischenzeitliches Geschehen• Veränderung der Beurteilungsmaßstäbe (response shift)• erwartungsgeleitete Wahrnehmungen oder Beurteilungen• Regression zur Mitte,insbesondere bei Untergruppen oder Personen mit extremenVortestwerten• Unreliabilität von Differenzwerten,insbesondere bei hoher Autokorrelation (Retestreliabilität)– hoch reliable Tests für stabile Persönlichkeitsmerkmalefür Veränderungsmessungen ungeeignet

Evaluation und Forschungsmethoden (Fach) / Evaluation (Lektion)