44

Forschungsmethoden & Evaluation (Subject) / Alles. (Lesson)

This lesson was created by jeayl.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 1

• Nenne die Vorteile eines externen Evaluators nach Wottawa & Thierau (1998). Objektivität der Berichterstattung Glaubwürdigkeit Unabhängigkeit von hierarchischen Strukturen des Auftraggebers Nonkonformität mit informellen Gruppennormen Vermeidung von negativen Gruppeneffekten (Group Think) besseres Konfliktmanagement Image des Wissenschaftlers
• Mögliche ethische Probleme, mit denen sich externen Evaluator konfrontiert sehen könnte. Verletzung der Intimsphäre der Betroffenen Sanktionierung von Teilnahmeverweigerung mögliche physische/psychische Beeinträchtigungen für Betroffene Ausgrenzung von Teilgruppen Wirksamkeitsevalutaion von Manipulationstechniken
• Was sind häufige praktische Fragen und Probleme bei der Evaluation? Auftragsphase Ziele vorgegeben oder Zielvereinbarung formativ (Einfluss?) vs. summativ  Bedingungen vs. experimentelle Kontrolel Planungsphase Akzeptanz der Kriterien von allen Beteiligten? Operationalisierbarkeit / Messbarkeit Planungs-/Durchführungsphase (Design) deduktiv vs. induktiv Variablen kontextabhängig? Standardisierung und Randomisierung? Ergebnisphase Nachvollziehbarkeit durch Auftraggeber Generalisierbarkeit?
• Welche Standards der Evaluationsforschung gibt es? Konzeptualisierung Fragestellung und Hypothesen Implementationskontrolle Übertragbarkeit von Ergebnissen Kausalinterpretation Kontrollgruppen statistische Kontrolle Effektgrößen Soziale Sensibilität Transparenz Ethik
• Beschreibe Standard 9: soziale Sensibilität der Evaluationsforschung. Berücksichtigung der Bedürfnisse der Betroffenen Antizipation der verschiedenen Positionen und Interessengruppen Angehen von Interessenkonflikten Einholen der Verpflichtung offiziell beteiligter Parteien zur Unterstützung Rückmeldung für alle Parteien
• Beschreibe Standard 11: Ethik der Evaluationsforschung. Rechte anderer Personen wahren Beeinträchtigungen auf Minimum reduzieren Ressourcenvergeudung vermeiden Missbrauch der Ergebnisse (möglichst) verhindern
• Wie kann ich fehlende Werte diagnostizieren? Deskriptive Analyse Muster in grafischer Analyse? Wie hoch ist Ausmaß? Vergleich von Subgruppen Unterschied in Statistiken für andere Variablen in Abhängigkeit davon, ob Y-Werte fehlen? Korrelation der "Missing-Indikatoren" Korrelation aller Werte (1: vorhanden, 0: nicht vorhanden) wenn Korrelationen groß -> systematisch häufig zur Unterscheidung von MCAR & MAR
• Was ist der Nonsampling Error und nenne allgemeine Beispiele. = alle Fehler beim Durchführen & Auswerten (außer Sampling Error) Fehler bei Stichprobenerfasseung (Auslassungen, Doppelungen, ... ) Respone-Fehler (beim Erfragen, Aufzeichnen, ... ) Non-response (fehlende Daten oder VP, bspw. Dropouts)
• Wozu brauche ich Entscheidungstheorie? Verbesserung der Erfolgsaussichten nach Entscheidung Nachvollziehbarkeit der Entscheidungen Instrument zum Finden eines für alle akzeptablen Kompromisses besseres Verständnis der Entscheidungssituation
• Woher kann ich Klarheit über Ziele bekommen? Mängel Vergleich von vorliegenden Alternativen Strategische Ziele externe Vorgaben betroffene Personen
• Advertisement
• Anforderungen an Zielsysteme. = Gesamtheit aller Fundamentalziele in Entscheidungssituation Vollständigkeit Redundanzfreiheit Messbarkeit (Zielerreichung messbar) Eindeutigkeit (Grad an Zielerreichung eindeutig messbar?) Präferenzunabhängigkeit Einfachheit
• Generierung von Alternativen Idel-Alternativen Erweiterung des Kontextes Aufgabenzerlegung Kreativitätstechniken Ursache-Wirkungs-Analysen Mehrstufige Alternativen
• Vorauswahl von Alternativen Restriktionen Anspruchsniveau Dominanz
• Aspekte von Wirkungen / Konsequenzen sicher vs. mit bestimmter WK eintretend beschreibbar hinsichtlich eines oder mehrerer Attribute subjektiver vs. objektiver Wert
• Direct-Rating-Methode zum Bestimmen der Wertfunktion für ein Zielattribut. Schlechteste und beste Alternative bestimmen Alternativen hinsichtl. Konsequenzen in Rangreihe bringen Direkte Werte für Konsequenzen vergeben Wertfunktion normieren und zeichnen
• Halbierungsmethode zum Bestimmen der Wertfunktion. Schlechteste und beste Alternative bestimmen Subjektiven Mitterwert zwischen den beiden Alternativen bestimmen Analog für weitere Mittelwerte, bspw. zwischen besten und MW aus 2, ... Wertefunktion normieren und zeichnen Konsistenzprüfung
• Direct-Ratio-Methode zur Bestimmung der Gewichte für Zielattribute. Attribute hinsichtlich ihrer Wichtigkeit in Rangreihe bringen unwichtigstes Attribut: Wert = 1, der als Vergleichsmaßsatb für die Werte der anderen Attribute dient Normieren der Gewichte (Summe aller Gewichte muss 1 sein) -> durch Summe teilen Konsistenzprüfung mit anderer Methode
• Swing-Methode zur Bestimmung der Gewichte für Zielattribute. Schlechteste definierte (künstliche) Alternative bestimmen Jeweils eines der Zielattribute auf den Optimalwert setzen und die so entstehenden Alternativen in Rangreihe bringen Alle künstlichen Alternativen mit Punktzahl zwischen 0 und 100 bewerten Relative Punktzahl = Gewicht
• Wie kann ich Wahrscheinlichkeiten schätzen? (Entscheiden unter Unsicherheit) direkte Schätzung Indirekte Wahrscheinlichkeitsschätzung (Urnenmodell) Odds (Chance steht X zu Y, P(A) = X / (X+Y) )
• Welche Methoden gibt es zur Bestimmung der Nutzenfunktion? Mittelwert-Kettungsmethode SÄ zur Lotterie: xmin p=.5, xmax p=.5 -> x.5 SÄ zur Lotterie: xmin p=.5, x.5 p =.5 -> x.25 SÄ zur Lotterie: xmax p=.5, x.5 p=.5 -> x.75 Konsistenzprüfung Fraktilmethode SÄ zur Lotterie: xmax p=.8, xmin p=.2 -> x.8 SÄ zur Lotterie: xmax p=.6, xmin p=.4 -> x.6 -> direkte Bestimmung des Nutzens Konsistenzprüfung
• Die beschränkte Aussagekraft von Signifikanztests nur eingeschränkte Fragemöglichkeiten nur eingeschränkte Antworten keine Aussagen über praktische Bedeutsamkeit -> Signifikanztestergebnisse werden überinterpretiert. Selbst beim wahren Wert: Interpretationsprobleme
• Welche Alternativen gibt es zum Signifikanztesten? Boostrap Bayes Konfidenzintervalle graphische Analyse Effektgrößen / Metaanalyse experimentelle Einzelfallanalyse qualitative Methoden Computermodellierung
• Bootstrap: Vorteile Stichprobenverteilung bei jeder Art von Populationsverteilung ableitbar keine Vorannahmen über zugrunde liegende Population nötig Stichporbenverteilung für beliebig komlexe Stichproben möglich Idee trotzdem gleich zu Signifikanztesten
• Wie ist die generelle Vorgehensweise beim Bayesianischen Ansatz? Wahrscheinlichkeit für Hypothesen ermitteln Bedingte Wahrscheinlichkeiten für die Daten, gegeben der Hypothesen, berechnen Wahrscheinlichkeiten der Hypothesen aufgrund der Likelihoodfunktion revidieren
• Die Rolle von Statistik Was sagen die Daten zu meiner Theorie? Wie überzeuge ich Fachkollegen von meiner Interpretaion? -> Statistik ist nicht die Wahrheit, Statistik dient als Argumentationshilfe Ein überzeugenden Argument sollte die MAGIC-Kriterien erfüllen (nirgendwo Signifikanz) Magnitude (Größe von Effekt)Articulation (Detailgenauigkeit)Generality (Breite der Schlussfolgerungen)Interestingness (Potentiel für Meinungsänderung)Credibility (Sauberkeit der Methodik)
• Praktische Vorgehensweise bei Metaanalysen Suche nach relevanten Studien / Artikeln Auswahl dieser Auswahl der Effektgrößenmaßes Überprüfung des Ergebnisses
• Welche Einflussgrößen kann es bei der Meta geben? Stichprobengröße (wird kontrolliert) methodische Qualität inhaltliche Unterschiede
• Potentielle Probleme bei Meta Müll rein, Müll raus Äpfel und Birnen Abhängigkeit selektive Auswahl
• Vorgehensweise nach Mayring Qualitative Analyse Fragestellung Begriff- und Kategorienfindung Analyseinstrumentarium Qualitative oder quantitative Analyse Anwendung des Analyseinstrumentariums je nach Gegenstand / Ziel der Analyse unter Zuhilfenahme quantitativer Methoden Qualitative Analyse Rückbezug der Ergebnisse zur Fragestellung Interpretation
• Was sind Ziel, wissenschaftstheoretischer Hintergrund & Besonderheiten der Grounded Theory? Ziel systematische datenbasierte Theorieentwicklung Wissenschaftstheoretischer Hintergrund positivistisch & konstruktivistisch Besonderheiten gleichzeitiges Involviertsein in Datensammlung und -analyse theoretisches Sampling
• Advertisement
• Wie ist der Analyseprozess bei der Grounded Theory (Glaser & Strauss, 1965) Zeilenweises Kodieren Fokussiertes Kodieren Axiales Kodieren Kategorienbildung Memos schreibn Theoretisches Sampling Erste Fassung Literaturstudium
• Gütekriterien von qualitativen Methoden Prozedurale Reliabilität Validierung Triangulation  Verallgemeinerung GenerelleHilfen
• Warum Computersimulationen? präzise Theorien und Vorhersagen Überprüfbarkeit von Prozessen Aufhebung künstlicher Trennungen Reichere Modelle durch Einbeziehung von Störvariablen Missing link zw. Individuen und Aggregaten
• Produktionssysteme - Bestandteile Wissensrepräsentation (prozedural, deklarativ) Inferenzmechanismus, Steuerung des Ablaufs (Vorwärtsverkettung - bottom-up, Rückwärtsverkettung - top down) Konfliktresolution (Kriterien: Ausmaß des Matches, Spezifität, Geschichte einer Produktionsregel)
• Vorgehensweise beim SGM Theorie / Hypothese aufstellen Prüfung der Voraussetzungen Messmodell konstruieren Koeffizienten berechnen Gütemaße berechnen
• Welche Voraussetzungen gibt es beim SGM? lineare Zusammenhänge Identifizierbarkeit: Anzahl unbekannter Parameter kleiner / gleich Anzahl bekannter Varianzen und Kovarianzen Fehler normalverteilt Vorsicht mit Kausalschlüssen
• Was ist ein Mess- und was ein Strukturmodell? Strukturmodell = enthält Gleichungen, die Struktur der Beziehung zwischen inaltlich relevanten, meist latenten Variablen im Modell abbilden Messmodell = Spezifikation der Messung der latenten Variablen Ladungen aller manifesten Variablen sollten substanziell sein
• Das Problem der Identifizierbarkeit bei SGM -> alle unbekannten Parameter können eindeutig bestimmt werden = identifizierbar Voraussetzungen: mindestens so viele Datenpunkte, wie Paramenter, die man schätzen möchte (Datenpunkte = n*(n+1) / 2) jeder latenten Variable muss Skala zugewiesen werden unteridentifiziertes Modell gerade identifiziertes Modell überidentifziertes Modell
• Schätzen freier Parameter Ausgangsbasis freier Parameter = Korrelationsmatrix oder Varianz-Kovarianz-Matrix aller manifesten Variablen Ziel: Optimum zwischen implizierter und Ausgangsmatrix erreichen bei überidentifiziertem Modell Diskrepanzen -> Maximum-Likelihood-Schätzung
• Gütemaße beim SGM Chi-Quadrat (Signifikanter Unterschied zwischen Matrixen?) absolute Maße (GFI, PGFI - wie R) relative Maße (Baseline-Modell, NFI, CFI) Fehlermaße (RMSEA)
• Vor- und Nachteile von MEA saubere Trennung der Effekte Moderatoranalyse für eine oder über mehrere Ebenen hinweg statistische Kontrolle beliebiger Variablen auf allen Ebenen möglich Flexibilität viele und große Stichproben (30/30 für 2 Ebenen) Computerprogramme deutlich schwieriger zu bedienen als normale Statistiksoftware
• Warum nicht mit herkömmlicher Regressionsrechnung? (MEA) Nur untere Ebene analysieren schließen falscher Zusammenhänge statistische Unabhängigkeit nicht gegeben Korrelation der Variablen innerhalb einer Gruppe höher Disaggregation zusätzliche Dummy-Variable für Gruppe einfügen Aufblähen der Werte zusammenhängende Daten als unabhängig betrachtet -> zu hohe Power Aggregation Relibilität und Homogenität wird vernachlässigt Informationen aus Ebene 1 gehen verloren
• Einfache MEA-Modelle Intercept-onlyGibt es systematische Varianz d. Krit. über Gruppen hinweg? Means-as-outcomesZusammenhang zw. mittleren Effekten des Ebene2-Prädiktors und mittleren Effekten des KriteriumsWen Fehlervarianz noch groß -> andere Einflüsse -> random effects Random coefficientsVarianz in slopes und intercepts zugelassen
• Vorgehensweise Conjoint Auswahl relevanter Attrivute für Messobjekt Bestimmen des Erhebungsdesigns Bewertung der Messobjekte (Datenerhebung) Schätzung der relativen Wichtigkeit der Attributsausprägungen (Aggregation der Nutzenwerte)

back  |  next 1 / 1