Evaluation (Fach) / Evaluation alles (Lektion)

Evaluation FSU Jena 2018 alles (nicht Intervention)

Diese Lektion wurde von PsychoStudyKo erstellt.

Lektion lernen

zurück  |  weiter 3 / 3

• Was gefährdet den Alpha- und den Beta-Fehler? Welche Validität? Reliabilität der Messinstrumente (statistische Validität) zwischenzeitliches Geschehen (interne Validität) Testeffekte / Messeffekte (interne Validität)
• Welche Aspekte der STATISTISCHEN und INTERNEN Validität haben vor allem einen Effekt auf den Beta-Fehler? 1.) Reliabilität der Messinstrumente 2.) Zwischenzeitliches Geschehen 3.) Statistische Regression 4.) Demoralisierung der Kontrollgruppe 5.) Geringe Teststärke 6.) Transfer oder Imitation der Kontrollgruppe 1.) Reliabilität der Messinstrumente(a+ß) 2.) Zwischenzeitliches Geschehen (a+ß) 3.) Statistische Regression (a) 4.) Demoralisierung der Kontrollgruppe (a) 5.) Geringe Teststärke(ß) 6.) Transfer oder Imitation der Kontrollgruppe (ß)
• Welche Aspekte der STATISTISCHEN und INTERNEN Validität haben vor allem einen Effekt auf den Alpha-Fehler? 1.) Reliabilität der Messinstrumente 2.) Zwischenzeitliches Geschehen 3.) Statistische Regression 4.) Demoralisierung der Kontrollgruppe 5.) Geringe Teststärke 6.) Transfer oder Imitation der Kontrollgruppe 1.) Reliabilität der Messinstrumente(a+ß) 2.) Zwischenzeitliches Geschehen (a+ß) 3.) Statistische Regression (a) 4.) Demoralisierung der Kontrollgruppe (a) 5.) Geringe Teststärke(ß) 6.) Transfer oder Imitation der Kontrollgruppe (ß)
• Welche Wechselwirkungen bezüglich der verschiedenen Validitäten sind zu beachten? Konstruktvalidität Wechselwirkung verschiedener Interventionen Wechselwirkung zwischen Test und Treatment Externe Validität i.e.S. Wechselwirkung zwischen Selektion und Intervention Wechselwirkung zwischen Setting und Intervention Wechselwirkung zwischen zwischenzeitlichem Geschehen und Intervention Wechselwirkung zwischen Erhebungzeit und Intervention
• Was versteht man unter Integrativer Forschung? Darunter versteht man systematische Anstrengungen Wissen und Erkenntnisse aus Primär- und Originalstudien zu integrieren. (auch Sekundärforschung / Literaturreviews genannt) Forschungsynthese ist eine Form der integrativen Forschung bei der empirische Befunde aus Primärstudien integriert werden. Meta-Analysen ist eine besondere Form der integrativen Forschung, die unter Verwendung statistischer Verfahren Erkenntnisse aus Primärstudien zu integrieren sucht. Dabei werden Effektstärken berechnet und vergleichbar gemacht.
• Was versuchen Meta-Analysen zu erreichen (allgemein - nicht vollständig)? Meta-Analysen versuchen Forschungsergebnisse aus Primärstudien unter Verwendung statistischer Verfahren zu integrieren. Dabei werden Effektstärken anhand der Größe der jeweiligen Stichprobe berechnet und mit anderen verglichen. Funnel-Plots erlauben eine Einsicht in wahrscheinlich unveröffentlichte Ergebnisse und erlauben eine Korrektur des Effekts (Effektüberschätzung, da häufig nur signifikante Ergebnisse publiziert werden). Meta-Analysen haben dabei den Anspruch auf Vollstänidgkeit -> alle bis dato veröffentlichte (und möglichst alle nicht veröffentlichte) Arbeiten sollen durchgesehen werden und anhand von Kriterien ausgewählt werden - Kontroverse um eine restriktive oder liberale Auswahl (oftmals restriktiv: Experimente mit randomisierter Kontrollgruppe)
• Welche Probleme treten bei Meta-Analysen auf? Publikationsverzerrungen (publication bias) -> hauptsächlich hypothesenkonforme (also signifikante) Ergebnisse werden veröffentlicht -> keine einheitlichen Richtlinien zum Umgang mit diesen Verzerrungen Integration der Ergebnisse fast nur auf Englisch oder in der jeweiligen Muttersprache der Autoren (Konflikt zwischen Publikationen auf Englisch und die Sprache, die viele Praktiker sprechen - Mehrfachpublikationen oft nicht möglich / gewünscht) -> deshalb nie allumfassend Keine einheitlichen Auswahlkriterien (welche Datenbanken, welche Suchbegriffe, welcher Zeitraum, welche Methoden - oft nur "wahre" Experimente -> randomisierte Kontrollgruppen; am besten double-blind) 
• Welche Funktionen erfüllt integrative Forschung? 1.) Erkenntnisfunktion (Integrationsfunktion i.e.S.) 2.) Historische Funktion (Schaffung neuer Forschungfelder, Paradigmenwechsel) 3.) Allokationsfunktion (in welche Richtung sollte Forschung in Zukunft laufen) 4.) Strukturierungsfunktion (neue einheitliche Strukturierung - v.a. bei interdisziplinärer Forschung) 5.) Kontrollfunktion (Bewertung von Strategien, Aufdeckung von verschiedenen Problemen) 6.) Transferfunktion (Zusammenfassung widersprüchlicher Einzelergebnisse)
• Woran erkennt man Publikationsverzerrungen bei Meta-Analysen? Um diese zu erkennen werden Funnelplots angelegt: Anhand der Stichprobengröße oder anderer abgeleiteter Parameter werden die Effektstärken als Normalverteilung / Trichterfunktion um die mittlere Effektstärke herum geordnet. Nun lässt sich erkennen, dass ein Teil der Effektstärken (im nicht-signifikanten Bereich) fehlen. Diese können nun ergänzt werden (Trim- and Fill-Analysis) oder Extremwerte (Ausreißer) werden entfernt und die mittlere Effektstärke neu berechnet.
• Wie sieht eine typische Varianzaufklärung bei Meta-Analysen aus? 25% Eigenschaften der Intervention 21% Eigenschaften der Methoden  26% Zufallsfehler (sampling errro) 28% Residual
• Welche Gefährdungen der internen Validität i.e.S. liegen beim skizzierten Ergebmuster vor? (Grafik zur Niveauangleichung) a. "Signifikanzen fischen" b. Selektion c. Messeffekte d. Regression zur Mitte e. Transfer oder Imitation der Intervention f. Zwischenzeitliches Geschehen g. zufällige Unterschiede zwischen den Versuchsgruppen a. "Signifikanzen fischen" (statistisch)b. Selektion (größte Gefährdung hier)c. Messeffekte (theoretisch müssten beide Gruppen lernen besser zu antworten, aber KG wird nicht besser -> Alphafehler möglich)d. Regression zur Mitte (Extremwerte in der IG passen sich an)e. Transfer oder Imitation der Intervention (unwahrscheinlich, da sich sonst die Kompetenzwerte der Kontrollgruppe auch verbessert haben sollten)f. Zwischenzeitliches Geschehen (vielleicht ist der IG etwas passiert, was den Effekt besser erklären kann)g. zufällige Unterschiede zwischen den Versuchsgruppen (statistisch)
• Die externe Validität i.e.S einer Interventionsstudie wird durch folgende Probleme gefährdet: a. Geringe Repräsentativität der Stichprobe b. Langzeitanalysen (Follow-up Studien) c. Besonders günstige Rahmenbedingungen der Interventionsdurchführung d. Prototypisches Interventionssetting e. Einsatz von Praktikern bei der Interventionsdurchführung a. Geringe Repräsentativität der Stichprobe b. Langzeitanalysen (Follow-up Studien) c. Besonders günstige Rahmenbedingungen der Interventionsdurchführung d. Prototypisches Interventionssetting (hier unsicher) e. Einsatz von Praktikern bei der Interventionsdurchführung
• Die Konstruktvalidität einer Interventionsstudie kann durch folgende Maßnahmen verbessert werden: a. Erfassung von Selbstauskünften der Teilnehmer b.  Proximale Erfolgsdiagnostik c. Multimodale Erfolgsdiagnostik d. Fremdevaluation (d.h. Evaluation durch unbeteiligte Personen) e. Einsatz unspezifischer Kontrollgruppen f. Erfassung zusätzlicher Interventionen in IG und KG a. Erfassung von Selbstauskünften der Teilnehmer - b. Proximale Erfolgsdiagnostik  c. Multimodale Erfolgsdiagnostik  d. Fremdevaluation (d.h. Evaluation durch unbeteiligte Personen)  e. Einsatz unspezifischer Kontrollgruppen  f. Erfassung zusätzlicher Interventionen in IG und KG 
• Wie funktioniert die Goal Attainment Scale (Zielerreichungsskalierung)? Vor der Therapie: 1.) Therapieziele werden ausgewählt 2.) diese Ziele werden nun operationalisiert und standadisierte Stufen der Zielerreichung festgelegt (diese dürfen weder zu optimistisch, noch zu einfach zu erreichen sein) Nach der Therapie (oder als Zwischenstand): 3.) Bewertung der Zielerreichung und Zusammenfassung der Werte (Mittelwertsberechnung)
• Multiple Baseline Designs als eine Form experimenteller Einzelfallstudien kann über . . . durchgeführt werden. Verhalten Personen Situationen / Setting
• Was sind Vor- und Nachteile von Multiple Baseline Designs? Vorteile: Systematische Dokumentation in Einzelfälle (lässt sich relativ problemlos in der Praxis umsetzen) Nachteile: Oft geringer Generalisierungsgrad trotz z.T. hohen Aufwands (im klinischen Kontext sind aber mancmal nicht mehr Personen vorhanden)
• Was ist die Logik hinter Multiple Baseline Designs? Eine stabile Baseline wird über mehrere Messungen aufgebaut, dann folgt eine Intervention und es wird gemessen bis sich (falls wirkvoll) eine neue Baseline aufbaut. Entweder wird bei allen Personen die Baseline zur gleichen Zeit aufgebaut und zu unterschiedlichen Zeitpunkten interveniert (sodass sich unterschiedlich lange Baselines ergeben) oder die Baseline-Erhebung beginnt zu unterschiedlichen Zeitpunkten und die Intervention findet zeitgleich statt. Somit kann man auf das Wirken der Intervention schließen. Baselines können über Personen, Situationen (Settings) oder Verhalten aufgebaut werden.

zurück  |  weiter 3 / 3