Statistik und Evaluation (Subject) / Versuchsplanung und Güteaspekte im Kontext von Evaluationsuntersuchungen: (Lesson)

This lesson was created by sofiesfood.

Learn lesson

back  |  next 1 / 1

• Was versteht man unter Teststärke, was unter Effektstärke? Wie hängen beide Größen mit der Stichprobengröße zusammen? Teststärke: Gibt an mit welcher Wahrscheinlichkeit ein Signifikanztest zugunsten der H1 entscheidet, Sie gibt die Wahrscheinlichkeit an, mit der eine richtige Alternativhypothese durch einen Signifikanztest entdeckt wird, d.h. die Wahrscheinlichkeit, bestehende Unterschiede oder Zusammenhänge statistisch nachzuweisen, wenn sie existieren  (je größer die Stichprobe desto größer, da Standartfehler dann kleiner) Effektstärke: Gibt die tatsächliche praktische Bedeutsamkeit eines statistisch signifikanten Effekts an,  Sie gibt an, wie groß ein festgestellter Unterschied ist, also inwiefern ein Mittelwertunterschied nicht nur statistisch, sondern auch psychologisch-inhaltlich bedeutsam ist, unabh. von Stichprobengröße
• Wie bestimmt man Effektgrößen, und welche Werte gelten als klein, mittel, groß? (3) Werden in der Regel mittels der Varianzen bestimmt und drücken aus wie viel Unterschiedlichkeit des Kriteriums aufgeklärt werden konnte Es gibt verschiedene Maßstäbe –die geläufigsten lauten: < 0,5 klein < 0,8 Mittel, > 0,8 groß Die Effektstärke soll die Größe eines Unterschiedes oder Zusammenhangs relativ zur Streuung von Daten wiedergeben – und nicht zur Streuung von Mittelwerten oder anderer von n abhängiger Maße. 
• Wie sollte man die Stichprobengröße seiner Untersuchung planen – welche Parameter sollte man berücksichtigen? Ideale Stichprobengröße richtet sich nach: Anteil der für die Untersuchung relevanter Personen in der Population, Signifikanzniveau (umso niedriger, umso mehr Leute brauch man) Stichprobenumfang kann dann durch Erfahrungswerte oder bestimmte Normen 
• Was ist der Unterschied von Zusammenhangshypothesen und Unterschiedshypothesen? Inwiefern können sich beide auf denselben Sachverhalt beziehen (Beispiel)? Zusammenhangshypothesen: Zwischen zwei oder mehr Merkmalen besteht ein Zusammenhang/ Korrelation - ZH werden mit Korrelationsrechnungen geprüft. Unterschiedshypothesen: Zwei (oder mehrere) Populationen unterscheiden sich bezüglich einer (oder mehrerer) abhängiger Variablen. UH werden mit Häufigkeits- und Mittelwertvergleichen geprüft.  Unterschiedshypothese: Mädchen lesen mehr als Jungen Zusammenhangshypothese: Je nach Geschlecht wird mehr gelesen. bzw. Geschlecht steht in Zusammenhang mit Häufigkeit des Lesens/Leseverhaltens. 
• Wie sieht ein „klassisches“ Evaluationsdesign zum Nachweis der Effektivität einer Intervention aus? Aus welchem Ergebnisschema kann man eindeutig auf die Wirksamkeit der Intervention schließen (Ausschluss von alternativen Erklärungen)? Welche Ergebnisschemata sind hinsichtlich dieses Schlusses mehrdeutig, und lassen alternative Erklärungen zu? Klassisches Evaluationsdesign: Experimental und Kontrollgruppe: randomisiertes Kontrollgruppendesign (dadurch Kontrolle von Störvariablen)> Kausalität ableitbar Treatmentgruppe-Kontrollgruppe/n-Vergleiche (Querschnittstudien) oder Vorher-Nachher-Vergleiche (Längsschnittstudien) für eine eindeutigere Rückführung von Effekten (interne Validität) auf Maßnahmen läßt sich der Solomon-Vier-Gruppen-Versuchsplan heranziehen. Bei dieser Anordnung kann man durch Vergleich von Experimentalgruppe 1 (mit Vortest) und Experimentalgruppe 2 (ohne Vortest) sowie Kontrollgruppe 1 und Kontrollgruppe 2 (und anderer Kombinationen von Gruppen untereinander) sowohl den Effekt des Vortests, als auch die Interaktion des Vortests mit dem experimentellen Faktor und die Auswirkungen dieses Faktors selbst berechnen. Für diese Berechnungen wird ein mathematisches Verfahren namens Multivarianzanalyse verwendet, das in seiner Logik eigentlich recht einfach ist, dessen praktische Umsetzung der Forscher jedoch gern einem Statistikprogramm überläßt wenn man UV und AV im Nachhinein bestimmt, zB ex post facto studien > keine Kausalinterpretation, nur Zusammenhänge. Wenn man sich beispielsweise Raucher und Lungenkrebs betrachtet, kann man zusammenhang feststellen, und gruppen trennen, aber diese unterscheiden sich vlt auch in anderen dingen wie Lebensstil
• In welcher Weise ist das Experiment anderen Beobachtungsformen bezüglich der ermöglichten Schlussweisen überlegen? Warum können in Evaluationsuntersuchungen oftmals nicht echte Experimente durchgeführt werden? Was zeichnet Quasi-Experiment und Ex-Post Facto Untersuchungen aus? Experiment: Machen Kausalschlüsse möglich, Unabhängige Variablen sind manipulierbar, Randomisierung möglich Durchführung nicht wiederholbar ist , weil es unethisch ist, eine Kontrollgruppe zu erstellen (z.B. suizidgefährdete Personen ohne Behandlung), eine UV nicht variierbar oder künstlich manipulierbar ist (wie Geschlecht, Nationalität, Krankheit) , es zu teuer ist, alle Bedingungen zu standardisieren.  Quasi-Experiment: Keine Randomisierung möglich > Keine Kausalaussagen möglich Ex-post-Facto-Designs: Wenn werderExperiment noch Quasi-Experiment möglich, Beobachtung vorhandener Sachverhalte und berechnen 
• Quasi Experiment Natürlich Gruppen ohne randomisierte Zuordnung von Versuchspersonen werden verglichen (z.B. Schulklassen). Persönliche Störvariablen sind daher nicht ausgeschlossen und Kaussalinterpretationen sind nicht möglich, da die Rückführung von Unterschieden in der AV nicht eindeutig auf die UV zurück gehen kann.
• Was ist interne Validität, was externe? Wie kann man diese bestimmen bzw. Daten dazu erheben? Interne Validität: Wie gut ist AV auf UV zurückzuführen (Aufgeklärte Varianz)? sie sinkt mit wachsender Anzahl plausibler Alternativerklärungen für das Ergebnis aufgrund nicht kontrollierter Störvariablen, höher bei Laborexperimenten > Störvariablen kontrollieren Externe Validität: Wie sehr sind die Ergebnisse auf die Population generalisierbar (Repräsentativität)?    Durch die maximale Kontrolle von Störeinflüssen in experimentellen Situationen (vgl. Max-Kon-Min-Prinzip) verliert eine Untersuchung an Generalisierbarkeit, sie wird künstlich.
• Erläutern Sie die Begriffe der Kriteriumsvalidität und der Konstruktvalidität. Kriteriumsvalidität Misst das Kriterium tatsächlich das was es zu messen vorgibt?, Beispielsweise ein Berufseignungstest die tatsächliche Eignung für den Beruf Konstruktvalidiät: Messen alle Teilaspekte des Konstrukts tatsächlich das zu messende Gesamtmerkmal? Beispielsweise räumliche Vorstellung beim IQ-Test
• Mit welchen Methoden kann man diese Kriterium- Und Konstruktsvalidität bestimmen, und warum haben sie in der Evaluationsforschung eine zentrale Wichtigkeit? Messung der Kriteriumsvaliditätüber > biseriale Korrelation misst die Übereinstimmung einer intervallskalierten Variable mit einer dichotomen Variable, ZB Berufseignung im Eignungstest = Intervallskaliert (Beispielsweise Wert zwischen 1 und 100) + Tatsächliche Berufseignung = dichotom (nämlich eingestellt oder nicht eingestellt)  -> Zusammenhang ist ein Maß für Kriteriumsvalidität MultiTrai Multi Method: Komplexes System zur Bestimmung der Konstruktvalidität, Mehrere Skalen werden korreliert (sowohl ähnliche als auch Gegensätzliche), Es soll bestimmt werden wie gut einzelne Skalen zum Gesamtkonstrukt passen
• Advertisement
• Erläutern Sie Methoden der Kriteriumsvalidität, die auf der Bestimmung einer biserialen oder punkt-biserialen Korrelation beruhen! Messung der Kriteriumsvaliditätüber > biseriale Korrelation misst die Übereinstimmung einer intervallskalierten Variable mit einer dichotomen Variable, ZB Berufseignung im Eignungstest = Intervallskaliert (Beispielsweise Wert zwischen 1 und 100) + Tatsächliche Berufseignung = dichotom (nämlich eingestellt oder nicht eingestellt)  -> Zusammenhang ist ein Maß für Kriteriumsvalidität  punktbiseriale Korrelation: Verfahren zur Berechnung eines Korrelationskoeffizienten für ein metrisches (also intervallskaliertes) und ein natürlich dichotomes Merkmal (z.B. Geschlecht), zB ob Schulnoten durch Leistungstest vorhersagbar sind und ein geschlechtsspezifischer Unterschied besteht (→ differenzielle Validität)
• Erläutern Sie den Multtrait-MultiMethod Ansatz zur Bestimmung der Konstruktvalidität. Multitratit Multimethod bezeichnet eine Gruppe statistischer Verfahren, die zum Nachweis der Konstruktvalidität eines psychologischen Tests dienen. Es wird untersucht, in welchem Grad ein Instrument zwischen den verschiedenen Konstrukten differenziert (diskriminante Validität) und auch wie gut ein Konstrukt durch verschiedene Instrumente erfasst werden kann (konvergente Validität).  konvergente Valdität liegt vor, wenn Messungen eines Konstrukts, das mi verschiedenen Methoden erfasst wird, hoch miteinander korrelieren.  Diskriminante Validität liegt vor, wenn verschiedene Tests verschiedene Konstrukte erfassen oder ein Test verschiedene Konstrukte > Konvergente sollte immer höher als diskriminante sein 

back  |  next 1 / 1