Diagnostik (Fach) / D.03. Klassische Testtheorie Kompakt (Lektion)

KKT

Diese Lektion wurde von ybreitkopf erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Beschreibe die Klassische Testtheorie (KTT) Probabilistische Testtheorien überwinden Grenzen und Schwächen der KTT. Die Klassische Testtheorie nimmt an, dass sich der Messwert (xvi) einer Person (v) in einem Test (Item i) aus der wahren Ausprägung des untersuchten Merkmals und einer Messfehlerkomponente zusammensetzt. Die wahre Merkmalsausprägung („true score") kann nicht direkt beobachtet werden; die  Abschätzung des Messfehlers erlaubt es, den true score (τvi) als Differenz aus Testwert und Fehlerwert zu erschließen. In den Axiomen der Klassischen Testtheorie werden wesentliche Annahmen über den Messfehler getroffen, die eine Einschätzung der Güte einer Messung ermöglichen (daher auch als Messfehler-Theorie bezeichnet).
• Bescheibe die Axiome der KTT Wie lauten die Zusatzannahmen? Existenzaxiom: Der wahre Wert einer Person ist der Erwartungswert der intraindividuellen Verteilung von Messung xvi: τvi = E(xvi) Verknüpfungsaxiom: Jede Messung xvi setzt sich aus einem wahren Wert τvi und einem zufälligen Fehlerwert εvi zusammen: xvi = τvi + εvi Unabhängigkeit von wahrem und Fehlerwert: Die Korrelation zwischen den Messfehlern εvi und den wahren Werten τvi bei beliebigen Personen und beliebigen Items ist null: ρ (τvi , εvi) = 0 Aus der Verbindung von Existenz- und Verknüpfungsaxiom folgt, dass der Zufallsfehler εvi den Erwartungswert null hat: E(εvi) = 0 Zusatzannahmen: Die Korrelation zwischen den Messfehlern zweier beliebiger Items für dieselbe Person ist Null  ρ (εvi , εvj) = 0 Die Korrelation zwischen den Messfehlern zweier Beobachtungen an beliebigen Personen mit demselben Item ist Null ρ (εvi , εwi) = 0
• Wie Lauten die Axiome der KTT? Existenzaxiom: Der wahre Wert einer Person ist der Erwartungswert der intraindividuellen Verteilung von Messung xvi: τvi = E(xvi) Verknüpfungsaxiom: Jede Messung xvi setzt sich aus einem wahren Wert τvi und einem zufälligen Fehlerwert εvi zusammen: xvi = τvi + εvi Unabhängigkeit von wahrem und Fehlerwert: Die Korrelation zwischen den Messfehlern εvi und den wahren Werten τvi bei beliebigen Personen und beliebigen Items ist null: ρ (τvi , εvi) = 0 Aus der Verbindung von Existenz- und Verknüpfungsaxiom folgt, dass der Zufallsfehler εvi den Erwartungswert null hat: E(εvi) = 0
• Wie lauten die Zusatzannahmen der KTT? Zusatzannahmen: Die Korrelation zwischen den Messfehlern zweier beliebiger Items für dieselbe Person ist Null:  ρ (εvi , εvj) = 0 Die Korrelation zwischen den Messfehlern zweier Beobachtungen an beliebigen Personen mit demselben Item ist Null: ρ (εvi , εwi) = 0
• Wie wird in der KTT der wahre Testwert geschätzt Der Testwert xv einer Person wird als Summe der einzelnen Messungen xvi gebildet, deren Erwartungswerte den wahren Werten τvi entsprechen. Der Summenbildung liegt die Annahme τ-äquivalenter Messungen zugrunde, welche besagt, dass alle Items das gleiche Merkmal τ messen. Hieraus ergibt sich, dass der gesuchte wahre Testwert tv (true score) als Erwartungswert des Testwertes xv bestimmt werden kann, wobei dieser seinerseits als Summe der Messwerte in den einzelnen Items definiert ist.
• Definiere Reliabilität Reliabilität beschreibt die Messgenauigkeit eines Tests. Sie ist das einzige exakt definierte Gütekriterium der KTT Die Reliabilität eines Tests bezeichnet den Anteil der Varianz der wahren Testwerte an der Varianz der beobachteten Testverte Anteil der wahren Varianz an der Gesamtwarianz
• Welche Arten der Relaiabilität gibt es? Paralelltest-Reliabilität Retest-Reliabilität Interne Konsistenz Split-Half Reliabilität Cronbachs Alpha Varianzanalytische Reliabilitätsbestimmung
• Wie wird die Paralelltest-Reliabilität bestimmt? zwei paralelle Testformen werden einer Stichprobe vorgelegt Annahme: Die Tests haben glieche wahre Werte und gleiche Fehlervarianzen die Korrelation der beider Testformen ist die Paralelltest-Reliabilität
• Wie wird die Retest-Reliabilität bestimmt? Der selbe Test wird einer Stichprobe wiederholt vorgelegt Annahme: Wahre Werte verändern sich zwichen den Testungen nicht une die Messfehlereinflüsse bleiben gleich Die Korrelation zwischen den Testdurführungen ist die Retest-Reliabilität Problem: Erinnerungs und Übungseffekte
• Wie kann die Reliabilität erhöht werden? die Verlängerung eines Tests durch Hinzunahme weiterer paralleler Testteile führt zu einer Erhöhung der Reliabilität.
• Eine Prüfung der Reliabilität durch einmalige Testvorgabe möglich. abe runter Welcher Vorraussetzung? Welche Verfahren können genutzt werden? Eine Prüfung der Reliabilität durch eine einmalige Testvorgabe ist möglich, wenn zwei oder mehr Testteile als τ-äquivalente Messungen betrachtet werden. Drei Verfahren zur Bestimmung der internen Konsistenz: Split-half Reliabilität Cronbachs Koeffizient Alpha Varianzanalytische Reliabilitätsbestimmung
• wie wird die Split-half-Reliabilität bestimmt? Aufteilung des Tests in 2 gleichlange Teile (odd-eve, Testzeit) korrelation der Testhälften = "halbe" Reliabilität Aufwertung mit Spearman-Brown-Formel
• Wie wird Cronbachs Alpha bestimmt? Test wird in k Testhälften zerlegt (Anzahl der Intems) Summe der Varianzen der Testteile relativiert an der Gesamtvarianz Vorraussetung: Alle Items messen das gleich Merkmal
• Wie wird bei der Varianzanalytischen Reliabilitätsbestimmung vorgegangen? Bei diesem Vorgehen wird die Antwortvarianz zerlegt in Varianz aufgrund von Itemschwierigkeiten Varianz aufgrund von Unterschieden zwischen Merkmalsträgern (häufig Testpersonen) Residualvarianz Die Residualvarianz kann als Schätzer für den Fehleranteil herangezogen werden.
• Wo zu wird eine Minderungskorrektur vorgenommen? Minderungskorrekturen  werden vorgenommen um zu klären, wie hoch die Korrelation der wahren Werte zweier Tests ist. Beantwortet beispielsweise die Frage, welchen Effekt (maximal) es hätte, wenn die Reliabilität eines Tests und / oder eines Kriteriums verbessert würde. Hilft Korrelationen zwischen Tests zu vergleichen, die deutlich unterschiedliche Reliabilitätskoeffizienten aufweisen. Auch einfache Minderungskorrekturen (die nur den Test oder das Kriterium einbeziehen) sind möglich.
• hinsichtlich was können die Items in der KTT Analysiert werden? Itemschwierigkeit Itmetrennschärfe
• Was ist die Itemschwierigkeit? Der Schwierigkeitsindex Pi eines Items i ist definiert als Quotient aus der Summe der beobachteten Messwerte und der maximal erreichbaren Messwertsumme aller Personen unter der Voraussetzung, dass die minimal erreichbare Summe null beträgt. Je größer Pi um so leichter ist das Item. Den größten Informationsgehalt / die beste Differenzierung bieten Items mittlerer Schwierigkeit. I
• Was ist die Itemtrennschärfe? Analyse des Zusammenhangs eines Items mit dem Gesamttest (part-whole korrigiert). Bei Testkonstruktion (rationale Strategie) auch Vergleich von Trennschärfe und Korrelation mit anderen Inhaltsskalen oder Kontrollskalen
• Definiere Standardmessfehler Anteil an der Streuung eines Tests, der auf die nicht perfekte Zuverlässigkeit des Tests zurückzuführen ist. Gibt die Streuung der beobachteten Werte um die entsprechenden wahren Werte für 1. alle Testpersonen bei einmaliger Testung 2. eine Testperson bei oftmaliger Testung unter (praktisch nicht realisierbaren) identischen Bedingungen an. Dient der Bestimmung von Erwartungsbereichen                 - je größer desto geringer die Reliabilität- wenn rel= 0, Standadmessfheler= Standardabweichung der Skala- rel = 1, Standardmessfehler = 0
• Was gibr der Erwartungsbereich/ Konfidenzintervall an? mit einer festgesetzten Wahrscheinlichkeit liegt der wahre Wert in diesem Intervall
• Was har es mit der Regression zur Mitte auf sich? Es lässt sich zeigen, dass die wahren Werte im Schnitt näher am Mittelwert der Testwerte liegen als die beobachteten Werte. Dieser Effekt (Regression zur Mitte) kann genutzt werden, um engere Vertrauensintervalle um geschätzte wahre Werte zu bestimmen. Im Prinzip wird eine Regression der beobachteten Werte auf die wahren Werte bestimmt.
• Welche Fragen können mit hilfe des Vertrauensintervalls beantwortet werden? In welchem Intervall liegt mit welcher Wahrscheinlichkeit der wahre Testwert. Hat sich eine Person (z.B. im Rahmen einer Intervention) verändert. Weisen zwei Personen signifikant unterschiedliche Werte auf. Unterscheiden sich die Werte einer Person in zwei Skalen bedeutsam
• nenne 3 Kritikpunkte der KTT Fehlende messtheoretische Grundlagen Stichprobenabhängigkeit der Kennwerte Fehlender Modelltest, fehlende Nachweismöglichkeit der Eindimensionalität
• Was hat es mit dem kritikpunkt "fehlende messtheoretische Grundlagen" auf sich? Die Axiome sind empirisch nicht überprüfbar und somit auch nicht falsifizierbar sind. Die zur Schätzung der Reliabilität notwendige und in der Praxis nicht unbedingt plausible Zusatzannahme der Unkorreliertheit der Messfehler zwischen Items und Personen kann empirisch falsch sein; wird aber vorausgesetzt das Antwortverhalten der Personen wird in Zahlen abgebildet, ohne die Frage nach der Messbarkeit zu stellen. Auch für die implizit getroffene Annahme, dass die resultierende numerische Zuordnung eine Intervallskala sei, wird keine überprüfbare Begründung gegeben.
• Was ist mit dem Kritikpunkt "Stichprobenabhängigkeit der Kennwerte" gemeint? Die wichtigsten Kennwerte (z.B. Reliabilität und Itemtrennschärfe) basieren auf Korrelationen und hängen damit untrennbar mit der Testwerteverteilung in der Referenz-population zusammen.
• Was het es mit dem Kritikpunkt "Fehlender Modelltest, fehlende Nachweismöglichkeit der Eindimensionalität" auf sich? Eindimensionalität: heist dass alle Items dasselbe Konstrukt t erfassen. Eine empirische Überprüfung dieser Annahme ist im Rahmen der Klassischen Testtheorie nicht möglich. Die Testwerte als Ausprägungen von Personen auf einem eindimensionalen, latenten Persönlichkeitsmerkmal ist laut der Klassischen Testtheorie nicht zulässig. Dennoch werden z.B. Reliabilitätsschätzungen so interpretiert, als läge den Testwerten ein einziges eindimensionales Merkmal t zugrunde.

zurück  |  weiter 1 / 1