11
Testtheorie und Testkonstruktion (Fach) / Evaluation des Testverfahrens (Lektion)
Anzeige
- Welche Methoden gibt es zur Bestimmung der Reliabilität 1. Retestmethode2. Paralleltestmethode3. Konsistenzmethode
- Definiere Retestreliabilität Korrelation der Testwerte (z.B. Summenscore) aus Testdurchführung 1 mit den Testwerten aus Testdurchführung 2 - Erhalte für jede Person 2 Werte à 1 Stichprobe, 1 Test, 2 Durchführungen- Verzerrungen, weil kann nicht immer unter konstanten, identischen Bedingungen messen
- Definiere Retestreliabilität o Wird auch als Stabilität bezeichneto Stabilität des Merkmals über die Zeit Korrelation der Testwerte (z.B. Summenscore) aus Testdurchführung 1 mit den Testwerten aus Testdurchführung 2 - Erhalte für jede Person 2 Werte à 1 Stichprobe, 1 Test, 2 Durchführungen- Verzerrungen, weil kann nicht immer unter konstanten, identischen Bedingungen messen
- definiere Paralleltestmethode - 1 Stichprobe, 2 Tests, je 1 Durchführung
- definiere die Testhalbierungsmethode - Test wird in 2 Teile geteilt & korreliere diese miteinander à müssen möglichst gleich sein- Aufteilungstechniken:o Odd-Even Methode (gerade /ungerade Itemnummer)o Halbierung nach laufender Nummero Zufallsaufteilungo Itemzwillinge (Schwierigkeit/Trennschärfe)o Halbierung nach Testzeit (bei Speedtests)-> Situationsabhängig
- Was besagt die interne Konsistenz? - Vereinfachung der Testhalbierung- Test wird in so viele Teile zerlegt, wie er Items hat à korreliere die Items untereinander (z.B. 6 Items, 15 Interkorrelationen)- 1 Stichprobe, 1 Test, 1 Durchführung
- Wie hoch sollte die Reliabilität sein? - So hoch wie möglich, doch tatsächlich hängt die Höhe von vielen Bedingungen ab, weshalb keine allgemeingültige Antwort gegeben werden kann.- Arte des Merkmals (Intelligenz versus Einstellung)- Einsatzbereich: Individual- versus Kollektivdiagnostik- niedrig < .80 (in Forschung Grenze .70)- mittel .80 - .90- hoch > .90
- Welche Faktoren können die Reliabilität beeinflussen? 1. Homogenität oder Heterogenität der Testitems (Trennschärfe) -> Alphaanalyse, schmeiße die Items mit geringer Trennschärfe raus, aber dadurch oft auch Verdünnung des Konstruktes (messe dann nicht mehr das was ich messen wollte) -> Reliabilität steigt, Validität sinkt 2. Varianz und Verteilungsmerkmale der Testwerte -> wenn Varianzen möglichst groß, dann werden Korrelationen auch größer -> möglichst heterogene Stichproben 3. Verschiedene Arten von Messfehlern- unsystematische / vorübergehende (z.B. situationsbedingtes Antwortverhalten),- systematische (z.B. Übung, Antworttendenzen) -> nicht jeder kann in gleichem Maße Übungseffekt auf anderen Test transferieren -> versuche ich durch Reliabilitätsschätzungen zu relativieren
- Was besagt der Standardmessfehler? - Der Standardmessfehler gibt an, wie stark die Messfehler um die wahren Werte der Person(en) streuen
- Was ist ein Konfidenzintervall und was gibt es an? - Das Konfidenzintervall (Vertrauensintervall) gibt den Bereich an, in dem der wahre Testwert einer Person bei einer zuvor festgelegten Irrtumswahrscheinlichkeit liegt- Bekommen durch Standardabweichung unser Konfidenzintervall- Mit einer WSK von X% liegt der wahre Wert in diesem Bereich- Meist 95%iges Vertrauensintervall -> 1,96- Für 99% -> 2,54; für 90% = 1,64
- Anzeige
- Wie funktioniert die Testhalbierungsmethode? Vorgehen + Besonderheiten - Es wird die Korrelation der Testwerte der einen Hälfte mit den Testwerten der anderen Testhälfte berechnet. Macht aber nur Sinn, wenn Testhälften homogen genug um Vergleich zuzulassen.- Möglichkeiten für Testhalbierungen: Odd-Even Methode (gerade/ungerade Itemnummern), Halbierung nach laufender Nummer, Zufallsaufteilung, Itemzwillinge (Schwierigkeit/Trennschärfe)- Halbierung nach Testzeit (bei Speedtests)- Problem: Korrelation der Testhälften unterschätzt Reliabilität des Gesamttests-> Korrektur mit Spearman-Brown-Formel