6
Testtheorie und Testkonstruktion (Fach) / Gütekriterien 1 (Lektion)
- Objektivität 1.) Hohe Durchführungsobjektivität durch Standardisierung der Testbedingungen (konstante Bedingungen für Pbn) Verhalten des TL bezüglich der Instruktionen, Zeitbegrenzung, Interaktion mit dem PbUmgebungsbedingungenBedingungen des Pbn (Übermüdung) 2.) Hohe Auswertungs-Objektivität durch standardisierte Auswertungsregeln, die die Wahrscheinlichkeit von Fehlern minimiert Beispiele: Computerauswertung, Ablesen mittels Schablonen und Verrechnung per Hand, Codierung (Signierung) offener AntwortenAuswertungsobjektivität wird auch vor allem durch die mehrfache Auswertung von verschiedenen Testleitern —> interrater Agreement 3.) Hohe Interpretations-Objektivität durch verschiedene TL aufgrund der vorliegenden Testergebnisse zu den gleichen Schlüssen/Interpretationen kommen Welche Bedeutung haben bestimmte Werte in einem Test (Normen)—> Daher Normentabellen miteinbeziehen
- Reliabilität: Parallele Messungen 1. Man lässt Pbn den Test zweimal durchführen und korreliert die Testwerte (Retest‐Reliabilität). 2. Man konstruiert einen parallelen test, lässt Pbn beide Tests durchführen und korreliert deren Testwerte (Paralleltest-Reliabilität) Man betrachtet Teilmengen der Items des Tests als parallele Messungen (Interne Konsistenz).—> Dies sind verschiedene Reliabilitäten, die verschiedene Arten messen
- Retest Reliabilität man gibt einer Stichprobe von Personen den Test nach einem bestimmten zeitlichen Abstand (Retest-intervall) zweimal hintereinander vor Bestimmung des Reliabilitätskoeffizienten als Korrelation zwischen den beiden Testungen T1 und T2: Rel =r(xy) = Cor(xti, xt2) Während die Parallelitäts‐Annahme konstanter Fehlervarianz bei gleich gehaltenen Bedingungen zu T1 und T2 oft plausibel ist, kann man von einer Konstanz der Merkmalsausprägung über die Zeit nicht ohne weiteres ausgehen. Gilt die essentielle Parallelität nicht, so ist die Korrelation eine verzerrte Schätzung für die Reliabilität des Tests.
- Reliabilität: Methoden zur Erstellung der Testhälften Even-odd Methode --> abwechselnd in die geradzahligen und die ungeradzahligen Items über die Bildung von Item‐Zwillingen (annähernd) gleicher Schwierigkeit und Trennschärfe und Zufallszuweisung der Zwillinge zu den Testhälften. Geeignet z.B. bei sehr heterogenen Items. nach der Testzeit. Nach Ablauf der Hälfte der Zeit markieren die Pbn auf Anweisung des Tl, wie weit sie gekommen sind; die Testwerte aus den beiden Bearbeitungsabschnitten werden dann korreliert. —> Geeignet bei Speedtests.
- Cronbachs alpha Reliabilitätskoeffizient Bei einer perfekten Reliabilität = 1 (in seltenen Fällen - auch negativ)Der Koeffizient a entspricht der Reliabilität, wenn die Items essentiell tau‐äquivalent sind. Gilt die Annahme essentieller tau‐Äquivalenz nicht, dann ist a eine untere Schranke der Reliabilität. —> chronisch unterschätzte Reliabilität (konservativ) Alpha kann auch aus z- standardisierten Daten resultieren - standardisiertes alpha: Alpha(s) steigt mit zunehmender mittlerer Interkorrelation r(strich) aller Items an. Alpha steigt an, wenn die Zahl der Items m größer wird. Längere Tests können also auch bei geringeren Iteminterkorrelationen beträchtliche interne Konsistenzen aufweisen —> Meist wird jedoch nur a berichtet (auf den Rohdaten basierend) —> wenn alle Items dichotom sind = KR20 Formel nach Kuder-Richardson Ein hohes a ist kein Beleg dafür, dass Eindimensionalität vorliegt
- Die Güte der Reliabilität eines Tests, hängt von bestimmten Einflussgrößen ab: der Länge des Tests der Art des zu erfassenden Merkmals; z.B. sind Leistungstests meist reliabler (.90 bis .95) als Persönlichkeitstests (z.T. nur .70). Dem Zweck; bei Einzelpersonen muss die Reliabilität höher sein, als wenn man z.B. einen korrelativen Zusammenhang zwischen zwei Testungen im Rahmen der Forschung untersucht. Annahmen über die Homogenität und Stabilität des Merkmals und der Art der Reliabilitätsbestimmung—> z.B. wird man bei der Erfassung eines states (Stimmung) eher eine hohe interne Konsistenz, aber keine hohe Retest‐Reliabilität erwarten und bei einem sehr heterogenen Merkmal evtl. ein umgekehrtes Muster. Homogenität der Population. Unter verschiedenen Stichproben werden verschiedene Grade der Homogenität herrschen (Hochbegabte, Gymnasiasten, gesamte Population)
Anzeige