17
Testtheorie und Testkonstruktion (Fach) / Reliabilität (Lektion)
j
Diese Lektion wurde von lenniman99 erstellt.
Diese Lektion ist leider nicht zum lernen freigegeben.
Anzeige
- Reliabilität im Kontext der KTT Die Reliabilität eines Tests gibt den Grad der Genauigkeit an, mit dem ein Test ein bestimmtes Merkmal misst. Im Rahmen der klassischen Testtheorie steht hierbei die Varianz des Messfehlers im Vordergrund. Vereinfacht gesagt: Je größer die Varianz des Messfehlers desto, geringer die Reliabilität.
- Aus der Formel der Reliabilität folgt u.a., dass die Reliabilität - einen Wertebereich von 0 bis 1 besitzt, –das Bestimmtheitsmaß der Korrelation von Messwert und wahrem Wert ist – der Korrelation der Testergebnisse zweier paralleler Messungen (=Paralleltests) entspricht
- Arten der Reliabilitätsbestimmung – Retest - Reliabilität– Paralleltest – Reliabilität– [Testhalbierungs- (Split Half-) Reliabilität] – Innere Konsistenz
- Retest-Reliabilität Hierbei wird derselbe Test derselben Stichprobe zweimal vorgelegt. Vorausgesetzt es gibt weder – Veränderungen der Messfehlereinflüsse noch– „unsystematische“ Veränderungen des wahren Werts, entspricht die geschätzte Reliabilität der Korrelationen der Testergebnisse der beiden Durchgänge. Um unsystematische Veränderungen handelt es sich, wenn die zeitlichen Veränderungen nicht bei allen Personen gleichartig sind z.B. bei manchen Personen bleibt der wahre Wert gleich bei anderen steigt er. Bei Leistungstest ergeben sich Probleme z.B. aufgrund von Deckeneffekten.
- Paralleltest-Reliabilität Hierbei werden den Personen zwei Tests vorgelegt, die parallele Messungen darstellen. Die Korrelation der Ergebnisse schätzt die Reliabilität der beiden Tests.
- Testhalbierungs-Reliabilität (Split-Half Reliabilität) Hierbei wird ein aus mehreren Items bestehender Test in zwei möglichst parallele Untertests geteilt. Die Korrelation der Ergebnisse der beiden Untertests schätzt die Reliabilität des halb so langen Tests. Um auf die geschätzte Reliabilität des Gesamttests zu kommen, wird auf einen Spezialfall der Formel von Spearman-Brown* zurückgegriffen
- Innere Konsistenz Hierbei wird jedes Item eines aus mehreren Items bestehenden Tests als eigene Messung des interessierenden Merkmals betrachtet. Die innere Konsistenz kann dann vereinfacht als durchschnittliche Korrelation aller Items dieses Tests verstanden werden, hängt aber auch von der Anzahl an Items im Test ab.
- Die bekanntesten Kennwerte zur inneren Konsistenz sind Cronbach alpha Lambda2 nach Guttman
- Die innere Konsistenz stellen die Items zumindest essentiell - äquivalente Messungen dar, sind und 2 Schätzungen der Reliabilität des Gesamttests. Für den Fall, dass die Items keine äquivalenten Messungen darstellen, sind und 2 lediglich untere Schranken der Reliabilität.
- WICHTIG – bei der Berechnung von und 2 müssen die Items gleichartig „gepolt“ sein, d.h. hohe Werte müssen inhaltlich immer dieselbe Bedeutung haben (z.B. für eine hohe Ausprägung des Merkmals sprechen) – Weder noch 2 sind ein Maß für die „Eindimensionalität“ von Items m
- Anzeige
- Formel nach Spearman-Brown Für dann Fall paralleler Items, kann aus der Kenntnis der Reliabilität eines Tests, die Reliabilität des um parallele Items verlängerten bzw. verkürzten Tests mittels der Formel von Spearman-Brown berechnet werden. Formel nach Spearman - Brown rel ˆ rel Originaltest ˆ 1( 1)rel ˆ veränderter Test mit Anzahl der Items im veränderten Test Anzahl der Items im Originaltest Originaltest
- Anzustrebende Höhe der Reliabilität Allgemein: so hoch wie möglich. Es sind jedoch die nachfolgenden Punkte zu berücksichtigen – Art des zu erfassenden Merkmals– Individual- versus Kollektivdiagnostik – Einsatzbedingungen– Kosten-Nutzen Abwägungen– Objektivierbarkeit
- Art des zu erfassenden Merkmals: Leistungsvariablen sind meist präziser messbar als z.B. Einstellungen oder Persönlichkeitseigenschaften. Bei etablierten Intelligenztests sind Reliabilitäten der globalen Maße oft über 0.90, während Persönlichkeitsfragebogen Skalen oft nur Reliabilitäten um 0.7 aufweisen. Bei heterogenen Merkmalen kann die innere Konsistenz deutlich geringer sein als z.B. die Retest- oder Paralleltest Reliabilität
- Art des zu erfassenden Merkmals höhe der Reliabilität Leistungsvariablen sind meist präziser messbar als z.B. Einstellungen oder Persönlichkeitseigenschaften. Bei etablierten Intelligenztests sind Reliabilitäten der globalen Maße oft über 0.90, während Persönlichkeitsfragebogen Skalen oft nur Reliabilitäten um 0.7 aufweisen. Bei heterogenen Merkmalen kann die innere Konsistenz deutlich geringer sein als z.B. die Retest- oder Paralleltest Reliabilität
- Individual- versus Kollektivdiagnostik Höhe der Reliabilität Bei Individualdiagnostik sollte Messgenauigkeit höher sein als bei Messung der Durchschnittleistung eines Kollektivs, da sich die Messfehler bei der Zusammenfassung von Messungen mehrerer Individuen „reduzieren“.
- Reliabilität beeinflusst durch Einsatzbedingungen Bei Tests, die nicht adaptiv* vorgegeben werden können, hängt die Reliabilität relativ stark von der Testlänge ab. Daher weisen Tests und Fragebögen, die zum Screening eingesetzt werden und daher eher kurz sind, meist eine geringere Reliabilität auf.
- Reliabilität und Konfidenzintervalle für Da die Reliabilität als Maß für die Genauigkeit der Messung des wahren Werts einer Person verstanden werden kann, ist sie Basis für die Erstellung von Konfidenzintervallen für wahre Werte. Es gibt zwei Arten von Konfidenzintervallen – auf Basis der Messfehlervarianz – auf Basis der Schätzfehlervarianz