Diagnostik (Fach) / KTT und Reliabilitätsarten (Lektion)

03

Diese Lektion wurde von leonau erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• KTT und Reliabilität --> Kovarianz Kovarianz der gemessenen Werte Xa und Xb, entspricht der Kovarianz der wahren Werte Ta und Tb cov(Xa,Xb) = cov(Ta,Tb) In beiden Messungen a und b wird eigentlich derselbe wahre Wert gemessen, also: cov(Ta, Tb) = cov(T, T) = 􏰆( T T)/n = 􏰆( T^2)/n  !! Die Kovarianz der wahren Werte beider Messungen = Varianz der wahren Werte in beiden Messungen. !!
• Inhaltliche Erklärung der Kovarianz Inhaltlich kann man sich Kovarianz der wahren Werte = Variamz der wahren Werte so erklären: Da ja die Fehler nichts Systematisches darstellen, sondern eben nur „Zufalls- Rauschen“, können sie nach der KTT nicht miteinander und mit keinem wahren Wert korrelieren. → Somit kann das, was die Kovarianz oder Korrelation zwischen zwei Tests hervorruft, nur noch die „wahre“ Varianz beider Tests sein. Daher: Je höher die Kovarianz zweier Tests, desto höher ist der Anteil wahrer Varianz in beidenTests. cov(Xa,Xb) ergibt also die wahre Varianz, d.h. den Zähler in der Reliabilitäts- Definition
• KTT und Reliabilität 2 Wenn man zweimal dasselbe Merkmal unter denselben Bedingungen misst (parallele Messungen a und b), dann wird die Standardabweichung bei Messung a und b gleich sein: sa = sb → Korrelation = standardisierte Kovarianz d.h. wenn man eine Kovarianz durch die Standardabweichungen derbeiden kovariiertenVariablen dividiert, erhält man die Korrelation Quadrierte Standardabweichungen sind Varianzen. Daher ist sa2 die gemessene Gesamtvarianz (man könnte auch sb2 schreiben)
• Wie erhält man die Reliabilität nach der Klassischen Test Theorie? Man muss nur die Messwerte zweier paralleler Messungen korrelieren und man hat die Reliabilität.  Da die Korrelation zwischen zwei parallelen Messungen desselben Merkmals der Reliabilitätsdefinition entspricht , wenn die Annahmen der KTT gelten!
• Parallele Messungen nach der KTT Damit zwei Messungen im Sinne der KTT „parallel“ sind, müssen sie nicht nur denselben wahren Wert T messen, sondern nach Lord und Novick (1968, S. 58) noch folgende Bedingungen erfüllen: Der Erwartungswert (Mittelwert in der Population) der beiden Messungenmuss gleich sein Die Varianzen der beiden Messungen müssen in der Population ebenfallsgleich groß sein Parallele Messungen müssen in der Population mit einer Drittvariablen Z(z.B. einem Kriterium) gleich hoch korrelieren
• Inhaltliche Bedeutung der Reliabilität Die Korrelation zweier Messwertreihen ist genau dann ein Reliabilitätsmaß, wenn man sicherstellen kann, dass man 2 xbei allen Probanden genau dasselbe Merkmal gemessen hat (vgl. KTT). Man unterstellt also, dass die inhaltliche Gemeinsamkeit beider Messungen perfekt ist. Abweichungen von der perfekten Korrelation sollen also nur durch die Messgenauigkeit und nicht durch inhaltliche Unterschiede zwischen den Messungen erklärt werden können. verschiedene Arten parallele Messungen herzustellen → verschiedene Reliabilitätsarten Testwiederholungs-Reliabilität oder Retest-Reliabilität oder auch Test-Retest- Reliabilität → Derselbe Test wird derselben Stichprobe von Probanden wiederholt (meist 2 x) dargeboten. → Die Korrelation zwischen der ersten und der zweiten Messung ergibt die Retest-Reliabilität.
• Retest- Reliabilität Mittelwertsveränderungen sind für die Ermittlung der Retest- Reliabilität völlig irrelevant, da es sich ja um eine Korrelation handelt. Aber die relative Reihung der Probanden muss zu beiden Zeitpunkten gleich bleiben. Man muss also die Stabilität der Merkmalsunterschiede zwischen den Probanden voraussetzen, um die Retest- Reliabilität sinnvoll ermitteln zu können. Die obige Voraussetzung ist notwendig, damit die beiden Messungen als „parallel“ gelten können. Man spricht daher manchmal auch von „Teststabilität“
• Paralleltest- Reliabilität Paralleltestreliabilität → zweimalige Messung mit derselben Fragenart Die Veränderungen, die durch die zweimalige Messung mit derselben Fragenart entstehen, versucht man dadurch zu verringern, dass man bei einem Teil der Probanden die Testfolge A-B und bei der anderen Teilgruppe die Testfolge B-A wählt. Konstruktion paralleler Tests: ZweiTests gelten als parallel, wenn die mit ihnen an derselben Stichprobe ermittelten Mittelwerte und Standardabweichungen identisch sind. Die Korrelation der beiden Tests soll nur durch den Messfehler gemindert werden, nicht aber dadurch, dass der eine Test die Merkmale etwas anders erfasst als der andere.
• Split - half - Reliabilität → Testhalbierungs-Reliabilität Anwendung z.B. dann, wenn kein Parallel Test möglich ist Dann versucht man oft, den Test in zwei parallele oder äquivalente Testhälften zu teilen und die beiden Hälften zu korrelieren. → Korrelation dann Maß für Reliabilität Jedoch: einfache Korrelation unterschätzt die Reliabilität des Gesamttests, da beide Hälften nur halb so lang sind, wie der gesamte Test. Lösung: Spearman-Brown „Prophecy“ Formel (diese drückt den Sachverhalt aus, dass man umso genauer misst, je öfter man dasselbe misst und die Messungen mittelt.)
• Split-Half-Reliabilität 2 Spearman-Brown „Prophecy“ Formel → Annahme: Fehler mitteln sich bei mehrfacher Messung heraus! Methode zur Bildung von Test-Hälften: Odd-Even-Methode (Trennung nach graden und ungraden Item-Nummern) Grundsätzlich: Versuch im Nachhinein zwei parallele Testhälften zu konstruieren!! Wichtig: Bei Speed-Tests führt Split-Half-Reliabilität zu Überschätzung der Reliabilität Split-Half-Reliabilität kann man als einen Spezialfall der internen Konsistenz auffassen → Grund: Split-Half-Reliabilität setzt voraussetzt, dass beide Testhälften dasselbe homogene Merkmal erfassen.
• Cronbach's Alpha → Interne Konsistenz Test auch statt Halbierung in so viele Teile teilbar, wie es Items gibt und somit aus deren Korrelation die Reliabilität schätzen. Cronbach's Alpha (α) = bekanntester Koeffizient der internen Konsistenz α = Anzahl der Items * Mittlere Interkorrelation der Items / 1 + (Anzahl der Items - 1) * mittlere Interkorrelation der Items FORSCHUNG LEUE:  → Reliabilität variiert in Abhängigkeit von Stichprobenmerkmalen → Reliabilitätsgeneralisierung ist eine Meta-Analyse über Reliabilitätskennwerte
• Zusammenfassung - DieAnnahmen der KTT (insbesondere 2-5) können genutzt werden,um zu zeigen, dass die Reliabilität die Korrelation zwischen parallelen Messungen ist. 􏰁- Arten der Reliabilität: Paralleltest-Reliabilität (2 parallele Testversionen), Retest-Reliabilität (1Test zu zwei Zeitpunkten),Split-half-Reliabilität (1Test halbiert und Korrektur der Testhalbierung mit Spearman-Brown Formel), Cronbach‘s Alpha. 􏰁 - Split-half-Reliabilität nicht bei Speed- Tests anwenden. 􏰁- Spearman-Brown-Prophecy Formel kann genutzt werden, um Testverlängerungen undTestverkürzungen zu planen,aber auch um die Anzahl von Stimuli in Experimenten zu planen (Reliabilität von EEG- Parametern). 􏰁- Reliabilitätsgeneralisierung (RG) ist eine Meta- Analyse über Reliabilitätskoeffizienten, die zeigt,dass Reliabilitätskoeffizienten in Abhängigkeit von Stichprobenmerkmalen variieren (z.B. PANAS).

zurück  |  weiter 1 / 1