Testaufbau und Analyse (Subject) / Testkorrektur (Lesson)

This lesson was created by Samcake.

Learn lesson

back  |  next 1 / 1

• Reliabilität aus praktischer Perspektive Definition: Grad der Genauigkeit, mit dem ein Test ein bestimmtes Persönlichkeitsmerkmal/Verhaltensmerkmal misst. Gleichgültig, ob er dieses Merkmal auch wirklich misst. Synonyme: Messzuverlässigkeit, Messgenauigkeit, Messpräzision Fazit: Je geringer die Reliabilität, desto stärker die Messfehler (Über- oder Unterschätzung)
• Reliabilität aus Sicht der KTT, Reliabilitätskoeffizient Definition: Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte. Unsere Werte haben Varianz und weichen somit vom Mittelwert ab. Frage: Wie viel von der Varianz ist auf echte Abweichung zurückzuführen und wie viel ist Messfehler?  Reliabilitätskoeffizient: - Kann Werte zwischen 0.0 und 1.0 annhemen (z.B. .79)  - gibt an, wieviel Prozent der Varianz der beobachteten Testwerte auf echte Merkmalsunterschiede zurückzuführen ist. 
• Standardmessfehler (SD des Messfehlers) Problem in der Praxis: -Reliabilität sagt nicht aus, wie gross der Messfehler im Einzelfall ist -Ausmass der konkreten Über- oder Unterschätzung bleibt unbekannt Lösungsansatz:  Anhand der Reliabilität lässt sich bestimmen, wie stark die beobachteten Werte um die wahren Werte streuen. Standardmessfehler: - Standardabweichung des Messfehlers - "repräsentative" Abweichung der Testwerte von den wahren Werten - Kennzeichnet die Messgenauigkeit in Skaleneinheiten des Testwerts  --> Wenn keine Reliabilität vorhanden ist, ist die gesamte Standardabweichung auf Messfehler zurückzuführen!
• Konfidenzintervall (Vertrauensintervall) - Anwendungsfall Prämissen: - Messfehler sind normalverteilt um den Mittelwert 0 - Beobachtete Werte sind folglich normalverteilt um den wahren Wert - S(E) (Standardmessfehler) ist die SD des Messfehlers Konsequenz:  - bei unendlich vielen Testwiederholungen befinden sich 68% der beobachteten Testwerte X im Bereich T +/- 1SD. Umkehrschluss: bei einer einzelnen Messung befindet sich der wahre Wert T mit einer Wahrscheinlichkeit von 68% im Bereich X +/- 1SD. 
• Konfidenzintervall Konfidenzintervall = Beriech, in dem der wahre Wert einer Person mit einer zuvor festgelegten Wahrscheinlichkeit P liegt.  Fragestellung: Zweiseitig: Abweichung von X nach oben und unten Einseitig: Abweichung von X nach oben oder unten.  Berechnung: Zweiseitig: K1 = X +/- z∝/2 * S(E) Einseitig nach oben: K1= X + z∝ * S(E) Einseitig nach unten: K1= X - z∝ * S(E) 
• Kritische Differenz - Anwendungsfall Problemstellung aus der Praxis:  - Unterscheiden sich zwei Personen hinsichtlich eines Testwerts? - Unterscheidet sich eine Person hinsichtlich zweier Testwerte?  Vergleich "per Augenmass" vernachlässigt Messfehler!  Kritische Differenz= gibt an, wie sehr sich zwei Werte mindestens unterscheiden müssen, damit der Unterschied nicht mehr alleine durch Messfehler erklärt werden kann.  --> Sind 2 Konfidenzintervalle die sich überlappen, oder eben nicht. 
• Minderungskorrektur - Anwendungsfall Problem: je grösser der Messfehleranteil an den beobachteten WErten, desto geringer fällt deren Korrelation aus.  Lösung: "Hochrechnung" der Korrelationen für den Fall, dass beide Messungen perfekt reliabel wären.  Beispiel: Ausgangslage: Evaluation eines Assessment Centers anhand späterer Leistungsbeurteilung durch vorgesetzte Personen Befunde: niedrige Korrelation zwischen AC und beruflicher Leistung (r=.19). Niedrige Reliabilität der Leistungsbeurteilung (r=.41) Fazit: schlechte Realiabilität des Kriteriums als Einflussfaktor! Es konnte somit keine Korrelation statt finden, da Messfehler mit nichts korrelieren! 
• Testlänge - Anwendungsfall Problemstellung in der Praxis:  - Ein Test ist sehr lang; wie sehr kann man ihn kürzen, ohne dass die Reliabilität zu sehr abfällt? - Ein Test ist nicht reliabel genug; um welchen Faktor muss man ihn verlängern, damit eine gewisse Reliabilität erreicht wird?  Lösung: Spearman-Brown-Formel! relalt;relneu: Reliabilität vor und nach Anpassung der Testlänge k: Verhältnis von neuer zu alter Testlänge (z.B. 2 für Verdoppelung) 
• Fazit Reliabilität zeigt, wieviel % der Varianz auf echte Merkmalsunterschiede zurückzuführen sind. Standardmessfehler ist repräsentative Abweichung der wahren Werten Konfidenzintervalle geben an, wo sich der wahre Wert der Messung ca. befindet Anhand der Reliabilität können Korrelationen korrigiert und Tests angemessen verlängert oder verkürzt werden. 

back  |  next 1 / 1