Operationalisierung
• Ableitung eines Messverfahrens ausKonstruktbeschreibung und einigen Hilfsannahmen• Übersetzung einer latenten Variable in ein spezifischesMessverfahren
Messfehler
Messfehler sind zufällige und unsystematische Einflüsse, diesich auf das Verhalten auswirken, aber mit deminteressierenden Merkmal unkorreliert sind.
Ursache von Messfehlern
Falsch verstandene Instruktion Verwechslung des Antwortkästchens bei der Angabe der Lösung Fehler bei der Dateneingabe Verrutschte Elektrode bei psychophysiologischer Messung
Wahrer Wert
der wahre Wert wird als Erwartungswert einerintraindividuellen, d.h. personenspezifischen Verteilung einesMerkmals definiert – die (unsystematischen) Schwankungen mitteln sich aus.
Reliabilität KKT
Die Reliabilität wird als Anteil der wahren Varianz an derGesamtvarianz definiert:
Vorteile KKT
– Intuitiv und einfach anwendbar– Tests, die nach der KTT konstruiert sind, haben sich in der Praxis bewährt
Nachteile KKT
keine Aussage über das Zustandekommen von Messwerten reine Messfehlertheorie, die zur Ermittlung der Fehler, Varianzen und Kovarianzen heranzieht; primär ist die Quantifizierung des Messfehlers um Reliabilitätsschätzungen vornehmen zu können nur zufällige Messfehler werden berücksichtigt, wobei systematische Messfehler in der Praxis häufig vorkommen Annahmen können falsch sein für kategoriale geordnete Antwortkategorien ist die KTT nicht geeignet Paramenter sind populations- und SP-abhängig
Schätzung der Reliabilität
• um die Varianz der wahren Werte zu bestimmen, setzenwir z. B. denselben Test t unter identischen Bedingungen(t‘) und denselben Personen ein• es wird die Kovarianz der beiden Tests bestimmt Kovarianz von additiv zusammengesetzten Variablen:
Methoden der Reliablitätschätzung
Retest-Reliabilität Paralleltest-Reliabilität Split-Half-Reliabilität Interne Konsistenz
Retest-Reliabilität
Ein und derselbe Test wird ein und derselben SP zwei Mal dargeboten Dilemma: Erinnerungs- und Übungseffekte auf der einen Seite, andererseits sollen sich die wahren Werte nicht ändern über die Zeit! Wichtig: wenn alle Personen gleich betroffen sind bei der Merkmalsänderung verringert sich die Reliabilität nicht!
Paralleltest
Wiederholungsuntersuchung mit Paralleltest an derselben Stichprobe (zeitlichversetzt oder nicht) Reliabilität = Korrelation der Paralleltests Zu Bedenken: indirekte Erinnerung & Problemeinsicht; Vertrautheit sowieAuswirkungen wechselnder situativer Faktoren
Split-Half-Reliabilität
Test wird nach der Durchführung in zwei möglichst äquivalente Hälften aufgeteilt. mehrere Techniken kommen in Betracht: Aufteilung nach gerader und ungerader Nummer des Items Aufteilung in eine und andere Testhälfte Halbierung aufgrund von Itemkennwerten Korrelation wird unterschätzt: Spearman-Brown-Formel zur Korrektur der Korrelation!
Cronbachs' Alpha
In der Formel wird die Summe der Varianzen der Items mit der Varianz des Testswert in Beziehung gesetzt. --> je größer die Zusammenhänge zwischen den Items werden, desto größer wird der Nenner der der Formel im Vergleich zum Zähler und Alpha geht gen 1
Höhe von Alpha hängt ab von
Itemanzahl Varianz der Items Varianz der Testwerte Kovarianz der Items
Define KKT
Menge von Annahmen, die notwenidig sind, um die Reliabilität über die Korrelationen mehrfacher Messungen ein und desselben Merkmals bei einer Gruppe von Personen zu schätzen.
Interne Konsistenz
Verallgemeinertes Halbierungsverfahren entspricht durchschnittlicher Korrelation aller möglichen Testteile Fehler der Halbierungsmethoden bedeutungslos, numerische Bestimmung mitansteigender Itemzahl immer aufwendiger daher Schätzformeln: Cronbach’s Alpha
Spearman Brown prophecy Formel
Reliabilität eines Tests abhängig von Anzahl der Items• falls Aufgaben eines um Faktor k verlängerten Tests keineUnterschiede zu Items des Basistests aufweisen, nimmt Varianzder wahren Testwerte stärker zu als die Varianz der Fehler• Testverlängerung durch Hinzunahme paralleler Testteile führt zurErhöhung der Reliabilität• „prophecy“ Formel von Spearman und Brown, sagt dieReliabilität eines um den Faktor k verlängerten Tests vorher
Standartmessfehler
Der Standartmessfehler gibt an, wie stark die Messfehler um die wahren Werte der Personen streuen. aus den Axiomen der KKT abgeleitet. sE = sx x Wurzel aus 1-Rel
Konfidenzintervall
Das Konfidenzintervall gibt den Bereich an, in dem der wahre Testwert einer Person bei einer zuvor festgelegten Sicherheits- bzw. Irrtumswahrscheinlichkeit liegt.
Gängige Sicherheitswahrscheinlichkeiten der Konfidenzintervalle
und deren z-Werte
99% zweiseitig: 2,58 einseitig: 2,33 95% 1,96 und 1,64 90% 1,64 und 1,28
Kritische Differenz
wie groß muss eine Differenz sein, um nicht mehr alleine mit Messfehlern erklärt werden zu können? Formel um diese Differnz zu erechnen!
Doppelte Minderungskorrektur
Die doppelte Minderungskorrektur liefert eine Schätzung für die Korrelation der wahren Werte zwischen zweier Variablen, wenn deren Reliabilitätskoeffizient bekannt sind. Damit wird gleichsam die "Minderung" korrigiert, welcher Korrelationskoeffizient unterliegen, wenn die miteinander korrelierten Messwerte fehlerbehaftet sind.
Einfache Minderungskorrektur
Die einfache Minderungskorrektur liefert eine Schätzung für die Korrelation eines Tests mit einem Kriterium unter der Annahme, dass das Kriterium messfehlerfrei erfasst wird. Damit wird gleichsam die "Minderung" korregiert, die durch die fehlerbehaftete Messung der Kriteriums ensteht.
Standartschätzfehler
Streuung der wahren Kriteriumswerte um die vorhergesagten Kriteriumswerte kleiner je geringer die Streuung der Kriteriumswerte kleiner je größer Korr Kriterium und Prädiktor ausfällt
Konfidenzintervall für den Standartschätzfehler
Gibt an, in welchem Bereich die wahren Kriteriumswerte der Person mit einer bestimmten Sicherheit um den geschätzen Kriteriumswert Y liegen.
wahre Wert nach KKT
der wahre Wert wird als Erwartungswert einerintraindividuellen, d.h. personenspezifischen Verteilung einesMerkmals definiert
Ursachen von Messfehlern können z. B. sein
Falsch verstandene Instruktion Verwechslung des Antwortkästchens bei der Angabe derLösung Fehler bei der Dateneingabe Verrutschte Elektrode bei psychophysiologischer Messung
Retest
wiederholte Untersuchung desselben Tests an selbigerStichprobe zu verschiedenen Zeiten/Bedingungen
Retest zu Bedenken
intraindividuell unterschiedliche Testergebnisse nicht zwingend auf Messfehler zurückzuführen Wiederholungseinflüsse differentiell wirksam
Cronbachs Alpha Define
der Koeffizient stellt den Mittelwert derReliabilitätsschätzungen aller möglichen Split‐Half‐Koeffizienten der Itemstichprobe eines Tests dar α ist eine Schätzung der Korrelation zwischen zweiZufallsstichproben von Items aus der Itempopulation desTests
Validität – Definition
Validität beschreibt das Ausmaß, in dem eine Messung gemäßwissenschaftlicher Standards inhaltlich das (Konstrukt)abbildet, was diejenigen vermuten, die die Messunginterpretieren und verwenden.“
Prognostische Validität
Prädiktor wurde in einemrelevanten zeitlichen Abstand zum Kriterium erfasst
Konkurrente Validität
Prädiktor und Kriterium werdenzeitgleich erfasst
Kriteriumsvalidität
Die Kriteriumsvalidierung ist die Bestimmung der Validitäteines Verfahrens mit Hilfe der Korrelation mit einerZielvariable (= Kriterium).“ Beauducel & Leue, 2014; S. 119• i.d.R. mit Regressionsanalysen geprüft• lediglich eine statistische Vorhersage, zeitliche Sukzessionkann, aber musst nicht gegeben sein
Inhaltsvalidität Define
… ist gegeben, wenn „eine Menge von Items (z.B. Fragenoder Testaufgaben) eine repräsentative Stichprobe auseinem den Anwender interessierenden Itemuniversumdarstellt.“ (Beauducel & Leue, 2014; S. 109) Regelfälle in der Psychologie: Itemuniversum ist schweroder nicht sinnvoll abzugrenzen
Inhaltsvalidität – Problem
1. wenn Itemuniversium nicht definierbar Fokus aufKonstrukt‐ und Kriteriumsvalidität2. KTT – Unterschiede zwischen Items entstehen nur durchMessfehler inhaltsbezogene Unterschiede zwischenItems (wie durch Inhaltsvalidität gefordert) sind nichtzulässig nach der KTT
Kriteriumsvalidität Define
„Die Kriteriumsvalidierung ist die Bestimmung der Validitäteines Verfahrens mit Hilfe der Korrelation mit einerZielvariable (= Kriterium).“
Konstruktvalidität
• thematisiert, inwiefern theoretische Überlegungenschlüssig sind und empirisch unterstützt werden• liefert Bezugsrahmen für Definition des in Frage stehendenMerkmals und dessen Erfassung• Konvergente vs. diskriminante Validität• Methode: Multi‐Trait‐Multi‐Method Matrix
