Testaufbau und Analyse (Fach) / Reliabilität (Lektion)

Diese Lektion wurde von Samcake erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Definition Reliabilität Genauigkeit der Messergebnisse.  Ein Testverfahren ist perfekt reliabel, wenn die erhaltene Testwerte frei von zufälligen MEssfehlern sind. Das Testverfahren ist umso weniger reliabel, je grösser die Einflüsse von zufälligen Messfehlern sind. (Eine von 2 Definitionen) 
• Erinnerung: X=T+E Jeder Beobachtete Wert X setzt sich zusammen aus dem wahren Wert T und einem MEssfehler E. Reliabilität ist der Anteil der Varianz der wahren Werte an der Varianz der beobachteten Werte. 
• Exkurs: Kovarianz Die Kovarianz ist ähnlich wie die Korrelation. Man nimmt nicht jede Varianz einzeln, sondern man nimmt beides zusammen und dividiert durch n-1.  -> Beide Variablen werden berücksichtigt -> Ist eine geteilte Varianz. Die Varianz, die sich 2 Variablen teilen.  Erinnerung: Korrelation = systematischer Zusammenhang zwischen 2 Variablen. Ist ein standardisiertes Mass für einen linearen Zusammenhang. 
• Zerlegung der beobachteten Varianz Problem: Man darf nicht ienfach so aufteilen in Varianz von X und Varianz von T+E. Man muss 2x die Kovarianz von T+E dazu rechnen. Annahme aus der KTT -> Korrelation von T+E=0. Die Kovarianz ist somit weggestrichen!  Fazit: Die Kovarianz 2er beobachteten Werte entspricht der Kovarianz ihrer wahren Werte!
• Äquivalenz von Messungen. (Grundlage für die Schätzung der Reliabilität -> Kommt aus der Testtheorie) Die Klassische Testtheorie geht davon aus, dass der beobachtete Wert einer Messung aus dem tatsächlichen wahren Wert und einem Fehler besteht. Die Fehler mehrerer Messungen sind dabei voneinander unabhängig und unsystematisch. Reliabilitätsschätzungen gehen davon aus, dass die Qualität der Messungen immer gleich ist (bzw. unter vergleichbaren Bedingungen durchgeführt wurden).  Grundannahme der Reliabilitätsschätzung: - 2x der genau gleiche Test mit gleichen Bedingungen ergibt eine Korrelation - Messungen messen denselben wahren Wert!  Äquivalenzarten: - Parallele Messung: beobachteter Wert hat immer einen wahren Wert und Messfehler (X=T+E) - Tau-äquivalente Messung: mehrere Messungen ergibt den gleichen wahren Wert, jedoch                                                   Messfehler unterschiedlich - Tau-kongruerische Messung: Varianz von Messfehlern darf sich unterscheiden, wenn wahre                                                Werte linear überführbar sind Wenn wir sagen, wir machen eine Reliabilitätsbestimmung machen wir 2x exakt denselben Test unter den gleichen Bedingungen. Dann gilt: T1=T2! Wahre Werte bleiben stabil unter den gleichen Bedingungen, nur der Messfehler variiert. Die Kovarianz von T+T = Var(T) -> Kovarianz von T+T mit sich selbst gibt die Varianz. Somit ist die Varianz von T die Kovarianz von X1 und X2. 
• Empirische Reliabilitätsbestimmung Messwiederholungen: Korrelationen zwischen... ... einem Test, der 2x vorgegeben wird ...2 "parallelen" Tests, die nacheinander vorgegeben werden ...mind. 2 Teilen desselben Tests Grundgedanke:  - Grad der Übereinstimmung zweier Messung als Schätzung der Messgenauigkeit - Grad der Nicht-Übereinstimmung zweier Messungen als Schätzung des Messfehlers
• Test-Retest Prinzip: Wiederholte Darbietung ein- und desselben TEsts an ein- und derselben Stichprobe in zeitlichem Abstand. Berechnung: Korrelation der Rohwertpaare von Zeitpunkt t1 und Zeitpunkt t2 Voraussetzung: Unerveränderte wahre Werte und Fehlereinflüsse Anwendung: Retest-Methode kann überall angewendet werden, die von Lern- und Übungseinflüssen unabhängig sind. Bei Persönlichkeitstests kann man die Merkmale messen, die stabil sind (z.B. Intelligenz) oder sich systematisch verändern!  Beispiel für unsystematische Veränderungen: kognitives Training, Angst als Zustand.  Messintervall: gibt keine Regeln! ist abhängig von: Stabilität des Merkmals, Risiko von Übungseffekten. Wichtig: Messintervall muss immer im Test angegeben werden! Probleme:  - 2x Testung einer Person nicht immer möglich/sinnvoll - zeitaufwendig/teuer - Verzerrung durch Lern-/Übungs-/Erinnerungseffekte - Nur bei stabilen Merkmalen sinnvoll anwendbar! 
• Paralleltest Prinzip: Darbietung zweier Paralleltests an ein- und derselben Stichprobe Berechnung: Korrelation der Rohwertpaare von Test A und Test B Voraussetzung: identische wahre Werte & Fehlereinflüsse in beiden Testformen --> Beide Tests messen dasselbe, jedoch unterschiedliche Items. Wenn man dieselben Items verwenden würde, hätte man den Retest, mit anderen Items ist es ein Paralleltest.  Problem:  - Hoher Aufwand bei Konstruktion von "Item-Zwillingen" (v.a. Persönlichkeitstests) - Umständliche Prüfung der Parallelität   -> Prüfung nach Augenmass ist unzureichend   -> Vergleich von Mittelwert und SD (auf Testebene)    ->Zirkuläre "Bestätigung" der Parallelität über Korrelation zwischen den beiden Tests                   Paralleltestreliabilität!  Items-Zwillinge müssen immer denselben Mittelwert und SD haben, nur dann kann man davon ausgehen, dass es um den selben wahren Wert handelt! 
• Testhalbierung Prinzip: Darbietung eines Tests mit genügend Items, Aufteilung der Items auf 2 parallele Testhälften Berechnung: Korrelation der Rohwertpaare beider Hälften. Korrektur von Korrelation (Hochrechnung auf volle Länge) Voraussetzung: äquivalente Testhälften mit homogenen Items Retest & Paralleltests sind sehr aufwendig und müssen jedesmal neu validiert werden. Einfache Lösung ist deshalb die Testhalbierung!  Problem: - Je mehr Items, desto mehr möglichkeiten einen Test aufzuteilen. -> Erschwert rechnerische Bestimmung - Unterschätzung der Reliabilität ganzer Testparteien bei nicht perfekt parallelen Testhälften (z.B. wegen inhaltlicher Heterogenität der Items) 
• Testhalbierungsmethoden Odd-Even-Methode: bietet sich an, wenn Items schwieriger werden im Verlauf (z.B. IQ Tests) Ungerade vs. gerade (alle ungeraden Nummern und alle gerade Nummern auf einen Test) Zeitpartitionierungsmethode: 50% Bearbeitungsdauer. Funktioniert bei Speed-Tests. Methode der Itemzwillinge: Statistische ähnliche Item-Paare bei heterogenen Tests. Ist die Königsklasse der MEthoden. Man nimmt die Items, die denselben Mittelwert und SD haben.  --> Es gibt keine optimale Methode der Testhalbierung! 
• Anzeige
• Interne Konsistenz (Reliabilität unter den Items) Prinzip: Verallgemeinerung der Testhalbierungsmethoden auf beliebig viele Testteile. Betrachtung einzelner Items als seperate Testteile. Zusammenhangsstrukturen zwischen Items als Schätzung für Reliabilität. Voraussetzung: mindestens Tau-äquivalente Items (Items messen immer denselben wahren Wert!) Die Reliabilität unter den Items wird oft als Cronbachs Alpha angegeben. Ist eine Weiterführung der Testhalbierung.  Grundgedanke: Jede Kovarianz zwischen beliebigen Testteilen (Items) als wahre Varianz.  Vorteile: - keine multiplen Testdurchführungen - keine unterschiedlichen Testformen - minimaler Berechnungsaufwand - Standards für Bewertung verfügbar Mit dem Cronbachsalpha kann man sagen, wie die durchschnittliche Korrelation untereinander der Items ist. Das sagt uns dann, wie viel wahre Varianz die 2 Items sich teilen. Wenn etwas kovariiert, dann ist es auf eine wahre Varianz zurückzuführen!
• Interne Konsistenz - Itemheterogenität - Korrekte Reliabilitätsschätzung nur bei tau-äquivalenten Items (wenn alle Items denselben wahren Wert messen und das gleiche Merkmal messen)  - Deutliche Unterschätzung bei heterogenen Items (KEINE ÜBERSCHÄTZUNG! Mit Cronbachsalpha kann man nur unterschätzen, nicht überschätzen)  Psychologische Grundlagenforschung braucht man:  - eng abgegrenzte Merkmale (z.B. Verträglichkeit) - homogene, deutlich interkorrelierte Items. Angewandte Psychologie braucht man: - breitere Merkmale (z.B. Arbeitszufriedenheit)  - heterogene, gering interkorrelierte Items
• Interne Konsistenz - Interpretation Interne Konsistenz & Cronbachs Alpha ist dasselbe. Es ist KEIN Mass für Eindimensionalität (ein hohes Cronbachs Alpha heisst nicht, dass nur 1 Konstrukt gemessen wird. Es können auch Subkonstrukte enthalten sein, die miteinander korrelieren, jedoch verschiedene Facetten messen)  Das Cronbachs Alpha steigt mit der Item-Anzahl. Ein hohes Cronbachsalpha ist ein Indiz für überflüssige (redundante) Items.Seknung der Konsistenz durch umgepolte (inverse) formulierte Items (Methodenvarianz) Wichtig: Man möchte deshalb KEIN hohes Cronbachsalpha, wegen Annahme vieler redundanter Items. 

zurück  |  weiter 1 / 1