Diagnostik (Fach) / Objektivität / Reliabilität (Lektion)
In dieser Lektion befinden sich 12 Karteikarten
02
Diese Lektion wurde von leonau erstellt.
- Objektivität → Objektivität steht für das Ausmaß, in dem die Ergebnisse eines Tests unabhängig von der Person des Untersuchungsleiters sind. Das Ergebnis einer diagnostischen Erhebung oder eines Tests soll möglichst unabhängig vom Testleiter, von den Testsituationsmerkmalen, von den Rahmenbedingungen, von den Auswertern und von den interpretierenden Personen sein. Drei Arten von Objektivität:- Durchführungsobjektivität - Auswertungsobjektivität - Interpretationsobjektivität Ziel: Spezifische Störquellen, die von Personen und Situationen ausgehen, minimieren Merkmale von Personen „objektiv“ messen
- Durchführungsobjektivität → bezeichnet den Grad, in dem mehr oder weniger zufällige Verhaltensvariationen des Testleiters und der Durchführungsbedingungen zu Variationen im Verhalten der Testpersonen führen. ➢ Angestrebt wird: Unabhängigkeit von den Personen, die ein Verfahren anweisen bzw. durchführen, aber auch Unabhängigkeit vom Ort der Erhebung ➢ Um maximale Invarianz des Testleiterverhaltens zu erreichen, wird eine maximale Standardisierung der Testsituation angestrebt.
- Herstellung von Durchführungsobjektivität - Wird hergestellt, indem Untersuchungsbedingungen beim Einsatz eines Inventars möglichst den im Manual beschriebenen Bedingungen bei der Normierung des Verfahrens entspricht. → Das Verfahren ist unter diesen beschriebenen Bedingungen erprobt (Normierung gilt dafür) - Mit diagnostischen Inventaren soll nicht die Unterschiedlichkeit des Instruktionsverständnisses gemessen werden, sondern die Bearbeitung des diagnostischen Verfahrens unter der Bedingung eines für alle Personen gleichen Instruktionsverständnisses. → Schriftliche Instruktionen, Anleitung zur Durchführung, Rückmeldung zur Instruktion einholen; ggf.kurze Übung
- Auswertungsobjektivität → ist gegeben, wenn dasselbe Verhalten eines Probanden zu demselben Testergebnis führt, insbesondere dann,wenn verschiedene Personen einen Test auswerten. - Man findet auch die Feststellung, dass Auswertungsobjektivität gegeben ist, wenn „das Verhalten als empirisches Relativ in Item- und Test-Scores als numerischem Relativ eindeutig quantifiziert wird“ (Fisseni,1990,S.4). -> Konstruierte Items und die Zuordnung zu Facetten -> Ordnen Auswerter eine Aussage dergleichen Kategorie zu? ! Bei Tests und Fragebogen mit eindeutiger Kodierung (z.B.Schablonen) ist die Auswertungsobjektivität meist perfekt. Syntaxbasierte Auswertungen, z. B. Skalenbildung
- Herstellung von Auswertungsobjektivität Allerdings wird in Weise (1994) darauf hingewiesen, dass ein maschinelles Lesen der Antwortbogen doch zu einer erheblichen Reduktion von Ablese- und Additionsfehlern führt. --> Eingabe von Fragebogendaten in ein Statistikprogramm!! Zur quantitativen Bestimmung der Auswertungsobjektivität müssen die Testprotokolle einer Stichprobe von mindestens zwei Personen unabhängig ausgewertet werden. Die Korrelationen zwischen den Auswertern sind ein Hinweis auf den Grad der Auswertungsobjektivität. Effekte individueller Maßstäbe bei der Auswertung kann man mit der Korrelation nicht beschreiben. Dazu kann man aber die Mittelwerte der Auswerter vergleichen (z. B. Varianzanalysen).
- Interpretationsobjektivität → bezeichnet den Grad, in dem die aus den Testergebnissen gezogenen Schlüsse unabhängig von der Person sind, die die Interpretation vornimmt. Wenn zwei Personen dasselbe Testergebnis eines Probanden interpretieren, sollten sie zu demselben Ergebnis kommen. -> Umwandlung von Rohwerten in Normwerte-> Klassifikations- / Ratingsystem bei Beobachtung und Interview-> Wie soll eine Aussage / ein Verhalten klassifiziert werden?-> Sprache und Verhalten sind Beobachtungsbegriffe (s.Konstruktdefinition)und dennoch nicht immer eindeutig interpretierbar Interpretationsobjektivität ist in der Regel gegeben, wenn der Test-Rohwert lediglich in einen Normwert umgelesen wird, aus dem dann hervorgeht, ob eine überdurchschnittliche, durchschnittliche oder unterdurchschnittliche Merkmalsausprägung vorliegt.
- Klinische vs statistische Urteilsbildung Klinische Urteilsbildung bedeutet, dass Informationen auf der Basis subjektiver,intuitiver,informaler Einschätzungen zu einem diagnostischen Urteil integriert werden. Statistische Urteilsbildung bedeutet demgegenüber, dass auf der Basis von Formeln und Algorithmen Informationen zumeist computerbasiert zu einem diagnostischen Urteil integriert werden (z.B. Sawyer, 1966; Meehl, 1954; Kleinmuntz, 1990). → mechanische Urteilsbildung wohl genauer!
- Klassische Testtheorie (KTT) Klassische Testtheorie (KTT) ist ein Rahmen, vor dem Reliabilität definiert und verstanden werden kann. KTT ist eine Menge von Annahmen, die erforderlich sind, um wahre Werte anhand der Mittelung gemessener Werte zu schätzen und um zugleich Angaben über die Genauigkeit dieser Schätzung (=Reliabilität) zu machen. KTT fokussiert auf den sogenannten „Messfehler“ und wird daher auch als Mess-Fehlertheorie bezeichnet. Die Reliabilität wird im Kontext der KTT über Korrelationen bestimmt. Verschiedentlich werden die Annahmen der KTT als „Axiome“ bezeichnet => nicht prüfbar?.
- Reliabilität Reliabilität ist der Grad, mit dem numerische Ergebnisse (z.B. Rohwerte) für eine Gruppe von Personen bei mehrfacher Anwendung des diagnostischen Verfahrens konsistent und wiederholbar sind. Die Reliabilität (auch Zuverlässigkeit) beschreibt die Messgenauigkeit eines diagnostischen Verfahrens bei einer Gruppe von Personen. Es geht dabei nur um die numerische Präzision der Messung, unabhängig davon, welches Konstrukt das diagnostische Verfahren misst (vgl.auch Beauducel & Leue,2014,S.69). ! Amelang und Zielinski (2002): ! Die inhaltlicheTreffsicherheit,Gültigkeit oderValidität bleibt dabei völlig außer acht, es geht nur um die Präzision der Messungen. EinTest ist perfekt reliabel,wenn mit seiner Hilfe die Lokalisierung der Probanden auf der Merkmalsdimension absolut fehlerfrei erfolgt. (Reliabilität ungleich Validität!!)
- Annahmen der KTT Annahme 1:Ein beobachteter (gemessener) Wert X setzt sich additiv zusammen aus dem wahren Wert T (wie „true“) und dem Fehlerwert E (wie „error“) Diese Annahme ist bezogen auf die Population! Annahme 2:Der Erwartungswert (=Mittelwert der Population) der Mess-(Fehler) E [(E)], der Mittelwert der Fehler [M(E)] und die Summe der Fehler [ (E)] sind gleich null:(E) = M(E) = (E) = 0 Der Mittelwert der Fehler über unendlich viele Messungen desselben Merkmals einer Person ist Null --> DAHER: Mittelwert der wahren Werte M(T) gleich dem Mittelwert der gemessenen Werte M(X). Voraussetzung für Anwendbarkeit der KTT: die wahren Werte T der verschiedenen Messungen sind dieselben --> "Parallele Messungen" Annahme 3: Fehlerwert und wahrer Wert korrelieren nicht systematisch miteinander Annahme 4: Fehlerwert (Ea) und wahrer Wert (Tb) zweier verschiedener Tests a und b korrelieren nicht systematisch miteinander: Fehler sollen keine systematische, psychologische Bedeutung haben Annahme 5: Fehlerwerte zweier unterschiedlicherTests korrelieren nicht systematisch miteinander
- Definition Reliabilität in Bezug auf KTT Definition der Reliabilität:Die Reliabilität (rtt) ist definiert als der Quotient aus der wahren Varianz und der beobachteten (Gesamt-)Varianz → Wir nutzen im folgenden die Formel für die Korrelation, um herzuleiten,dass die Reliabilität die Korrelation zwischen zwei parallelen Messungen ist, wenn die Annahmen der KTT gelten! Wenn wir zu zwei Zeitpunkten a und b dasselbe Merkmal bei denselben n Personen messen und es keine systematischen Verzerrungen bei der Messung gibt und wir wirklich zweimal dasselbe gemessen haben, spricht man auch vonzwei „parallelen Messungen“.
- Zusammenfassung - Objektivität aber auch Adaptivität an besondere Bedingungen gewährleisten vergleichbare Bedingungen der Untersuchungsdurchführung, -auswertung und -interpretation. - Entscheidungsfindung und Urteilsbildung erfordert die Integration verschiedener Datenarten und eine bewusste Entscheidung bzgl. klinischer vs. statistischer Datenintegration. - Die Annahmen der Klassischen Testtheorie zielen darauf ab, den wahren Wert messfehlerfrei zu erfassen. - Die Messfehler sollen unsystematisch variieren und keine psychologische Bedeutung haben.