21
Testaufbau und Analyse (Fach) / Klassische Testtheorie (Lektion)
Im Fokus steht Messgenauigkeit und Messfehler. Wie viel ist Messfehler?
Diese Lektion wurde von Samcake erstellt.
Anzeige
- Gegenstand der KTT Wozu braucht es Testtheorien? Um den Zusammenhang von Testverhalten und Zielmerkmal herzustellen. -> wenn eine Person hier ankreuzt, dann kann man sagen, dass das zugrundeliegende Konstrukt (z.B. Intelligenz) einen Zusammenhang mit dem Item aufweist. Ziel der KTT: - Erklärung der systematischen Zusammenhänge zwischen Reaktion in verschiedenen Aufgaben oder Fragen eines Tests.
- Ausgangslage Aufgaben mit unterschiedlicher Schwierigkeit sind ein Indikator für interpersonelle Unterschiede in der Leistungsfähigkeit. Kontinuierlicher Variation von Leistungen in einem gewissen Bereich - auch unter optimalen Rahmenbedingungen. Unterschiedliche Auftretenshäufigkeit bestimmter Leistungen Notwendigkeit von Mehrfachmessungen (da einzelmessungen zu wenig präzise)
- Erklärung von systematischen Zusammenhängen Man beobachtete, dass es korrelationen zwischen manifesten Variablen (beobachtbaren Items) gibt. Das heisst, das ähnliche Items auch ähnlich beantwortet werden. Das Antwortverhalten wird durch eine latente Variable (psychologisches Konstrukt) produziert. Latent = verborgen, zugrunde liegend.
- Klassische Testtheorie - Anfang (Auch Messfehlertheorie genannt) - Die KTT war die erste Theorie, die zur Konstruktion psychologischer Tests herangezogen wurde. - Ist der meistverbreitete psychometrische Testtheorie (Grundlage für ca. 95% aller Tests) - basiert auf einigen wenigen Axiomen, aus denen sich zahlreiche Prinzipien und Berechnungen ableiten lassen. Im Fokus: Messgenauigkeit und Messfehler! -> wie viel ist Fehler? wie viel ist echt? z.B. bei Intelligenz: wir möchten die echte Intelligenz messen und so wenig wie möglich Schwankungen haben. Sie heisst auch Messfehlertheorie, da man nebst der Genauigkeit der Messung auch die grösse des Messfehlers berechnet.
- Kernannahmen der KTT Testergebnisse von Personen variieren zufallsabhängig Personen erzielen bei Leistung zu verschiedenen Zeitpunkten jeweils unterschiedliche WErte. Wahrscheinlichkeit, einen Wert zu beobachten, erbigt sich: - bei unenandlich Wiederholungen - unter denselben Bedinungen - intraindividuelle Verteilung der beobachteten Werte. --> Werte in der Mitte werden häufiger beobachtet als Extremwerte.
- Konzept der KTT das zentrale Konzept: Reliabilität (Zuverlässigkeit/Genauigkeit) Die Objektivität spielt nur eine untergeordnete Rolle. Da sich die Objektivität mehrheitlich auf Messfehler bezieht, ist diese Theorie indirekt eine Theorie der Reliabilität, die als Freiheit von Messfehlern definiert ist. Nebst der Reliabilität spielt auch die Validität eine wichtige Rolle. Die Validität misst der Anteil der Varianz des Konstruktes. Vorteil dieser Theorie: einfach gehalten, mathematisch anspruchslos. Hat sich schon oft bewährt.
- Definition: Axiom Ein Axiom wird immer postuliert. Er bildet den ersten Schritt einer Theorie. Er wird nur angenommen und kann nicht bewiesen werden. - Er ist nicht aus anderen Aussagen abgeleitet! - Müssen auch nicht begründet werden, sind von sich aus richtig. - Ist ein grundlegender Bestandteil eines formalisierten Systems, der die logische Ableitung weiterer Aussagen erlaubt. z.B. "Man kann nicht nicht kommunizieren" (Latzlawick) -> Kann nur angenommen werden.
- Verknüpfungsaxiom Das Verknüpfungsaxiom besagt, dass jeder beobachtete Wert X sich zusammensetzt aus einem wahren Wert T (true) und einem unkontrolliertien, unsystematischen Messfehler E (error) Messwert = wahrer Wert + Messfehler. X=T+E Der wahre Wert ist der Wert, der heauskommen SOLLTE. Wäre bei einem Beispiel z.B. bei 100. Bei jeder Messung gibt es Über- oder Unterschätzungen. Jede Messung verfehlt den wahren Wert!
- Messfehler Gesamtheit aller unsystematischen Einflussgrössen, die auf das Messergebnis einwirken können. Die Grösse und Richtung des Messfehlers ist im Einzelfall nicht korriegierbar (im Gegensatz zu systematischen Fehlereinflüssen, wie die Tendenz zur Mitte) Ursache: Fehler bei... - Konstruktion - Durchführung - Auswertung von Testverfahren
- Messfehlerquellen - Testkonstruktion Messfehler können unter anderen zustande kommen, aus: - Mehrdeutigen Items - Missverständliche Instruktionen
- Anzeige
- Messfehlerquellen - Durchführung Testsituation: Lichtverhältnisse, Geräusche, Luftqualität, Raumtemperatur, Sitzkomfort Testperson: Motivation, momentane geistige und emotionale Verfassung, Medikamenteneinfluss.. Testleitung: Aussehen, Geschlecht, Alter, Kleidung, Tonfall beim Vorlesen, usw.
- Messfehlerquellen - Auswertung - unzureichende Standardisierung - fehlerhafte Anwendung von Auswertungshilfen - handwerkliche Fehler: Auszählen von Punkten, Berechnen von Skalensummen, Umwandeln von Rohwerten in Normwerten.
- Verknüpfungsaxiom - Praktische Implikationen - JEDE psychologische Messung ist fehlerbehaftet - Wahre Ausprägung eines gemessenen Merkmals wird in der Regel über- oder unterschätzt - Genaue Ausmass der Über- oder Unterschätzung ist im Einzelfall unbekannt. - Beobachtete Werte dürfen nicht vorbehaltlos als präzise erachtet werden. Wir haben immer einen Messfehler. Jedesmal wenn wir eine Aussage treffen über eine Ausprägung eines Merkmals können wir sagen, dass wir es überschätzt/unterschätzt haben. Wir wissen nicht in welchem Grad! Jede X hat ein E mitdrin!
- Existenzaxiom Das Existenzaxiom sagt, dass ein wahrere Wert (T) existiert. Dieser wahre Wert ist der Erwartungswert (Mittelwert bei unendlich vielen Messwiederholungen) der gemessenen Leistung einer Person. Folglich ist der Erwartungswert des Messfehlers 0 bei unendlich vielen Wiederholungen. Er mittet sich mit der Zeit aus, da der Fehler unsystematisch ist.
- Existenzaxiom - Praktische Implikationen - Messfehler mittelt sich aus, da er unsystematisch ist. (Systematische Fehler mitteln sich nicht aus!) - Der Messfehler ist normalverteilt um den Wert 0! - Extreme Messfehler sind seltener als moderate. - Je mehr Messungen man vornimmt, desto präziser kann man den wahren Wert schätzen. Wahre Werte kann man nie messen. Wir können die Messungen nur so oft wiederholen, bis wir annehmen können, dass der Messfehler sich ausgemittelt hat.
- Unabhängigkeitsaxiom Das Unabhängigkeitsaxiom besagt, dass der wahre Wert und bei der Messung entstandene Messfehler 0 korrelieren. - Es gibt keinen Zusammenhang zwischen Messfehlern und wahren Werten
- Unabhängigkeitsaxiom - praktische Implikation Jede Messung ist von Messfehlern gleich behaftet. Also nicht hohe Werte haben hohe Messfehler, beide haben gleichviel. Bei Messwiederholungen bleibt nur der wahre Wert konstant!
- Zusatzannahmen der KTT - Messfehler zweier Messungen (verschiedene Items für 1 Person oder gleiche Items für verschiedene Personen) korrelieren 0. - Messfehler korreliert nicht mit dem wahren Wert --> Messfehler sind immer zufällig und korrelieren mit gar nichts!
- Zusatzannahmen - Praktische Implikation Eine Korrelation zweier beobachteten Testwerte kann ausschliesslich durch eine Korrelation der beiden wahren Werte zustande kommen. Das einzige was korrelieren kann ist der wahre Wert von Messung A und der wahre Wert von Messung B.
- Kritik an der KTT - ist eine reine Messfehlertheorie - Verknüpfungsaxiom ist nicht überprüfbar - Stichprobenabhängig Fragliche Annahmen: - Nullkorrelationen zwischen Fehlerwerten - Konstanz der wahren Werte -> Persönlichkeit kann sich verändern. - Normalverteilte Merkmale
- Fazit Die KTT geht davon aus, dass sich jeder beobachtete Wert additiv aus einem wahren WErt und einem Messfehler zusammensetzt. Der Messfehler ist die Gesamtheit aller unsystematischen Einflussgrössen, die auf das Messergbenis einwirken können. - Der Messfehler ist im Einzelfall unbekannt, wird aber bei unendlich vielen Messwiederholungen ausgemittelt. - Trotz ihrer Nützlichkeit bei Konstruktion und Anwendung von Tests, gibt es zahlreiche Kritikpunkte an der KTT.