Testaufbau und Analyse (Subject) / Validität (Lesson)

This lesson was created by Samcake.

Learn lesson

back  |  next 1 / 1

• Definition Validität Die Validität gibt an, ob der Test wirklich gültig ist. Die Reliabilität sagt noch nichts darüber, ob wir das richtige messen! Ein Test ist dann valide, wenn er das misst, was er messen soll. Ein Test ist immer ein künsliches Artefakt, der ohne Beleg für die Behaupung wertlos ist. (Deshalb validität) 
• Validierungsprozess 1. Merkmalsdefinition (operationale und theoretische) 2. Inhaltsvalidität, Konstruktvalidität, Kriteriumsvalidität 3. Gültigkeit der Interpretation von Testergebnissen 1. Operationale Merkmalsdefinitionen: Definition des Zielmerkmals über Testinhalte (Was soll der Test messen?) Eine operationale Merkmalsdefinition liegt dann vor, wenn die Test-Items das Konstrukt direkt repräsentieren. Braucht man z.B. bei Leistungstests in Mathe und besteht aus verschiedenen Bruchrechnungsaufgaben (Konstrukt: Fähigkeit zum Rechnen)  -> Bezieht sich nur auf die spezifischen Testinhalte und Items -> Theoretische Konstrukte sind nicht nötig!  Gefahr: Zirkelschlüsse 1. Theoretische Merkmalsdefinitionen:Das zu messende Konstrukt wird aufgrund von einer Theorie definiert. Durch die Theorie wird spezifiziert, worauf Unterschiede zwischen Personen zurückzuführen sind. Ergebnisse werden als Ausprägung interpretiertBsp. Persönlichkeitstheorie von Eysenck: - Annahme: Neuronale Unterschiede bei hoch/niedriger Extraversion- Ableitung von Konsequenz für alltägliches Erleben/Verhalten- Konstruktion entsprechender Items- Interpretation der Testergebnisse als Ausprägung
• 2. Inhaltsvalidität. Zielsetzung, Nachweis, Problem, Leitfragen = Ist das Zielmerkmal von anderen gut abgegrenzt? Und sind genügend repräsentative Items einbezogen worden?  Beispiel:Schulleistungstest: Aufgaben, die anhand repräsentativer Unterrichtseinheiten aus dem Lernplan konstruiert wurden Depressionsfragebogen: Items, die anhand von der neuen Diagnosekriterien des DSM-5 formuliert wurden.  Zielsetzung: Es gibt viele Items, die ein Konstrukt messen. Da wir aber nicht alle abfragen können, ist es wichtig, die besten zu wählen, die das Konstrukt repräsentieren. (Repräsentative Teilmenge aus Item-Universum)--> Verallgemeinerung der Testergebnisse auf eine hypothetische Menge ähnlicher Items/Aufgaben.  Nachweis: Validität kann man nicht berechnen. Man definiert das Konstrukt und die Gemeinsamkeit aller möglichen Items. Dann Beurteilung der Repräsentativität der Testinhalte durch Experten aufgrund fachlicher Überlegungen. Problem: - "nur" theoretisch-argumentativ begründetes Gütekriterium- häufige Vernachlässigung von Testinhalten zugunsten statistisch überprüfbarer                        Validitätsformen- Risiko für schwerwiegende Fehler in der Konzipierung (Ist später nicht mehr korrigierbar!) Leitfragen:"Ist dieses Item Teil der interessiernden Gesamtheit möglicher Items?""Stellen die Items eine repräsentative Auswahl der interessierenden Gesamtheit dar?""Sind alle relevanten Inhalte vorhanden?""Stehen sie in einem angemessenen Verhältnis zueinander?""Sind keine irrelevanten Inhalte vorhanden?"
• Exkurs: Augenscheinvalidität = Ausmass, in dem ein Test von Laien als angemessenes und plausibles Messinstrument für das Zielmerkmal erachtet wird. Problem: - Kein Zusammenhang mit tatsächlicher Validität - Gefahr der absichtlichen Verzerrung
• 2. Konstruktvalidität, Definition, Konstrukte (latente Variablen) = Misst der Test das, was er messen soll? und misst er auch nichts, was er nicht messen soll? Konstrukte/Latente Variablen: - Gedankliche Hilfskonstruktionen zur Beschreibung nicht direkt beobachtbarer Phänomene - Hypothetische Eigenschaften/Dimensionen Bsp.: Intelligenz, PErsönlichkeit, Selbstwirksamkeit, Depressivität --> Konstruktvalidität ist das anspruchsvollste Validitätskonzept!  Nomologisches Netzwerk: 2 Ebene: Theorie und Beobachtung. (Axiome und empirische Gesetze)Auf der theoretischen Ebene gehen wir davon aus, dass akademische Leistung positiv mit Leistungsmotivation zusammenhängt. Jedoch Leistungsmotivation negativ mit Neurotizismus. Auf der Beobachtungsebene sollte der Gesamtwert der LMI negativ mit dem NEO-FFI korrelieren usw. (Als Beispiel) --> Wenn man auf der empirischen Ebene keine Zusammenhänge findet, dann scheint etwas mit dem Instrument nicht zu stimmen. 
• 2. Konstruktvalidität, Nachweis, Korrelative Bestimmung Ziele: allgemein -> schrittweise Überprüfung des nomologischen Netzwerkes         konkret -> Prüfung, ob ein beobachteter Wert ein gültiger Indikator ist für die                                              Ausprägung eines latenten Konstrukts.  Vorgehen:  - Prüfung der vorhergesagten empirischen Zusammenhänge zwischen beobachtbaren Variablen (empirische Gesetze) - Abgleich der empirischen Zusammenhangsmuster mit den theoretischen interdependenzen zwischen den Konstrukten (Axiome) - Vorläufige Bestätigung oder Ablehnung der konstruktbezogenen Testwertinterpretation Korrelative Bestimmung: Während die Inhaltsvalidität die Lücke zwischen einem gedanklichen Konstrukt und dessen Messung aus Indikatoren bestehende Skala schliesst, werden Konvergenz- und Divergenzvalidität über objektive, statistische messbare Kennzahlen vermittelt. Sie geben die Konstruktvalidität an = theoriebegleitete Bestimmung empirischer Zusammenhangsmusters (Korrelationen) Konvergente Konstruktvalidität: - Wird das Zielkonstrukt ÜBERHAUPT gemessen?- Konvergiert der Test mit anderen Testverfahren? - Korreliert unser Test mit anderen etablierten IQ-Tests? (Konstruktverwandt) Divergente Konstruktvalidität: - Wird NUR das Zielkonstrukt gemessen? und nicht noch andere Dinge?- Keine (substanziell) Korrelationen mit den Testwerten aus konstruktfremden Tests? Konvergent = Besitzt einen GrenzwertDivergent = Besitzt keinen Grenzwert
• Exkurs: Multitrait-Multimethod-Matrix Mit dieser Matrix misst man verschiedene Tests und verschiedene Konstrukte. Man schaut sich die Korrelationen der jeweiligen Konstrukte mit den Tests an. Daraus lässt sich erschliessen, wo die Traits usw. konvergent oder divergent sind.  Methodenfaktor= erwartete Zusammenhänge mit der gleichen Methode. Geringste Korrelationen sind dort, wenn man gegensätzliche Traits mit verschiedenen Tests misst. Vorteilhaft um zu schauen, was miteinander korreliert.  Bei der Konstruktvalidität müssen höhere Korrelationen vorhanden sein. Z.B. wenn man sagt, dass 2 Variablen sich nur 10% der wahren Varianz teilen, ist das zu wenig. Bei quadrierter Korrelationen und dies zu hoch/zu niedrig ist, ist das ein Zeichen, das etwas nicht stimmt.
• 2. Konstruktvalidität, faktorielle Validität, Faktorenanalyse Fokus: Dimensionalität von Test-Items Faktorenanalyse:  Explorativ: Erkundung einer unbekannten DimensionsstrukturKonfirmatorisch: Statistische Überprüfung einer vorab festgelegten Dimensionsstruktur.  -> Notwendige Voraussetzung für Konstruktvalidität. Wenn man mit den vielen Items eine Faktorenanalyse macht, sollten schlussendlich nur wieder die Big 5 stehen bleiben, nachdem man die Items zu Skalen eingeteilt hat.  Man kann mittels Faktorenanalyse gut kontrollieren, ob sich die Items so verhalten, sie sie sollen. Ist ein Subthema der Konstruktvalidität
• 2. Kriteriumsvalidität Ist die wichtigste Validität. Erlaubt Rückschluss von Ergebnis auf ein relevantes Kriterium Beleg durch empirische Zusammenhänge zwischen Testwert und für den Einsatzbereich relevanten Aussenkriterien. Kriterien = konkrete, direkte messbare Leistungen oder Verhaltensweisen.  Wahl der Kriterien: = Auswahl und Festlegung adäquater Kriterien als zentrale Herausforderung der Kriteriumsvalidierung. Zu berücksichtigende Aspekte:  - Anwendungsfeld/Verwendungszweck des Tests- Diagnostische Relevanz- Theoretische Angemessenheit- Messgenauigkeit der Kriterien -> Kriterien sollten sinnvoll sein & reliabel erfassbar sein. Kleine Reliabilität=Kleine Korrelation
• 2. Kriteriumsvalidität, Varianten, Gründe für Mangel Varianten:Konkurrent: Prädiktor & Kriterium werden zeitgleich erhoben Konkurrent = gleichlaufendprognostisch/prädiktiv: Kriterium wird nach Prädiktor erhoben (Wird nach dem Ergebnis erhoben) Gründe für mangelnde Kriteriumsvalidität: Varianzeinschränkung: Geringe Streuung im Prädiktor (z.B. durch Vorlesung der Stichprobe)Bsp.: Geringe Zusammenhänge zwischen Maturanote und Abschlussnote in zulassungsbeschränkten Studiengängen Asymmetrische Prädiktor-Kriterium-Beziehung:unterschiedliche Abstraktions- bzw. Generalitätsniveaus von Prädiktor und KriteriumBsp.: Zusammenhang zwischen Ausgangshäufigkeit und Extraversion vs. Geselligkeit (spezifisches Verhaltenskriterium und Persönlichkeitsmerkmal vs. spezifische Facette von Extraversion)  Wenn man jetzt eine Facette von einem breiten PErsönlichkeitsmerkmal nimmt, korrelieren die spezifizierten Items höher. Je grösser der Unterschied zwischen Persönlichkeitsmerkmals-Dimensionen und Item, desto geringer die Korrelation Kriteriumskontamination:Kriterium erfasst auch etwas anderes als beabsichtigtBsp.: Umsatz als Erfolgskriterium für Vertriebsmitarbeiternde wird auch durch Grösse des Verkaufsgebietes bestimmt Kriteriumsdefizit:Kriterium vernachlässigt wichtige AspekteBsp.: Umsatz als Erfolgskriterium für Vertriebsmitarbeitende vernachlässigt Kundenzufriedenheit aufgrund leerer Versprechungen Geringe Reliabilität in Prädiktor oder Kriterium:Man muss darauf achten, dass die Kriterien ordentlich definiert sind, wichtige Sachen nicht vergessen. 
• Advertisement
• Konstruktvalidität - Gültigkeit der Interpretation von Testergebnissen Wir können die Interpretation so vornehmen, dass man eine Inhaltliche Bewertung machen kann, oder um Leute zu vergleichen. Man muss die Items so wählen, dass man am Ende sagen kann "wie fit ist man in einem Fach" z.B. Inhaltliche Bewertung: Konstruktvalidität Verallgemeinerung auf ähnliche Aufgaben: Inhaltsvalidität Extrapolation auf andere Bereiche: Konstrukt-& Kriteriumsvalidität Erklärung des Zustandekommens: Konstruktvalidität Entscheidung über Konsequenzen: Kriteriumsvalidität
• Wahl der Validierungsmethode Inhaltsvalidität:Schwerpunkt liegt in der Verallgemeinerung auf andere AufgabenBsp.: Test zur Lernzielkontrolle Konstruktvalidität:Schwerpunkt: Theoriebasierte Bewertung und ErklärungBsp.: Persönlichkeitstest für psychologische Forschung Kriteriumsvalidität:Schwerpunkt: diagnostische EntscheidungenBsp.: Test zur Auswahl geeigneter Bewerber
• Exkurs: Trimodaler Ansatz Eigenschaften, Test, Konstruktvalidität Verhalten, Simulation, Inhaltsvalidität Ereignisse, Biographie, Kriteriumsvalidität

back  |  next 1 / 1