43

Persönlichkeitspsychologie Aufbau (Fach) / Validität (Lektion)

Diese Lektion wurde von CRuth1 erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Validität = wichtigstes Gütekriterium die Übereinstimmung der Testergebnisse mit dem, was der Test zu messen vorgibt Maß der Genauigkeit, mit dem der Test dasjenige Merkmal misst, das er messen soll Beurteilung wie angemessen die Schlussfolgerungen vom Testwert auf das Verhalten außerhalb der Testsituation ist
• Validitätsarten von Messungen: Inhaltsvalidität Konstruktvalidität von Entscheidungen: Kriteriumsvalidität (immer dann, wenn das Anwendungsziel des Testverfahrens nicht mit seinen Inhalten deckt, d.h. man Eigeschaften / Fähigkeiten misst und damit eine Entscheidung treffen möchte)
• Inhaltsvalidität und Beurteilung ist gegeben, wenn der Inhalt eines Tests tatsächlich das interessierende Merkmal erfasst Beurteilung der Repräsentativität: durch Beschreibung des untersuchten Inhaltsbereichs Bestimmung des Teils des Inhaltsbereichs, der durch jedes einzelne Items gemessen wird => Struktur Vergleich der Struktur des Test mit der des untersuchten Inhaltsbereichs evidence-centered assessment design
• Inhalt eines Tests = Gesamtheit des Stimulsmaterials sowie aller Antwortalternativen
• evidence-centered assessment design = systematische Argumentation für den Schluss der Itembeantwortung auf das erfasste Konstrukt (schon bei der Testkonstruktion)
• Fragen, die die Inhaltsvalidität beantwortet Ist der gesamte Inhaltsbereich durch Items erfasst? Lassen sich alle Items dem Inhaltsbereich zuordnen? Sind die Inhalte richtig gewichtet? Lassen sich Evidenzen für den Schluss vom Item auf das Konstrukt finden?
• charakteristitsch für Inhaltsvalidität = qualitativer Natur durch theoretische Arguemente sowie Expertenurteile gesützt theoretisch argumentativ
• Inhaltsbereiche für Extraversion Geselligkeit Erlebnishunger Aktivität Frohsinn Herzlichkeit Durchsetzungsfähigkeit
• Argumentationskette für Erlebnishunger Extravertierte Personen haben ein habituell niedriges kortikales Erregungsniveau Menschen emfpinden ein mittleres Erregungsniveau als angenehm Es wird erwartet, dass extravertierte Personen stimulierende Situationen als angenehm erleben "Ich bin gerne im Zentrum des Geschenes" sollte daher von extravertieren Personen höher bewertet werden
• Konstruktvalidität = objekvieres Verfahren als Inhaltsvalidität = empirischer Beleg dafür, dass der Test das Konstrukt misst, das er zu messen vorgibt = qualitatives Urteil
• Anzeige
• das nomologisches Netz = Idealvorstellung versch. Konstrukte in formale Theorien überführen Bereich A | Bereich B | Bereich C (Bereich der Theorie) x(a) | x (b) | x (c) (Bereich der Beobachtungen)
• Konstruktexplikation Verhaltensindikatoren identifizieren Identifikation weiterer Konstrukte & Beziehungen zum Zielkonstrukt Verhaltensindikatoren für die weiteren Konstrukte identifizieren & Bestimmung der Verbindung zum Zielkonstrukt
• Ansätze nach Cronbach und Meehl starker Ansatz: wenn urpsrüngliches Ideal der Konstruktvalid. umgesetzt schwacher Ansatz: Validierung ohne formale Theorie (mind. anstrebbar) blinder Empirismus: weitgehend wahllose Korrelation - exploratives Erklären
• empirische Bestimmung der Konstruktvalidität konvergente diskriminante Gruppenunterschiede, Interene Struktur (Faktorenanalyse), Veränderungen über die Zeit (Retest-Rel.), exp. Intervention, Untersuchung des Antwortprozesses (z.B. Konfundierung durch Instruktion)
• konvergente Validität liegt vor, wenn hohe Korrelationen mit Tests vorleigen, die dasselbe oder ähnliche Konstrukte erfassen liegt vot, wenn Messungen eines Konstrukts, das mit verschieedenen Methoden erfasst wird, hoch miteinander korrelieren => zeigt, dass mein Konstrukt genau das misst, was es messen soll
• diskriminante Validität liegt vor, wenn geringer oder kein Zusammenhang zu Konstrukten vorleigt, zu denen theoretisch kein Zusammenhang angenommen wird liegt vor, wenn Messungen verschiedener Konstrukte, die mit derselben Methode oder mit unterschiedlichen Methoden erfasst werden, nicht oder nur gering miteinander korrelieren => zeigt, dass mein Konstrukt sich von entfernten Konstrukten abgrenzen kann
• Minderungskorrektur wenn man zwei Skalen, die ähnliche Konstrukte messen, miteinander korreliert, kann keine perfekte 1-Korrelation entstehen, weil beide Skalen mit Messfehlern behaftet sind Reliabilitätsproblem führt dazu, dass auch die Validität geringer ausfällt einfache Minderungskorrektur (schätzt die tatsächliche Validität, wenn Messfehler rausgerechnet sind) doppelte Minderungskorrektur (gibt an, wie stark sich die beiden Skalen inhaltlich decken) => ein Test kann nur so valide sein, wie er auch reliabel ist
• Methodeneffekt wenn 2 unterschiedliche Konstrukte mit derselben Methode erfasst werden, kann ein Teil der Korrelation auf die gemeinsame Methode zurückgeführt werden
• Multitrait Multimethod Ansatz (MTMM) schätzt Methodenbias korrelationsbasiert
• Monotrait-Monomethod gleiches Konstrukt gleiche Methode Reliabilität Hauptdiagonale
• Monotrait-Multimethod gleiches Konstrukt verschiedene Methoden konvergente Validität ab 2. Zeile, linke obere Ecke
• Heterotrait-Monomethod verschiedene Konstrukt gleiche Methode diskriminante Validität linkere untere Ecke der Hauptdiagonale
• Heterotrait-Heteromethod verschiedene Konstrukt verschiedene Methoden diskriminante Validität
• Nachweis der konvergenten Validität (MTMM) Monotrait-Heteromethod-Koeffizient sollten statistische signfikant sein alternativ: Mindestkorrelation festlegen
• Nachweis der diskriminanten Validität (MTMM) Heterotrait-Heteromethod Heterotrait-Monomethod Koeffizienten Muster der Merkmalskorrelationen sollte innerhalb der Methoden und zwischen den Methoden konstant sein konvergente > diskriminante
• Nachweis eines Methodeneffekts liegt vor, wenn Heterotrait-Monomethod-Koeffizienten sign. höher sind als die Heterotrait-Heteromethod-Koeffizienten
• Kritik an der korrelationsbasierten MTMM-Analyse Validität wird lediglich auf Basis von Häufigkeitszählungen vieler Einzelvergleiche vorgenommen keine exakten Entscheidungsregeln Rel. der Messungen bleiben unberücksichtigt
• Prüfung des MTMM-Designs mittels konfirmatortischer Faktorenanalyse Trennung von Trait-, Methoden- und Messfehleranteil Überprüfung der Eindimensionalität einzelner Traits
• Kriteriumsvalidität liegt vor, wenn von einem Testergebnis erfolgreich auf ein als relevant erachtetes Außenkriteirum (Verhalten außerhalb der Testsituation) geschlossen werden kann
• Arten der Kriteriumsvalidität Vorhersagevalidität Übereinstimmungsvalidität Retrospektive Validität Inkrementelle Validität
• Anzeige
• Vorhersagevalidität / predictive validity Testwerte werden zeitlich vor dem externen erhoben beste Variante Beispiel: Eignungstest vor Bewerberauswahl und Studiumserfolg anhand ihres Abschlusses
• Übereinstimmungsvalidität (concurrent validity) Testwerte und externe Kriterien werden zeitlich parallel erfasst => Verzerrungen Beispiel: Eignung der Bewerber während des Studiums testen
• Retrospektive Validität Zusammenhänge zwischen Testwert und zeitlich vorher ermittelten Kriterium = schlechteste Variante Beispiel: Eignungstest wird nach Studiumsabschluss erfasst
• inkrementelle Validität Beitrag eines Tests zur Verbesserung der Vorhersage eies Kriteriums über einen anderen Test hinaus = darüberhinausgehende Validität Beispiel: Kann der Eignungstest zusätzlich zur Abiturnote noch Erfolg vorhersagen?
• Probleme der Repräsentativität (Selektion) wenn Tests zur Selektion verwendet werden bezieht sich die Korrelation zwischen Testwert und Kriterium nicht auf die gesamte Population Menge der Leute, die auf Eignung getest werden > Menge der Leute, dessen Erfolg später gemessen wird (durch Selektion/Auswahlverfahren + Drop-outs) Selektion => Spannweiteneinschränkung => Validitätseinschränkung (Korrelation sinkt)
• Interpretation der Kriteriumsvalidität: 2 Fragen Kann mein Verfahren einen zusätzlichen Beitrag zur Vorhersage des Kriteirums leisten, der über den Vorhersagebeitrag einfach zugänglicher Informationen hinausgeht (inkrementelle Validität) Liegen Bednungen vor (Basisrate und Selektionsrate), die dazu führen, dass der Einsatz des Verfahrens die Qualität der Entscheidung im Vergleich zu einer Zufallsentscheidung verbessern kann? Validitätskoeffizient bestimmt das Ausmaß, in dem der Test die Qualität von Entscheidungen verbesern kann. => Ziel: so viele korrekte Entscheidungen wie möglich
• Basisrate = Häufigkeit potentiell Erfolgreicher in der Population je leichter das Studium, desto höher die Basisrate (weil mehr Leute dafür geeignet sind) je höher die Basisrate desto höher die Anzahl potentiell erfolgreicher, die angenommen wurden, je höher aber gleichzeitig auch die Anzahl potentiell erfolgreicher, die abgelehnt wurden
• Selektionsrate = Anzahl der Stellen im Verhältnis zur Anzahl der Bewerber je geringer die Selektionsrate, desto größer ist die Wsk erfolgreiche Bewerber anzunehmen im besten Fall: geringe Selektionsrate im Vgl. zur Basisrate
• Taylor-Russel-Tafeln dienen der Bestimmung der Bedeutung der Validität unter Berücksichtigung der Basisrate und der Selektionsrate => die Bedeutung eines Tests und seiner Validität für die Güte von Entscheidungen steigt bei abnehmender Basis- und Selektionsrate (d.h. es macht nur Sinn, Inventare einzusetzen, wenn man eine geringe Selektions- und Basisrate hat, weil nur dann eine Entscheidung getroffen werden muss ... sonst kein Handlungsbedarf) bei gleichbleibender Basisrate, steigt die Erfolgsquote mit steigender Validität und abnehmender Selektionsrate
• Wahl einer geeigneten Validierungsmethode / -art Repräsentationsschluss Itemuniversium: Verallgm. der Testwerte auf große Menge möglicher Aufgaben Test zur Erfassung von Fähigkeiten, Lernzielen => Inhaltsvalidität 2. theoriebasierte Testwertinterpretation psychologische Forschung (theoretische Konstrukte) => Konstruktvalidität 3. diagn. Entscheidung Entscheidung => Kriteriumsvalidität
• Einflussgrößen auf Kriteriumsvalidität Methodenfaktoren (gleiche vs. unterschiedliche Erhebugnsmethode => Korrelation; gemeinsame Methodenvarianz) Kriteriumskontamination und -defizit ) Validitätsmangel seitends des Kriteriums mangelnde Symmetrie zwischen Prädiktor und Kriterium: die Konstrukte, die man vergleicht sollten ähnliche Breite haben Streuungsrestriktion mangelnde Reliabilität des Kriteriums / Prädiktors
• Richtlinien der Validitäskoeffizienten (nach Weise) < .40 niedrig .40 - .60 mittel > .60 hoch
• Interpreationt des Validitätskoeffizienten (Kriteriumsval.) zwischen 0 und 1 häuig klein (.50 ist schon gut) bei Intelligenzleistung > .30 (gut) je weiter man sich vom Alltagsbereich entfernt (bei Persönlichkeitsmerkmalen), desto geringer die Validitäten

zurück  |  weiter 1 / 1