Testtheorie und Testkonstruktion (Fach) / Testkonstruktion 1 (Lektion)

Diese Lektion wurde von malinpaschen erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Definition: Test Ein Test ist ein wissenschaftliches Routineverfahren zur Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der individuellen Merkmalsausprägung.
• Unterscheidungsmerkmale von Tests (11) messtheoretischen Grundlage (KTT/PTT) Quantitative oder Qualitative Informationen Dimensionalität (Zahl der Teilmerkmale (Facetten) z.B. Subgruppen) Erfassung von Traits (zeitlich stabile Mermale) vs. Situationsabhängig variierende states Testergebnisse der Probanden werden normorientiert oder zu einem inhaltlich festgelegten Kriterium verglichen werden. (kriteriumsorientiert) Computergestützte vs. Paper-pencil Testbearbeitung Bei Leistungstests: Zeitbegrenzung (Bearbeitungstempo) Speedtest oder ohne Zeitvorgabe (Power-Niveautest) - Niveautests mit großzügiger Zeitbegrenzung Einzeln oder Gruppentestungen Zielgruppe z.B. Erwachsene/Kinder - Hochbegabte, Bewerber als Fluglotse Testlänge = Zahl der Items —> Testzeit Transparenz für die Probanden
• Konstruktionsstrategie: Rational deduktive Strategie Rationale Deduktive Strategie Aus einer Theorie wird abgeleitet, wie sich das Konstrukt differenziert und darauf aufbauend werden Items zur Erfassung des Konstruktes konstruiert. Anschließend wird der Test auf seine Güte hin überprüft. +Items werden systematisch konstruiert+Aus der Theorie können Vorhersagen abgeleitet werden (Validität)- Qualität des Messinstruments ist abhängig von der Gültigkeit der Theorie
• Konstruktionsstrategie - Externale (kriteriumsorientierte) Strategie Externale (kriteriumsorientierte) Strategie Hauptziel des Testens ist, Personen unterschiedlicher Gruppen voneinander trennen zu können. Dazu werden Probanden solcher Gruppen möglichst heterogene Items vorgelegt und dann solche Items ausgewählt, in denen sich die Pbn aus unterschiedlichen Gruppen auch tatsächlich stark unterscheiden. - Grund für Unterscheidung der Gruppen ist unklar- Generalisierbarkeit auf andere Gruppen/Situationen nicht gegeben- höhere Heterogenität der Items führt dazu, dass man mehr Items benötigt, um reliabel messen zu können+ Weniger Transparenz für Probanden um ein gewünschtes Bild aufrecht zu erhalten+ Gute Trennung der Gruppen
• Konstruktionsstrategie: Induktive (Faktorenanalytische) Strategie Hier wird festgelegt, welche Items das Konstrukt erfassen, nicht aber deren Dimensionalität. Die Dimensionalität, wird anhand der Daten mittels speziellen Verfahren (v.a. der Faktorenanalyse) ermittelt. Dabei werden solche Items in eine Subskala zusammengefasst, die untereinander hoch korrelieren und mit anderen gering korrelieren. —> lexikalischer Ansatz (Begriffe sammeln, die auf Konstrukt passen zur Eigen- und Fremd-   einschätzung vorgelegt - sehr aufwendig & Beschränkt auf bestimmte Konstrukte- Problem der Sprachgebundenheit+ umfassende Gesamtheit an Items reduziert Risiko, wichtige Teilmerkmale zu übersehen- 
• Geschlossenes Auswahlformat: Auswahlaufgaben (Varianten, Voraussetzungen, Bewertung) Varianten: Zahl der Antwortmöglichkeiten (z.B. dichotom), Zahl der richtigen Antworten (häufig nur eine); Multiple Choice: Manchmal als Überbegriff, manchmal, nur wenn mehr als eine Antwort richtig ist (dann bezeichnet man die Variante mit nur einer richtigen Lösung als single choice). Antwortmöglichkeiten müssen disjunkt sein (Sich wechselseitig ausschließen); vollständig sein (alle möglichen Antworten müssen vorhanden sein) Bei Leistungstests sollten die Distraktoren (=falsche Antwortoptionen) „möglichst plausibel“ sein.Ratewahrscheinlichkeit sinkt mit zunehmender Zahl an Distraktoren k und beträgt bei Single‐choice Items p= 1 /(k+1)
• Regeln zur Konstruktion der Items (8) 1. Items müssen einfach, eindeutig zu verstehen sein und dürfen keine Antwortrichtung suggerieren 2. Möglichst kurz und für die Zielgruppe verständlich sein (Vorsicht bei Fremdworten, Slang, uneindeutige Begriffe, komplizierte Satzstrukturen, Abkürzungen) 3. Eindeutig interpretierbar sein, z.B. nur eine Thematik ansprechen 4.Keine doppelten Verneinungen enthalten (Achtung bei Likert-Skalen kommt schon eine Negation durch den Ablehnungsast der Antwortskala zustande) 5. Itemstamm und Antwortskala müssen zusammenpassen 6. Für jedes Item muss eindeutig plausibel sein, dass es das intendierte Merkmal auch erfasst7 Für jedes Item muss eindeutig sein, welche Antwort zu einer größeren Ausprägung im betrachteten Merkmal beträgt. 8. Die Items dürfen nicht so extrem formuliert sein, dass sie von fast allen Personen der Zielgruppe gleich beantwortet werden (z.B. derart, dass keiner zustimmt oder alle Pbn ein Intelligenzitem richtig beantworten etc.)
• Inhaltliche Antworttendenz: Social desireability (Defintion, Auftreten, Facetten, wie deckt man es auf?, Kontrollinstrumente) Definition: die Tendenz, Items so zu beantworten, dass die Antworten aus Sicht des Pb den Normen einer relevanten Gruppe (z.B. der Gesellschaft, der Peer‐Group etc.) entsprechen und so zu einer verzerrten Selbstdarstellung führt. Besonders stark tritt sie bei Fragen auf, bei denen es klare Normen gibt (z.B. bei Hilfeverhalten, kriminellem Verhalten etc.), in Situationen, in denen eine positive Selbstdarstellung besonders wichtig ist (z.B. im Rahmen der Personalauswahl) und bei Personen, die eine entsprechende Disposition aufweisen. SD als Trait kann unterschieden werden in eine unbewusste Neigung, sich selbst in einem positiven Licht darzustellen (self‐deceptive enhancement) und der intentional nach außen gerichteten positiven Darstellung der eigenen Person (impression management) Man kann die Anfälligkeit eines Tests für SD beispielsweise prüfen, indem man ihn einer Personengruppe unter einer spezifischen faking‐good Instruktion vorgibt und prüft, wie stark die Abweichungen von der Beantwortung unter der Normalinstruktion ausfallen. Möglich sind auch spezielle Kontrollskalen. Man kann versuchen, das Ausmaß von SD zu reduzieren durch die Wahl der Instruktion (Zusicherung der Anonymität und Vertraulichkeit, Rechtfertigungen anbieten), durch spezielle Itemformate (z.B. Ausbalancierung der SD in forced‐choice Items) oder durch den Einsatz von Tests, bei denen nicht (oder nur schwer) erkennbar ist, was die sozial wünschenswerte Antwort wäre (z.B. objektive Persönlichkeitstests).
• Zur Vermeidung von Antworttendenzen: Kontrollskalen zur Erfassung zufälliger Antwortens (durch Verwendung von Items mit sehr hoher Auftretenshäufigkeiten Zur Erfassung der sozialen Erwünschtheit (durch „Lügen“-Skalen mit sozial erwünschten Inhalten, die aber nur sehr selten auftreten —> Erreichen Pb in solchen Skalen hohe Werte, so wird entweder davon abgeraten, deren Ergebnisse insgesamt zu interpretieren oder versucht, die Ergebnisse statistisch um diese Einflüsse zu korrigieren. Bewertung: Items aus Kontrollskalen sind durchschaubar und damit ihrerseits verfälschbar (mit negativen Konsequenzen für die Testmotivation)Empirische Befunde zeigen, dass bestimmte Antworttendenzen (wie self-deceptive enhancement) als stabile Teile der Persönlichkeit aufgefasst werden sollten, die man nicht statistisch eliminieren sollteDie Validität von Tests muss nicht unbedingt durch die Verfälschung leiden

zurück  |  weiter 1 / 1