106

Testtheorie und Testkonstruktion (Subject) / Sose15 (Lesson)

This lesson was created by marb.

Learn lesson

This lesson is not released for learning.

back  |  next 1 / 3

• Was ist Ziel der Testtheorie und -konstruktion? Psychometrische Testverfahren kommen in allen psychologischen Disziplinen zum Einsatz (Klinische Psychologie, ABO Psychologie, Pädagogische Psychologie, Verkehrspsychologie, etc.) Von den Ergebnissen psychologischer Tests hängt für die Testperson viel ab (Zuordnung zu Therapie, Einstellung, Einschulung, Schuldunfähigkeit, (Wieder-)Erteilung der Fahrerlaubnis, etc) Als Psychologe müssen Sie die Ergebnisse der Testung gegenüber der Testperson und dem Auftraggeber rechtfertigen (Das geht nur, wenn Sie wissen, was ein Test ist und was ein Test kann und vor allem auch, was er nicht kann)
• Was versteht man unter der ‚psychometrischer Test‘? Ein psychometrischer Test ist ein wissenschaftl. Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung.
• Definition ‚Testtheorie‘ Eine Testtheorie ist eine Theorie über verschiedene Arten von Tests, ihrem Aufbau und ihre Konstruktionsprinzipi-en. Sie beschäftigt sich mit dem Zusammenhang von Testverhalten (ausgedrückt in empirischen Testwerten) und dem zu erfassenden Merkmalen.
• Was muss man bei der Testkonstruktion beachten? Es gibt verschiedene Aufgabenformate, Testarten und Konstruktionsstrategien.
• Was für Aufgabenformate gibt es? freies Antwortformat (Kurzaufsatzaufgaben, Ergänzungsaufgaben) gebundenes Antwortformat (Beurteilungs-, Ordnungs-, Auswahlaufgaben) atypisches Antwortformat
• Nenne Vor- und Nachteile der unterschiedlichen Aufgabenformate! Freies Aufg.: + Reproduktion Wissen (kein Raten), - geringere Auswertungsobjektivität, und höherer Zeitaufwand gebundenes Aufg.: + geringerer Zeitaufwand und Auswertung der Antworten objektiv (eindeutig), - Raten und Antwortaltiven exhaustiv und disjunktiv (keine Alternativen und "überlappen") atyp. Aufg.: + reliabel
• Welche Itemformate gibt es und bei welchem Aufgabenformat werden diese unterschieden? bei Beurteilungsaufgaben des gebundenen Aufgabenformats Unterschiede in Studung (Analog-, Ratingskala) Unterschiede in Polarität (semantisches Differential (bipolar), Likert-Skala (unipolar)) Unterschiede in Vorgabeform (verbal, numer., opt.)
• Welche Testarten werden unterschieden? Leistungstest (Speed- (+)Powertests) Persönlichkeitstests projektive Verfahren apparative Verfahren objektive Tests
• Wie bestimme ich den Anteil der Speed- bzw. Powerkomponente? Zur Bestimmung des Anteils der Varianz von Testwerten, die auf dieSpeed- bzw. Powerkomponente eines Tests zurückgeht können Speed- bzw.Power-Indices berechnet werden
• Definiere Leistungstest. Was sind Vor-, Nachteile? Leistungstests verlangen den Probanden „die Lösung von Aufgaben oder Problemen, die Reproduktion von Wissen, das Unterbeweisstellen von Können, Ausdauer oderKonzentrationsfähigkeit“ ab+ Erfassung des maximalen Verhaltens+ Verfälschung ist nur „nach unten“ möglich
• Advertisement
• Es wird zwischen Speed- und Power-Tests unterschieden. Erläutere! Speed-Test: Aufgaben sind einfach und können von allen Probanden gelöst werden. Differenzierung erfolgt über die Begrenzung der Bearbeitungszeit Power-Tests: Aufgaben sind schwer und können auch bei unbegrenzter Bearbeitungszeit nicht von allen Probanden gelöst werden. Differenzierung erfolgt über Schwierigkeitder Aufgabe
• Definiere Persönlichkeitstests und nenne besondere Merkmale! Persönlichkeitstests erfassen das für den Probanden typische Verhalten in Abhängigkeit der Ausprägung von Persönlichkeitsmerkmalen. Die Messung erfolgt hierbei über Selbstauskünfte. Da es keine „optimale“ Ausprägung von Persönlichkeitsmerkmalen gibt, werden Antworten nicht im Sinne von „richtig“ oder „falsch“ bewertet! Bewertung erfolgt danach, ob die Aussagen für eine bestimmte Ausprägung eines bestimmten Merkmals sprechen oder nicht! Simulation ist in beiden Richtungen, d.h. zugunsten niedriger als auch hoher Merkmalsausprägungen möglich Merkmalsbereiche sind z.B. aktuelle Zustände, Symptome, Verhaltensweisen, Motivation, Interessen, Meinungen, Einstellungen
• Definiere projektive Verfahren und erläutere, warum sie in der Forschung ungeeignet sind. Mittels projektiver Verfahren wird eine Erfassung qualitativer Aspekte der Gesamtpersönlichkeit verfolgt. Den Probanden wird mehrdeutiges Bildmaterial mitder Bitte vorgegeben, dieses zu beschreiben In den Beschreibungen sollen sich unbewusste oder verdrängte Bewusstseinsinhalte wiederspiegeln, dieauf das Bildmaterial projiziert werden !!! Aufgrund unzureichender Erfüllung von Testgütekriterien sind projektive Verfahren inForschungskontexten als ungeeignet zu bewerten (Im Zusammenhang der klinischen Exploration und der Bildung interventionsbezogener Hypothesen kann projektiven Verfahren jedoch eine gewisse Berechtigung zugemessen werden.)
• Definiere apparative Verfahren und nenne besondere Merkmale! Aufgaben in apparativen Verfahren bedienen sich bestimmter technischer Anordnungen zur Erfassung des relevanten Merkmals. Erfasst werden hierbei vor allem Merkmale, diefür andere Testarten nicht zugänglich sind (z.B.sensorische oder motorische Merkmale) Computerbasierte Tests stellen eine Unterklasseder apparativen Verfahren dar, die momentan im Zunehmen begriffen ist. Interessant sind diese alsMöglichkeit zur Verbesserung der Durchführungs- undAuswertungsobjektivität sowie als Möglichkeit zur Reduktion des Aufwandes der Testdurchführung
• Definiere objektive Tests und nenne besondere Merkmale! Im Zusammenhang objektiver Persönlichkeitstests bedeutet der Objektivitätsbegriff die Begrenzung der Möglichkeiten subjektiver Verfälschung. Probandenmerkmale werden nicht durch Selbstauskünfte sondern über das Verhalten in einer standardisierten Testsituation erschlossen Objektive Tests haben keine Augenscheinvalidität, d.h. die Probanden wissen nicht, welches Konstrukt durch die Testung erhoben werden soll Zur Erfassung bieten sich die gleichen Merkmalsbereiche an, wie im Zusammenhang anderer Persönlichkeitstests
• Welche Konstruktionsstrategiern gibt es? Rational-deduktive Konstruktion (Items werden entsprechend einer Theorie gebildet) External-kriteriumsbezogene Konstruktion (Items werden entsprechend eines Kriteriums ausgewählt) Induktive Konstruktion (Items werden entsprechend korrelativer Analysen ausgewählt) Prototypenansatz (Items werden bzgl. prominenter Vertreter bestimmterKlassen gebildet)
• Rational-deduktive Konstruktion Bei der rational-deduktiven Konstruktion werden Items auf Basis einer bestehenden Theorie generiert. Hierbei sind folgende Gesichtspunkte als wichtig zu erachten: Theorien liefern Konstrukte, die erfasst werden sollen (z.B.Intelligenz, Motivation, Angst) Theorien beschreiben, welche Verhaltensindikatoren bei derErfassung des Konstrukts herangezogen werden können (z.B. für dasKonstrukt „schulische Leistungsfähigkeit“: rechnerische und sprachliche Fähigkeiten) Theorien legen fest, welche Antwortformate sich zur Erfassung des Konstrukts eignen (z.B.: Verhaltensorientierte Persönlichkeitstheorien:Selbst- und Fremdbeschreibungen; tiefenpsychologischePersönlichkeitstheorien: projektive Verfahren)
• Wie ist die Vorgehensweise bei rationaler Skalenkonstruktion? 1. Generierung der Items2. Erhebung einer Validierungsstichprobe3. Prüfung von Reliabilitätskennwerten (α, rsh, rtt)4. Eliminierung ungeeigneter Items5. Überprüfung der Validität in Bezug auf externe Kriterien
• External-kriteriumsbezogene Konstruktion Voraussetzung für externale Konstruktionsstrategien ist das Vorliegen verschiedener Gruppen, die sich in Bezug auf das Kriterium unterscheiden (z.B.: Alkoholiker vs. Nicht-Alkoholiker, Misshandler vs. Nicht-Misshandler) Den Mitgliedern der Gruppen wird eine große Zahl möglichst breitgefächerter Items vorgelegt Es werden die Items ausgewählt, die signifikant zwischen denGruppen trennen können. Mittels Diskriminanzanalyse wird eineFunktion bestimmt, mit der die Gruppen optimal getrennt werden können CAVE: Die Schätzung der Diskriminanzfunktion ist stark abhängig von der verwendeten Stichprobe. Eine Kreuzvalidierung ist unerlässlich.
• Notwendigkeit von Kreuzvalidierung Wichtig für Diskriminanzanalyse für External-kriteriumsbezogene Konstruktion. In der verwendeten Stichprobe trennt das Item durch Zufall gut. In der Population trennt das Item generell schlecht. !!! Werden viele Items in die Diskriminanzfunktion eingegeben, so befinden sich mit hoher Wahrscheinlichkeit ‚faule Äpfel‘ darunter Ein ‚fauler Apfel‘ ist ein Item, dass die beiden Gruppen nur in der verwendeten Stichprobe trennt und in anderen Stichproben keineBedeutung besitzt
• Vorgehen bei der Kreuzvalidierung 1. Stichprobe wird aufgeteilt in Konstruktions- und Validierungsstichprobe2. Diskriminanzfunktion wird in Konstruktionsstichprobe bestimmt3. Diskriminanzfunktion aus Konstruktionsstichprobe wird in Validierungsstichprobe eingesetzt4. Vergleich der korrekten Zuordnungen zwischen Konstruktions- und Validierungsstichprobe Unterscheiden sich die korrekten Zuordnungen zwischen Validierungs- und Konstruktionsstichprobe nicht, so kann das Item auch in der Population trennen!
• Induktive Konstruktion Bei induktiven Konstruktionsstrategien liegen weder eine Theorie noch bestimmte Kriteriumsgruppen vor. Vielmehr werden Items, die hohe Korrelationen zeigen zu Skalen zusammengefasst. Diese Vorgehensweise wird auch als „blind-analytisch“bezeichnet, da bei der Konstruktion keine Rücksicht auf inhaltliche Gesichtspunkte genommen wird Zur Konstruktion der Skalen werden zumeist explorative Faktoranalysen durchgeführt. Items, die hohe Ladungen auf dem gleichen Faktor zeigen werden zu einer Skala zusammengefasst Beispiele: Intelligenztests nach Thurstone (primary mentalabilities), FPI, NEO-PI-R (NEO-FFI)
• Prototypenansatz Bei dem Prototypenansatz werden Konstrukte als natürliche Kategorien menschlicher Wahrnehmung aufgefasst (z.B. Blumen). Ihre Mitglieder besitzen unterschiedliche Typikalität (z.B. Rosen vs. Orchideen). Prototypen sind hierbei die Mitglieder, die die höchste Typikalität besitzen. Vorgehensweise: Items werden hinsichtlich der Prototypizität für eine oder mehrere Kategorien eingeschätzt,wobei die Items mit der höchsten Prototypizitätseinschätzung beibehalten werden Beispiel: Act Frequency Approach (Buss & Craik, 1980)
• Vorgehensweise beim Act Frequency Approach (Prototypenansatz) 1. Probanden sollen an Personen in ihrem Bekanntenkreis denken, die eine bestimmt Eigenschaft (z.B. Unterwürfigkeit) besonders stark repräsentieren2. Die Probanden sollen konkrete Verhaltensweisen der Personen nennen, die ihrer Meinung nach indikativ für das Vorhandensein der entsprechenden Eigenschaft sind (z.B. „Sie erhielt eine unfaire Note und beschwerte sich nicht darüber“)3. Die genannten Verhaltensweisen werden von einer anderen Probandengruppe hinsichtlich der Prototypizität für die entsprechende Eigenschaft eingeschätzt4. Die Items mit den höchsten Prototypizitätseinschätzungen werden als Grundlage der weiteren Validierung des Verfahrens verwendet
• Welche Konstruktionsstrategie sollte ich zugunsten der Validität wählen? Laut Burisch konnte keine Überlegenheit einer Technik festgestellt werden (Allerdings wurden Leistungstest außer Betracht gelassen.)
• Was sind die Gütekriterien psycholog. Tests? Objektivität (Durchführungs-, Auswertungs-, Interpretationsobjektivität) Reliabilität (Retest-, Paralleltestreliabilität, Interne Konsistenz) Validität (Inhaltsvalidität, Kriteriumsvalidität, Konstruktvalidität) Nebengütekriterien
• Wo finde ich die Richtlinien zur Testbeurteilung? American Psychological Association International Test Commission
• Grundsätzliches zu Gütekriterien •Entscheidungen, die auf der Basis von Ergebnissen psycholo-gischer Testungen getroffen werden sind oft mit weitreichen-den Konsequenzen für den Testanden verbunden (z.B. Einschu-lungsuntersuchungen, Personalauswahl, Schuldfähigkeitsbe-gutachtung)•Gütekriterien dienen der Einschätzung der Eignung eines Tests vor dem Hintergrund einer gegebenen Fragestellung•Trotzdem weitestgehende Einigkeit über zu erfüllende Spezifika besteht, wurde bisher kein verbindlicher Katalog einschlägiger Kriterien definiert•Generell wird zwischen drei Haupt- und einer Vielzahl von Nebengütekriterien unterschieden
• Objektivität Objektivität besteht für einen Test dann, wenn das Testergebnis unabhängig vom Untersuchungsleiter, vom Testauswerter und der Ergebnisinterpretation ist.            Sicherstellung von Objektivität erfolgt durch Standardisierung von Durchführung, Auswertung und Interpretation eines Tests  Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität
• Nenne im Hinblick auf die Testsituation Anzeichen für Ducrhführungsobjektivität! Bearbeitung des fragebogens kann einzeln oder in Gruppe erfolgen (letzteres: Vpn füllen unabhängig von anderen Vpn aus: keine Kommuniketion und kein Abschreiben zw. Vpn) bei Gruppen je Testleiter mind. 50 Vpn räuml. Bedingungen: von äußeren Einflüssen ungestört
• Advertisement
• Nenne im Hinblick auf das VH des Testleiters bei Rückfragen Anzeichen für Durchführungsobjektivität! global formulierte Frage mehrdeutig, aber mehr Aufschluss über Persönlichkeitsmerkmal (z.B.: "Gehst du gerne auf Partys?" anstatt: "Hat dir die letzte Sylvesterparty gefallen?")→ Keine zusätzlichen Erläuterungen geben, da es verfälschen würde! ausgefüllte Fragebögen schnell einsammeln, damit Antworten nach Kommunikation mit anderen VPN verhindert wird
• Interpretationsobjektivität Skalenbeschreibung ("Was bedeutet Neurotizismus?" etc in Legende) und Mittelwertsangaben wichtig
• Definition ‚Reliabilität‘ Reliabilität ist ein Maß für die Präzision, Zuverlässigkeit und Genauigkeit, mit der ein Test ein Merkmal misst. Präzise ist eine Messung dann, wenn sie möglichst frei von Messfehlern ist CAVE:Umschlossen wird lediglich die Frage, ob irgendein Konstrukt fehlerfrei erfasst wird und nicht, ob es wirklich das intendierte Konstrukt ist
• Bestimmung von Reliabilitätsmaßen Reliabilitätsmaße können berechnet werden, indem überprüft wird, ob einzelne Probanden in zwei Testungen gleiche Werte aufweisen.Zur Ermittlung der Werte stehen zwei Möglichkeiten zur Verfügung: Testung zu zwei Zeitpunkten Testung mit zwei Testformen                             I      Eine Testform            Zwei Testformen Ein Zeitpunkt       I    Innere Konsistenz      Paralleltest-Reliabilität Zwei Zeitpunkte   I    Retest-Reliabilität      Re-Paralleltest-Reliabilität
• Retest-Reliabilität •Naheliegend ist zunächst die Testung mit einer Testform zu zwei Zeitpunkten  Retest-Reliabilität•Korrelation zwischen den beiden Testwerten der Probanden wird als Reliabilität angenommen: Koeffizient: rtt•Problematisch sind Merkmalsverände-rungen zwischen den Testzeitpunkten, die zu einer Unterschätzung der Reliabilität führen: Beispiel: Depressionsmaße vor und nach einer Psychotherapie
• Paralleltest-Reliabilität •Um das Problem möglicher Veränderungen zwischen Test und Retest zu umgehen kann zu einem Zeitpunkt mit zwei Testformen getestet werden: Paralleltest-Reliabilität•Korrelation zwischen den Testwerten in beiden Testformen wird als Reliabilität angenommen: Koeffizient: rtt‘•Problematisch ist, dass die Erstellung paralleler Testformen aufwändig und schwierig ist
• Innere Konsistenz •In vielen Fällen ist die Berechnung von Retest- bzw. Paralleltest-Reliabilität nicht oder nur schwer durchführbar. Aus diesem Grund wurden Verfahren entwickelt mit denen die Reliabilität auf der Basis von Testungen zu einem Zeitpunkt mit einer Testform möglich sind•Grundlegende Idee ist es, Teile eines Tests als parallele Testversionen aufzufassen und die Reliabilität als Zusammenhang der einzelnen Teile anzunehmen Einfachster Fall: Testhalbierung (Split-Half-Reliabilität)
• Nenne Möglichkeiten zur Testhalbierung! Wo wird dies eingesetzt? Testhalbierung (Teilung des Tests in der Mitte) „odd-even“ (Items mit geraden Nummern werden zu einer Testhälfte zusammengefasst, Items mit ungeraden Nummern zu einer zweiten) Zufallsaufteilung ( Items werden zufällig zwei Testhälften zugeordnet) Parallelisierung (Aufteilung der Items nach Trennschärfe und Schwierigkeit, d.h. beiden Testhälften sollen gleich schwierig und trennscharf sein) CAVE: In Abhängigkeit der Aufteilungsstrategie können sich in gleichen Datensätzen unterschiedliche Reliabilitätsschätzungen ergeben! eingesetzt: Innere Konsistenz
• Nenne Probleme und Vorteile der Testhalbierung und inneren Konsistenz! - die zu messende Variable kann heterogen (erschwert Bildung adäquater Testhälften) + geringerer Untersuchungsaufwand - nur eine Messung erforderlich.
• Nenne ein Beispiel für Testhalbierungsreliabilität! Ein durchgeführter IQ-Test kann etwa in zwei Hälften unterteilt werden, zu denen sich für die untersuchten Personen jeweils ein Kennwert bestimmen lässt. Wenn die einzelnen Personen in den beiden Testhälften ähnlich hohe Kennwerte erzielen, dann besitzt der Gesamttest eine hohe Testhalbierungsreliabilität.
• Nenne ein Beispiel für Interne Konsistenz! Ein durchgeführter Leistungstest könnte beispielsweise zwanzig Aufgaben beinhalten. Wenn die Werte der untersuchten Personen für die einzelnen Aufgaben stark mit den erreichten Gesamtwerten übereinstimmen, dann spricht man von einem intern konsistenten Test. Verletzt wäre die interne Konsistenz für eine einzelne Aufgabe etwa, wenn Personen mit hohen Gesamtwerten diese Aufgabe genauso häufig oder sogar häufiger falsch beantworten als Personen mit einer niedrigen Gesamtpunktzahl. Diese könnte zum Beispiel durch eine unklare Aufgabenformulierung zustande kommen.
• Nenne ein Beispiel für Retestreliabilität! Denkbar wäre die Ermittlung der Retestreliabilität – gelegentlich auch Wiederholungsreliabilität genannt – eines IQ-Tests, indem dieser Test im Abstand eines halben Jahres an derselben Stichprobe wiederholt wird. Wenn die einzelnen Personen zu den beiden Messzeitpunkten jeweils sehr ähnliche IQ-Werte erzielen, ist die Retestreliabilität hoch. Voraussetzung einer hohen Retestreliabilität ist, dass der IQ der Probanden über die beiden Messzeitpunkte relativ stabil bleibt.
• Nenne Probleme der Retestreliabilität! hohen Aufwand durch mehrmalige Messung unsystematische Veränderungen der wahren Merkmalsausprägung (Zeit)(Beispiel:  einzelne Personen verbessern Leistung zwischen Messzeitpunkten, andere stagnieren oder verschlechtern sich)
• Beispiel für Paralleltestreliabilität! Beispielsweise kann man die Paralleltestreliabilität eines IQ-Tests bestimmen, der über mindestens zwei ähnliche Testformen verfügt. Nach dem unmittelbar aufeinanderfolgenden Einsatz der beiden Testvarianten an derselben Stichprobe wird die Korrelation zwischen den zwei Ergebnissen berechnet. Eine hohe Korrelation weist auf einen starken Zusammenhang zwischen den beiden Testformen und damit auf eine hohe Paralleltestreliabilität hin.
• Probelme der Paralleltestreliabilität ! sehr hohen Konstruktionsaufwandes Störeffekte (Übungseffekte etc) beeinträchtigen Parallelität der Messung viele Aufgaben nach einmaliger Darbietung bekannt: können nicht sinnvoll ein weiteres Mal gestellt werden
• Cronbachs Alpha Problematisch an der Berechnung von Split-Half-Reliabilitäten ist, dass die Testhälften relativ willkürlich gebildet werden können. Unterschiede zwischen Koeffizienten, die aus unterschiedlichen Aufteilungen hervorgehen sind schwer zu interpretieren. → Lösung: Cronbachs Alpha (α) (Dieser Koeffizient entspricht der mittleren Reliabilität, die sich bei der Bildung aller möglichen Testhalbierungen ergibt.) (α-Werte im Bereich zwischen 0 und 1; reliabel bis 0,7) häufig als Maß für die interne Konsistenz
• Was ist das Problem mit Cronbachs Alpha? Je mehr Fragen der Test besitzt, desto höhere Cronbachs α-Werte werden erreicht - unabhängig von der Dimensionalität und Reliabilität des Fragebogens.
• Welcher Reliabilitätskennwerte ist vorzuziehen? Keiner der besprochenen Reliabilitätskennwerte ist hierbei einem anderen vorzuziehen. Wichtig ist die gleichzeitige Betrachtung aller geschilderten Kennwerte, um einen möglichst umfassenden Überblick über die Reliabilität des Verfahrens zu gewinnen
• Definition ‚Validität‘ Validität bezieht sich auf die Frage, ob ein Test wirklich das Merkmal misst, was er messen soll bzw. zu messen vorgibt. Die Validität bezieht sich dabei auf die Gültigkeit verschiedener möglicher Interpretationen von Testergeb-nissen
• Veranschauliche verschiedene Zugänge zur Validität anhand eines Beispiel eines „Schulreifetests“! Inhaltsvalidität (Items, die in dem Test aufgefasst sind, sollen inhaltlich das Konstrukt widerspiegeln, dass der Test erfassen soll, z.B. Umgang mit Zahlen, Sprachverständnis) Kriteriumsvalidität (Mit dem Test soll vorhergesagt werden, inwiefern Kinder eingeschult werden können. Kinder mit höheren Testwerten sollten sich daher besser in der Schule zurechtfinden, als Kinder mit niedrigen Werten) Konstruktvalidität (Das durch den Test gemessene Konstrukt „Schulreife“ soll mit ähnlichen Konstrukten (z.B. Intelligenz, Entwicklungsstand) zusammenhängen und unabhängig von inhaltsfremden Konstrukten (z.B. Temperament, Persönlichkeit) sein)

back  |  next 1 / 3