Grundlagen der Testkonstruktion (Fach) / Grundlagen der Testkonstruktion (Lektion)

Diese Lektion wurde von Aida erstellt.

Lektion lernen

zurück  |  weiter 1 / 2

• Ein psychologischer Test ist -         ein wissenschaftliches Routineverfahren -         zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung.
• Routineverfahren Routineverfahren - Inhalt, Verfahrensablauf und Bewertung der Aussagen sind genau vorgegeben (standardisiert)
• Klassifikation von Tests nach dem Inhalt (Teil 1): 1.      Nach dem Inhalt -         Leistungstests (Entwicklungstest, Schultest, Inteligenstest) Aufgaben werden richtig oder falsch gelöst -         psychometrische Persönlichkeitstests (Fragebogen über Gefühle, Vorlieben...) subjektive Selbstbeurteilung -         persönliche Entfaltungsverfahren (zeichnerich, Gestalltungsverfahren etc.) o      projektive Tests streng genommen keine psychologischen Tests, da häufig nicht nach testtheoretischen Prinzipien gestaltet o      semi-projektive Tests
• Klassifikation von Tests, nach der Testungsstrategie: Was für Tests gibt es?   1.      Nach der Testungsstrategie -         normorientierte Konstrukttests erlauben Rückschluss auf dahinter liegende Eigenschaften und Fähigkeiten (Konstrukte) kriterienorientierte Tests lehrzielorientierte Leistungstests
• Es gibt drei Quellen unsystematischer Varianz: -         Interitemvarianz: bei der Testung einer Person zwischen verschiedenen Items (hier nicht betrachtet) -         intraindividuelle Varianz: mehrfacher Test einer Person interindividuelle Varianz: zwischen verschiedenen Teilnehmern
• Grundannahmen der KTT: -         jede getestete Person wird zufällig einer Population entnommen -         die Testergebnisse Xi einer Person sind normalverteilt -         der Mittelwert dieser Normalverteilung ist der wahre Wert Ti (Existenzaxiom) jede Messung ist mit einem Fehler Ei behaftet (alle unkontrollierten und unsystematischen Störeinflüsse) - keine Aussagen über Validität
• Reliabilität Reliabilität ist die wesentliche Information zur Bestimmung von Standardschätz- und Standardmessfehler. Die Reliabilität gibt die Genauigkeit an, mit der ein Test „irgendetwas“ misst. Systematische Fehler, z. B. durch Testangst oder soziale Erwünschtheit, führen nicht zu niedriger Reliabilität!
• Validität Die Validität beschreibt, ob der Test das misst, was er messen soll: also Ci Formal bedeutet das: Validität ist der Anteil der Zielkonstruktvarianz S2C an der Gesamtvarianz. Die empirische Schätzung der Validität ist komplex.
• Kritische Punkte bei der Klassischen Testtheorie: -         Annahmen sind in der psychologischen Praxis nur schwer haltbar -         Vernachlässigung systematischer Fehler (bias) -         Testwerte sind stichprobenabhängig (dieses Problem löst die probabilistische Testtheorie)
• Grundideen der Probabilistischen Testtheorie (PTT) im Rasch-Modell Im Rasch-Modell: Lösungswahrscheinlichkeit hängt (probabilistisch) ab von - Personparameter: Eigenschaftsausprägung der Person - Itemparameter: Schwierigkeit des Items   Die beiden Parameter werden geschätzt.
• Anzeige
• PTT wesentlicher Unterschied zur KTT:   =    es kann ein Modelltest durchgeführt werden o      Zulässigkeit der Summation o      Eindimensionalität des Konstrukts =   wird das Modell nicht abgelehnt, sagt der Summenwert der Items tatsächlich etwas über die latente Variable aus. =     Summenwert = erschöpfende Statistik der Personenfähigkeit Rasch-Modell ist echte Messtheorie
• Standardmessfehler …gibt an, wie stark Einzelmessungen um einen „wahren Wert“ streuen. Der Standardmessfehler ist der Teil der Standardabweichung, der auf mangelnde Reliabilität zurückgeht.
• Was machst Du vor der Datenerhebung? -    Abgrenzung von Merkmals- und Geltungsbereich-    Festlegung der grundsätzlichen Vorgehensweise-    Generierung eines Itempools-    Formulierung der Fragen-    Format der Antwortmöglichkeiten
• Merkmalsbereich: WAs soll der Test messen?= Konstrukt
• Geltungsbereich: Wo soll der Test eigesetzt werden? =Zielgruppe Bei wem soll der Test eingesetzt werden?= Kontext Wofür soll der Test eingesetzt werden?= Zweck (der Anwendung)
• Nenne mir Hilfsmittel zur Abgrenzug des Merkmalsbereichs: 1. Literaturrecherche 2. explorative Datenerhebung (wie: Expertenbefragung) 3. Strukturierte Varianten der Merkmalsabgrenzug z.B: Facettentheorie (Grenzt Merkmalsbereich ein) Act frequency approach (AFA) Methode der kritischen Ereignisse (Critical incident technique, CIT)
• Geltungsbereich: Wo, bei wem und wofür soll der Test eingesetzt werden? => Zielgruppe, Kontext und Zweck der Anwendung   -         Spezifikation des Auftraggebers je breiter Anwendungsbereich und Zielgruppe, desto größer die Ansprüche an empirische Prüfung und Normierung
• Nenne mir die fünf generellen Konstrktionsprinzipien: 1.      rationale (deduktive, theoriegeleitete) Konstruktion 2.      externale (empirische, kriteriumsorientierte) Strategie 3.      internale (induktive, faktorenanalytische) Strategie 4.      typologisierende Strategie (selten) 5.      Prototypenansatz (selten)
• Rationale Testkonstruktion: -Deduktive Testkonstruktion/ Theoretische Testkonstruktion 1. Definition des Zielkonstruktion 2. Operationalisierung in einer Messvorschrift 3. (Intuitive) Ableiung spezifischer Items aufgrund inhaltlicher Erwägungen 4. Nachträgliche Itemanalyse/ Testvalidierung anhand erster empirischer Daten Berliner Intelligenzstruktur Test BIS Retrospectie Behavorial Self-Control Scale Mehrdimensional Merkmal = Item,Item, Item siehe Zusammenfassug
• Welche Axiome der KTT sind in der praktischen Anwendung psychologischer Tests kritisch zu diskutieren?   - die Festlegung des beobachteten Wertes als Addition von wahrem Wert plus Messfehler ist rein mathematischer Natur, dabei bleibt der Zusammenhang zwischen Persofähigkeit, dem Merkmal und dem Antwortverhalten unberücksichtigt (dies tut aber die PTT)-es geht ja um die Reproduzierbarkeit von Antworten unter identischen Bedingungen; bei wiederholten Tests können sich aber Übungs- und Testeffekte auf die Leistungen auswirken und so die Annahme der Unkorreliertheit von wahrem Wert und Messfehler infrage stellen-wenn Eindimensionalität vorausgesetzt wird, misst der Test nur ein Konstrukt; dies wird aber nicht geprüft, sondern mit der Annahme begründet, dass die Fehlerwerte von verschiedenen Messwerten unkorreliert sind (auch hier schafft die PTT Abhilfe)-bei der KTT ergeben sich für verschiedene Referenzgruppen unterschiedliche Interpretationen der Testergebnisse, da man ja hier keinen Zusammenhang zwischen Personenfähigkeit und der Itemschwierigkeit untersucht, sondern sich damit behilft, dass man Gütekriterien für verschiedene Teilstichproben zugrunde legt
• Externale Testkonstruktion: -         ausgehend von empirischen Daten -         typischer Anwendungsfall: Diskriminierung von 2 Gruppen, z. B. Vorliegen einer Störung vs. Nichtvorliegen -         Formulierung der Items intuitiv und/oder theoriegeleitet -         Auswahl der Items nach dem Prinzip der Maximierung des empirischen Zusammenhangs mit dem Kriterium -         externale Testkonstruktion ist kriterienorientiert -         inhaltlich oft schwer interpretierbar -         erfordert große und repräsentative Stichproben -         Kreuzvalidierung notwendig  Sammlung vielle intuitive Items, manche passen zum Merkmal= Merkmal (Siehe zusammenfassung) Beispiel für eine externale Testkonstruktion: -         Minnesota Multiphasic Personality Inventory -         California Psychological Inventory (CPI) -         typisch: inhaltlich heterogen, „Polung“ nicht notwendig intuitiv
• Internale Testkonstruktion: (induktive Methode) -         ausgehend von empirischen Daten, aber bezogen auf die Binnenstruktur des Tests -         zuerst Konstruktion eines breiten Itempools -         empirische Daten zu diesen Items werden hinsichtlich Korrelationsmustern untersucht -         explorative Faktorenanalyse -         Ergebnis: mehrdimensionale Inventare, deren Subskalen homogene Konstrukte messen -         die Binnenstruktur wird aus den empirischen Daten abgeleitet, üblicherweise ohne theoretische Annahmen -         aus den Ergebnissen wird häufig induktiv auf ein theoretisches Modell geschlossen   Beispiel für eine internale Testkonstruktion: -         Primärfaktorenmodell der Intelligenz -         Varianten des 5-Fakoren-Modells -         lexikalischer Ansatz: Adjektive in der Sprache ð     Selbst- und Fremdeinschätzung von Probanden ð     Faktorenanalyse
• Typologisierende Testkonstruktion -         verbindet Elemente der externalen und der internalen Strategie -         Ziel: Identifikation von Gruppen von Personen oder Objekten auf der Grundlage empirischer Information -         Verfahren: Clusteranalyse -         häufig aus reanalysierten Daten -         Informationsverlust gegenüber der Verwendung von Dimensionen! -         Beispiel: Myers-Briggs-Type Indicator (Personalberatung)   Du bist Laut   Leise aktiv   ruhig
• Prototypenansatz: -         ausgehend von prototypischen Objekten oder Verhaltensweisen -         Gefahr: Stereotypisierung Variante: AFA zur Abgrenzung des Merkmalsbereichs und zur Itemgenerierung   XY ist der Prototyp eines charasmatischen Führers
• Vergleich der drei Hauptprinzipien (rational, External, Internal): keine systematischen Validitätsunterschiede -         rationale Strategie o      leichte Vorteile bei der kriterienbezogenen Validität o      Vorzug in der theoretischen Fundierung: bessere Interpretierbarkeit der Testergebnisse -         Externale Strategie o      benötigt kaum theoretische Voraussetzungen           -         Internale Strategie o      leichte Nachteile bei der kriterienbezogenen Validität => Auswahl der Strategie nach den Vorkenntnissen über den Merkmalsbereich (so rational wie möglich!)  
• Nenne mir die drei Techniken zur systematischen Itemgenerierung: 1. Facettenthoerie 2. AFA= Act frequency approach (Ansatz der Verhaltenshäufigkeiten) 3. CIT= Critial incident technique (Methode der kritischen Ereignisse)
• Was ist das AFA? 1.      AFA = Act frequency approach (Ansatz der Verhaltenshäufigkeiten) -        Metatheorie der Persönlichkeit -        Dispositionen = kognitive Kategorien -        Verhaltensweisen nach Häufigkeit des Auftretens zusammengefasst -        Erstellung von prototypischen Eigenschaften. -        Vorgehen: o Konstrukt vorgeben o Befragung: Vpn notieren prototypische Verhaltensweisen o Unabh. Vpn schätzen die so enstandenen Items nach ihrer Wichtigkeit ein -        Vorteil: unabhängig von der Intuition des Testautors -        Nachteil: Beschränkung auf Aktivitäten. (Interindividuelle Unterschiede in der Tendenz Aktivitäten zuzustimmen)
• CIT was ist das für eine Methode? 1.      CIT = Critical incident technique ( Methode der kritischen Ereignisse) -        Ursprünglich Verfahren zur beruflichen Leistungsbeurteilung -        Idee: Leistungen schlagen sich in erfolgskritischen Ereignissen nieder -        Ähnlicher Ablauf wie AFA o Befragung: Vpn notieren kritische Ereignisse o Unabh. Vpn schätzen die Erfolgswirksamkeit dieser Ereignisse ein o Besonders geeignet für kriterienbezogene Tests  
• Item besteht aus: -         Itemstamm -         Antwortformat
• Richtlinien zum Itemstamm: -         Verständlichkeit -        Keine doppelten Verneinungen -        Keine unverständlichen Ausdrücke (=> Zielgruppe) -        So knapp wie möglich -         Eindeutigkeit -        Pro Item nur ein sachlicher Gedanke -        Keine starken Verallgemeinerungen -        Eindeutige zeitliche und situative Bezüge -         Vermeidung von Antworttendenzen -        Keine suggestiven und wertenden Formulierungen -        Keine Gemeinplätze => Verständlichkeit und Eindeutigkeit in Vortest überprüfen!
• Anzeige
• Typologie der Antwortformate: 1.      Aufgaben mit freiem Antwortformat (1)  Kurzaufsatzaufgaben (2)  Ergänzungsaufgaben 2.      Aufgaben mit gebundenem Antwortformat (1)  Ordnungsaufgaben i. Zuordnungsaufgaben ii. Umordnungsaufgaben (2)  Auswahlaufgaben i. Dichotome Aufgaben ii. Mehrfachwahlaufgaben (3)  Beurteilungsaufgaben i. Analogskalaaufgaben ii. Ratingskalaaufgaben 3.      Aufgaben mit atypischen Antwortformat.  
• Offenes Antwortformat: Kurzaufsatzaufgaben, Ergänzungsaufgaben -         keine Zufallslösungen möglich -         Keine Stadardisierung der Antworten -         evtl. mangelnde stochastische Unabhängigkeit der Items (Folgefehler) -         mangelnde Auswertungsobjektivität -         größerer Auswertungsaufwand
• Ordnungsaufgaben: Zuordnungsaufgaben, Umordnungsaufgaben -         hautsächlich in Leistungstests bei Zuordnungsaufgaben relativ hohe Ratewahrscheinlichkeit, Möglichkeit von Folgefehlern
• Dichotome Auswahlaufgaben: -         bei Leistungstests und in Persönlichkeitstests (ja-nein-Fragen) -         besonders einfache Auswertung auch ohne PC -         weniger Information als bei Ratingskalen -         bei Leistungstests hohe Ratewahrscheinlichkeit -         Leichtere Anwendung der probabilistischen Testtheorie
• Mehrfachwahlaufgaben:   -         mehr als zwei Antwortalternativen (meist 4 – 5) -         Formen: o      Multiple Choice (eine oder mehrere richtige Lösungen) Schwierigkeit hängt von den Distraktoren ab o      Forced Choice §       Wirkt Tendenz zur sozialen Erwünschtheit entgegen §       Hoher Konstruktionsaufwand §       Ipsative Messung: Antwortalternativen werden unterschiedlichen Merkmalen zugeordnet => keine stochastische Unabhängigkeit  
• Reihenfolgeeffekte sind: -         sowohl zwischen den Aufgaben als auch innerhalb einer Aufgabe zwischen den Antwortalternativen -         z. B. Assimmilationseffekt (Frage B wird als zusammenhängend mit Frage A eingeordnet und mit gleicher Tendenz beantwortet (Positiv)), Kontrasteffekt (Frage B wird als entgegengesetzt zu Frage A eingeordnet und mit entgegengesetzter Tendenz beantwortet.(Negativ))
• Berechnung der Itemschwierigkeiten: Def:             Itemschwierigkeit P = der prozentuale Anteil der richtigen Lösungen NR (bei Ja-Nein-Fragen: Anteil der Zustimmungen) an allen Lösungen N P =  (NR / N) · 100   => Je mehr richtige Lösungen, desto höher P (also „Itemleichtigkeit“!)
• Interpretation der Itemschwierigkeit: -         Zahl der theoretisch möglichen Unterscheidungen zwischen der Gruppe der „Guten“ und der Gruppe der „Schlechten“ hängt direkt von der Itemschwierigkeit ab (bei 50 am höchsten) => höchster Informationsgehalt -         Faustformeln: Items mit Schwierigkeit <20 oder >80 eliminieren (bzw. <10, >90) -         um an den „Enden“ zu differenzieren, werden aber auch „extreme“ Items benötigt (vollständige Abdeckung des Merkmalsbereichs) -         ein Test, der viele extreme Items enthält, ist hinsichtlich Itemhomogenität, Trennschärfe, Reliabilität und Validität eingeschränkt.
• Trennschärfenanalyse befasst sich mit welcher Frage? Wie gut speigelt ein Item die Gesamtskala wieder? Hierzu wird die Korrelation des Items mit der Skala berechnet.
• Trennschärfenanalyse: Wie gut spiegelt ein Item die Gesamtskala wider? Hierzu wird die Korrelation des Items mit der Skala berechnet. Part-Whole-Korrektur: Da das Item sonst in die Gesamtskala mit eingeht und die Korrelation damit überschätzt würde, wird das Item bei der Korrelationsberechnung aus der Skala herausgenommen. (Besonders wichtig bei kurzen oder sehr homogenen Skalen)   Ratingskala: Trennschärfe = Produkt-Moment-Korrelation nach Part-Whole-Korrektur Dichotome Items: Trennschärfe = punktbiseriale Korrelation nach Part-Whole-Korrektur
• Faustregel der Trennschärfe: Trennschärfe sollte mindestens .30 betragen. (Aber immer inhaltliche Gesichtspunkte beachten!) Wünschenswert: gleichmäßige Trennschärfe aller Items einer Skala  
• Fremdtrennschärfe: -         Korrelation eines Items zu einer anderen Skala Part-whole-Korrektur offensichtlich nicht notwendig
• Selektion von Items aufgrund der Itemanalyse: Alle Kriterien müssen simultan betrachtet werden, kein „automatischer“ Ausschluss aufgrund von Einzelkriterien. Inhaltliche Gesichtspunkte spielen ebenfalls eine Rolle. -         Items mit extremer Schwierigkeit können bei hoher Trennschärfe beibehalten werden -         unzureichende Trennschärfe wird nicht durch mittlere Schwierigkeit kompensiert -         Items mit sehr geringer Trennschärfe sollte ausgeschlossen werden
• Verzerrung der Trennschärfe: -         durch Ausreißer => Varianzerweiterung durch schiefe Verteilung => Varianzeinschränkung Korrektur  mit schwierigkeitsproportionaler Stichprobenverteilung
• Überblick über die Probabilistische Testtheorie: Grundlagen des Rasch-Modells: => Lösungswahrscheinlichkeit hängt nur von 2 Parametern ab: -         Personenparameter θ: Fähigkeit oder Eigenschaftsausprägung der Person (probabilistischer Zsh.) -         Itemparameter σ: Schwierigkeit des Items Schätzung der Parameter: 1.      Itemparameter - muss zuerst geschätzt werden - conditional Maximum-Likelihood-Methode (cML) 2.      Personenparameter besitzen Differenzskalenniveau (logarithmierte Verhältnisskala), logit-Einheit   ð     Item- und Personenparameter haben die gleiche abstrakte Einheit (Logit) ð     Interpretation von Differenzen zulässig ð     Werte Bereich -∞ bis ∞ (meist -3 bis +3) negativ: leichtes Item / geringe Fähigkeit positiv: schweres Item / hohe Fähigkeit ð     Die Lösung ist um so wahrscheinlicher, je weiter die Fähigkeit die Itemschwierigkeit übersteigt: θ – σ ð     Kriteriumsorientierte Interpretation der Personenparameter Normstichprobe nicht notwendig
• Durch welche Modelltests wird festgestellt, ob das Rasch-Modell durch die Daten abgelehnt werden muss? 1.      Grafischer Modelltest Streudiagramm geschätzte Parameter aus 2 Stichproben kein Signifikanztest! 2.      Anderson Likelihood-Quotienten-Test Signifikanztest 3.      Pearson χ2-Test eher nicht sinnvoll, da Voraussetzungen meist nicht erfüllt 4.      Bootstrap-Methode eher nicht sinnvoll
• Durch welche Modelltests wird festgestellt, ob das Rasch-Modell durch die Daten abgelehnt werden muss? 1.      Grafischer Modelltest Streudiagramm geschätzte Parameter aus 2 Stichproben kein Signifikanztest! 2.      Anderson Likelihood-Quotienten-Test Signifikanztest 3.      Pearson χ2-Test eher nicht sinnvoll, da Voraussetzungen meist nicht erfüllt 4.      Bootstrap-Methode eher nicht sinnvoll
• Durch einige Modelltests wird festgestellt, ob das Rasch-Modell durch die Daten abgelehnt werden muss. Was passiert, wenn das Modell nicht abgelehnt wird? -         Summenwert der Items ist erschöpfende Statistik der Personenfähigkeit (d. h. liefert alle Informationen über die Fähigkeitsausprägung der Person) -         Test misst ein eindimensionales Konstrukt (d. h. Korrelation zwischen den Items verschwindet bei konstanter Ausprägung der latenten Eigenschaft = lokale Unabhängigkeit) -         Vergleiche zwischen Personen sind spezifisch objektiv, d. h. o      Vergleiche zwischen Personen sind invariant über die spezifischen Items o      Vergleiche zwischen Items sind invariant über die spezifischen Personen, an denen die Items kalibriert werden.
• Skaleninvarianz? Skaleninvarianz beschreibt die Eigenschaft eines Zustands, Vorgangs, Verhältnisses oder einer Situation, bei dem bzw. der auch bei Veränderung der Betrachtungsgrößen (Skalierung) die Eigenart oder Charakteristik inklusive seiner Eckwerte weitestgehend exakt gleich bleibt, so dass ein Zustand der Universalität gegeben ist.
• probabilistische Testmodelle für dichotome Daten: -         1-Parameter Modell = Rasch-Modell: Personen- und Itemparameter -         2-Parameter Modell: zusätzlicher Parameter ist Trennschärfe -         3-Parameter Modell: zusätzlicher Parameter ist Ratewahrscheinlichkeit

zurück  |  weiter 1 / 2