77
Grundlagen der Testkonstruktion (Fach) / Grundlagen der Testkonstruktion (Lektion)
Anzeige
- Das 2-Parameter-Modell oder Birnbaum-Modell welche Parameter enthält das Modell zusätzlich? Die Trennschärfeparameter
- Wie ist dieTrennschärfe in der PTT definiert? Definiert als Steigung der Item-Characteristic-Curve ICC Je steiler die ICC desto höher die Trennschärfe
- Definition der Itemschwierigkeit in der PTT: Definiert als die Stelle auf der x-Achse, an der die Lösungswahrscheinlichkeit =.50 ist.
- Wie wird die Trennschärfe im dichotomen Rasch-Modell gesetzt? Wie im 2-Parameter-Modell? Was sind hierbei die folgenden Probleme? Im dichotomen Rasch-Modell wird die Trennschärfe für alle Items = 1 gesetzt! Im 2-Parameter-Modell ist die Trennschärfe pro Item ein eigener Parameter. Das kann zu folgenden Problemen führen: - es sind mehr Parameter zu schätzen, dies führt zu geringerer Schätzgenauigkeit - eine ungewichtete Summenbildung ist nicht mehr zulässig, die Items müssen mit der Itemtrennschärfe gewichtet werden - die unterschiedliche Trennschärfe kann zu höherer Lösungswahrscheinlichkeit bei höherer Itemschwierigkeit führen! (vgl. Abb. 3.18 S. 87) Notwendig für die Anwendung des 2-Parameter-Modells ist der Nachweis, dass der Test eindimensional ist. Das ist in der Praxis selten möglich.
- Das 3-Parameter-Modell was ist hier der zusätzliche Parameter? Die Ratewahrscheinlichkeit γi. Die Annahme einer konstanten Ratewahrscheinlichkeit ist kaum plausibel. Die Anwendung des Modells ist nicht zu empfehlen.
- Schwellenkonzept: ein dichotomes Item mit den Antwortkategorien „Ja/Nein“. Man kann sich vorstellen, dass es irgendwo eine Grenze oder einen Übergang geben muss, an der es wahrscheinlicher ist, die Kategorie „(1) = Ja“ als die Kategorie „(0) = Nein“ zu wählen. Beim dichotomen Modell ist die wahl der Schwelle gleichwahrscheinlich. - erläutert am dichotomen Modell 0 / 1: p (0) = Wahrscheinlichkeit, die Kategorie 0 zu wählen, abh. von Personenfähigkeit p (1) = Wahrscheinlichkeit, die Kategorie 1 zu wählen, abh. von Personenfähigkeit Schwelle = Schnittpunkt der beiden Funktionen = Wendepunkt der logistischen Funktionen - Übertragung auf mehr als 2 Antwortkategorien: => es gibt mehrere Schwellenwerte (Anzahl Klassen – 1) Voraussetzung für die Anwendung des Modells: Die Schwellen müssen geordnet sein, d. h. sie dürfen sich nicht überschneiden.
- Schwellenkonzept: ein dichotomes Item mit den Antwortkategorien „Ja/Nein“. Man kann sich vorstellen, dass es irgendwo eine Grenze oder einen Übergang geben muss, an der es wahrscheinlicher ist, die Kategorie „(1) = Ja“ als die Kategorie „(0) = Nein“ zu wählen. Beim dichotomen Modell ist die Schwelle gleich wahrscheinlich. - erläutert am dichotomen Modell 0 / 1: p (0) = Wahrscheinlichkeit, die Kategorie 0 zu wählen, abh. von Personenfähigkeit p (1) = Wahrscheinlichkeit, die Kategorie 1 zu wählen, abh. von Personenfähigkeit Schwelle = Schnittpunkt der beiden Funktionen = Wendepunkt der logistischen Funktionen - Übertragung auf mehr als 2 Antwortkategorien: => es gibt mehrere Schwellenwerte (Anzahl Klassen – 1) Voraussetzung für die Anwendung des Modells: Die Schwellen müssen geordnet sein, d. h. sie dürfen sich nicht überschneiden.
- Was ist das Mixed-Rasch-Modell? - quantifizieren und klassifizieren zugleich - sucht nach Personengruppen, die sich maximal in ihrem Antwortverhalten unterscheiden - These: deutet auf verschiedene zugrunde liegende latente Konstrukte hin - innerhalb jeder Klasse gilt das Rasch-Modell => Modell zeigt Verletzung der Eindimensionalitätsannahme auf => entsprechende Items werden aus dem Test entfernt.
- CFA wird wann angewendet? konfirmatorische Faktorenanalyse Wenn es eine Präzise Vorstellung über interne Strukturen gibt. Man geht von einer Hypothese aus, die man überprüft. Sonst Exploratie Faktorenanalyse (EFA) Es wird gezielt nach Strukturen gesucht.
- EFA wird wann angewendet? die explorative Faktorenanalyse (EFA) wird angewendet, wenn gezielt nach Strukturen gesucht wird.
- Anzeige
- Ziel der Faktoranalyse? - Ziel: Datenstrukturierung - statistisches Verfahren mit breitem Anwendungsgebiet - Untersuchung der Korrelationsmuster von Variablen Speziell: viele manifeste Variablen (Indikatoren, Items) auf wenige latente Variablen zurückführen
- Nenn mir die 3 Zwecke, in denen sich die Datenanalysen Unterscheiden: Es lassen sich 3 Zwecke unterscheiden: (Thompson 2004) 1. Prüfung der Gültigkeit theoretischer Modellannahmen (Theorie Prüfung)=> CFA 2. Entwicklung von Theorien über die interne Struktur psychologischer Konstrukte (Theoriebildung) => EFA 3. Datenreduktion durch Zusammenfassen von Variablen zu Faktoren (Datenreduktion) => EFA
- Was wird bei der Faktorenanalye Faktoren genannt und mit was sind sie zu unterscheiden? Die latenten Variablen heißen Faktoren bei der Faktorenanalyse und sind streng zu unterscheiden von den gleichnamigen unabhängigen Variablen in der Varianzanalyse.
- Effektindikatorenmodell= Faktorenanalyse Ausprägung der Vpn bei den Indikatoren wird durch latentes Konstrukt η1 beeinflusst. Die KTT beruht auf einem faktorenanalytischen Modell, denn sie unterstellt die Kovarianz der Indikatoren, da sie vom selben Konstrukt beeinflusst sind.
- Kausalindikatoren= Regressionsanalyse Bei der Faktorenanalyse wird darauf geschlossen, wie viele latente Konstrukte hinter welchen manifesten Variablen stehen und ggf. wie die latenten Konstrukte inhaltlich zu interpretieren sind. Bei der CFA erfolgt die Interpretation und Zusammenfassung dabei vor Beginn der Datenanalyse, bei der EFA bilden die Daten die Grundlage der Interpretation.
- Regressions- / Varianzanalyse: Kausalindikatorenmodell: Abhängige Variable η1 wird (kausal) von unabhängigen Variablen beeinflusst. Achtung: Kriterienorientierte (externale) Testkonstruktion entspricht dem Kausalindikatorenmodell.
- Nenne mir die beiden am häufigsten verwendeten Verfahren bei EFA: - Hauptachsenanalyse (principal axis factor analysis: PAF) dient der Aufdeckung latente Strukturen - Berechnung der Faktoren erfolgt Schrittweise - Algorithmus ist iterativ - Es geht um die Entdeckung theoretischer Variablen, die hinterher den beobachteten stehen. - Ist ein theoriebildendes oder hypothesengenerierendes Verfahren - Hauptkomponentenanalyse (principal component analysis (PCA) keine Faktorenanalyse im engeren Sinne hauptsächlich zur Datenreduktion Voreinstellung in SPSS - Berechnung der Faktoren erfolgt in einem Schritt - Es geht um die möglichst sparsame Beschreibung der ursprünglichen Daten - Verwendung wird abgeraten
- Hauptachsenanalyse (principal axis factor analysis: PAF) dient der - Hauptachsenanalyse (principal axis factor analysis: PAF) dient der Aufdeckung latente Strukturen - Berechnung der Faktoren erfolgt Schrittweise - Algorithmus ist iterativ - Es geht um die Entdeckung theoretischer Variablen, die hinterher den beobachteten stehen. Ist ein theoriebildendes oder hypothesengenerierendes Verfahren
- Hauptkomponentenanalyse (principal component analysis (PCA) ist: - keine Faktorenanalyse im engeren Sinne hauptsächlich zur Datenreduktion Voreinstellung in SPSS - Berechnung der Faktoren erfolgt in einem Schritt - Es geht um die möglichst sparsame Beschreibung der ursprünglichen Daten - Verwendung wird abgeraten
- Schritte der explorativen Datenanalyse 1. Prüfung der Voraussetzungen einer EFA 2. Auswahl der faktorenanalytischen Methode 3. Festlegung der Anzahl der extrahierten Faktoren 4. Festlegung der Methode der Rotation 5. Inhaltliche Interpretation der Faktoren Festlegung der Methode zur Ermittlung der Faktorwerte
- Prüfung der Voraussetzungen einer EFA: a) Korrelation der Items b) Stichprobengröße c) multivariate Verteilungseigenschaften der Items zu 1a) Korrelation der Items Mindestvoraussetzung: Korrelationsmatrix entspricht nicht der Diagonalmatrix (= unabhängige Variablen) Test: - Bartlett-Test auf Sphärizität oder - Kaiser-Meyer-Olkin-Koeffizient (KMO-Koeffizient) möglichst hoch (> .50) oder - Kommunalität einzelner Items > .20, z. B. MSA-Koeffizient (measure of sample adequacy) Zu 1b) Stichprobengröße absolutes Minimum: Stichprobe > Anzahl Variablen Die Stichprobe sollte um so größer sein, - je mehr Items - je weniger Items pro Faktor - je niedriger die Reliabilität der Items. Außerdem ist sie abhängig von der verwendeten Methode. Zu 1c) multivariate Verteilungseigenschaften der Items - kontinuierliche Messung (mindestens Intervallskalenniveau) - Normalverteilung => bei Fragebogenitems meist nicht erfüllt! Insbesondere bei ungleichen Verteilungen der Items (z. B. links-/rechtssteil) können extrahierte Faktoren gleiche Verteilungseigenschaften statt inhaltlicher Zusammenhänge widerspiegeln! (Methodenartefakte) => deskriptive Itemstatistiken überprüfen! - Einige Verfahren fordern zusätzlich multivariate Normalverteilung der Items. Diese Voraussetzung ist fast nie erfüllt, kann auch nicht standardmäßig mit SPSS überprüft werden. Empfohlenes Vorgehen bei nicht erfüllten Voraussetzungen: - Transformation der Daten (z. B. log-linear) - Zusammenfassen von Items zu „Päckchen“ vor der Faktorenanalyse (insbes. bei CFA) - Faktorenanalyse höherer Ordnung - statt Produkt-Moment-Korrelation Analyse von o tetrachorischer Korrelation bei dichotomen Items o polychorische Korrelation bei Ratingskalen - Anwendung alternativer faktorenanalytischer Methoden (beruhend auf PTT)
- Ladungsmatrix: Bei Unkorreliertheit der Faktoren lassen sich die Ladungen als Korrelation zwischen dem jeweiligen Item und dem Faktor interpretieren. Ladungsmatrix: - Zeilen = Variablen - Spalten = Faktoren - Zellen = Ladungen - Zeilensumme der quadrierten Ladungen = Kommunalität h2 Wichtig: - Jedes Item lädt auf alle Faktoren! Jeder Faktor setzt sich aus Ladungen aller Items zusammen!
- Kommunalität: - Die Kommunaliltät ist der Anteil der Varianz eines Items, der durch alle extrahierten Faktoren gemeinsam aufgeklärt werden kann. - Untergrenze für die Schätzung der Reliabilität des Items - Grundproblem der Faktorenanalyse: Kommunalität muss geschätzt werden, bevor die Faktorenanalyse durchgeführt werden kann
- Was ist der Untschied zwischen dem PCA (Hauptkomponentenanalyse) und dem PAF (Hauptachsenanalye)? - PCA (Hauptkomponentenanalyse) in der Hauptdiagonale der Korrelationsmatrix werden Einsen eingetragen Schätzung geht also von vollständiger Aufklärung der Varianz aus - PAF (Hauptachsenanalyse) und andere Varianten: in der Hauptdiagonale multiple Korrelationskoeffizienten R2 zwischen diesem Item und allen anderen Items konservative Schätzung der Kommunalität
- Prinzip der Hauptkomponentenanalyse (PCA): - Suche der Geraden, die die geringste Entfernungssumme zu den Punkten hat => erste Hauptkomponente - Suche nach einer unkorrelierten Geraden, die unter dieser Bedingung die geringste Entfernungssumme hat => zweite Hauptkomponente - so lange fortfahren, bis die gesamte Varianz aufgeklärt ist => man erhält so viele Hauptkomponenten wie Variablen vorhanden waren => diese neuen Variablen sind nach Varianzaufklärung geordnet => man kann die letzten Variablen mit relativ geringem Informationsverlust weglassen => datenreduzierendes Verfahren
- Prinzip der Hauptachsenanalyse (PAF): - iterativer Algorithmus (konvergiert nicht notwendig) - erster Schritt entspricht dem Vorgehen der Hauptkomponentenanalyse, bricht allerdings nach einem Extraktionskriterium ab: - es ergeben sich neue Schätzungen für die Kommunalitäten, die in die Diagonale der Korrelationsmatrix eingesetzt werden - Durchführung einer erneuten Hauptkomponentenanalyse - und so weiter, bis die Schätzungen nach einem Konvergenzkriterium konvergieren - Ziel ist die Entdeckung theoretischer Variablen => hypothesengenerierendes Verfahren
- Festlegung der Anzahl der extrahierten Faktoren (Schritte der explorativen Datenanalyse): - kein allgemeingültiges Kriterium! - theoretisches Modell über die Anzahl und Größe der Daten - Eigenwertkriterium Eigenwert = Spaltensumme der quadrierten „a“ Faktorladungen = Varianz des Faktors gemessen in Einheiten der Varianz je Item. o Faustregel: Eigenwert > 1 (Kaiser-Guttman-Kriterium) nach KG-Kriterium sollen alle Komponenten extrahiert werden, deren Eigenwert größer Eins ist. (da durch die neue Variable aufgeklärte Varianz größer als durch die alte Variable aufgeklärte Varianz) => häufig zu viele Komponenten o Grafische Analyse des Eigenwertverlaufs Scree-Test => Stop bei abknickender Linie (deutlich abfallender Eigenwert) o Signifikanztests z. B. Bartlett-Test, χ2-Test => oft zu viele Komponenten o Parallelanalyse nach Horn Vergleich der Eigenwerte mit den Eigenwerten von Zufallmatrizen z. B. Faktoren dann beibehalten, wenn Eigenwerte größer als 95% der zufälligen Eigenwerte => bei großen Stichproben zu viele Komponenten o Minimum-Average-Partial-Test (MAP-Test)