39

messtheorie (Fach) / KFU (Lektion)

Diese Lektion wurde von errorkeks erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• 1. Was ist das Nebengütekriterium Skalierung und wie kann es überprüft werden? Ein Test erfüllt das Gütekriterium der Skalierung, wenn die laut Verrechnungsregel resultierenden Testwerte die empirischen Merkmalsrelationen adäquat abbilden. Die Umsetzbarkeit dieses Gütekriteriums hängt vom Skalenniveau des Messinstruments ab. Muss empirisch widerlegbar sein. Misst man überhaupt? Z.B. Können Personen zwischen trifft auf mich zu/nicht/teilweise gleich unterscheiden?
• Unterschiede zwischen KTT und PTT? KTT (‚Old Rules‘)Standardmeßfehler = gleich über alle Testscores einer Population.Je länger ein Testverfahren, desto reliabler ist es.Schätzung von (aussagekräftigen) Itemkennwerten ist nur auf Basis repräsentativer Stichproben möglich.Die Bedeutung von Testscores ist iA normativ gegeben bzw. festgelegt.Intervallskalenqualität kann über NV der Testscores erreicht werden.Gemischte Antwortformate führen zu gewichteten Testscores.Differentielle Veränderungsmessung ist nicht möglich, wenn Ausgangslevels unterschiedlich sind (Ausgangswert-Problem).Faktorenanalyse dichotomer Items führt zu artifiziellen Faktoren.Itemmerkmale sind unwichtig im Vergleich zu psychometrischen Skaleneigenschaften. PTT (‚New Rules‘)Standardmeßfehler = ungleich für alle Testscores, generalisiert aber über Populationen.Kürzere Testverfahren können reliabler sein als längere.Schätzung von Itemkennwerten ist stichprobenunabhängig.Testscores erlangen Bedeutung über Vergleich mit Items.Intervallskalenqualität ergibt sich auf Basis zugrundgelegter , empirisch prüfbarer Testmodelle.Gemischte Antwortformate können parametrisiert werden.Differentielle Veränderungsmessung ist auch bei unterschiedlichen Ausgangslevels möglich.Faktorenanalyse dichotomer Items über Full-Information-FA möglich.Itemmerkmale können direkt mitpsychometrischen Skaleneigenschaftenverbunden werden (= AIG!).
• Linear logistisches Testmodell, Grundgedanken und ein Anwendungsbeispiel? Restriktion der 1PL Rasch Modells durch ein Modell zur Prognose der Itemparameter. Itemparameter lassen sich vollständig aus der gewichteten Summe der Basisoperationen vorhersagen.Ursprüngliche Idee war es, die Schwierigkeit eines dem Modell von Rasch entsprechenden Items auf die Schwierigkeit jener kognitiven Fertigkeiten zurückzuführen, die aufgrund theoretischer Überlegungen im Vorfeld der Lösung des Items zugrunde liegen.Anwendungsbeispiele wären z.B. für den Vergleich von Gruppen, Positionseffekten, oder zur Modellierung des Einflusses von Lernprozessen.
• 4. Ein Nebengütekriterium erklären Zumutbarkeit: z.B. Fragen in Assesement Center zur Berufsauswahl sind sehr privat und intim, hier nicht zumutbar, aber im klinischem Setting notwendig und zumutbar seinÖkonomie: vertretbarer Zeitaufwand und sinnvolle Länge, aber lang genug für sinnvolles Ergebnis sein(Fairness, Skalierung, Normierung)
• Inwiefern ist der psychologische Test ein Spezialfall des psychlogischen Experiments? Experiment = bewusste Variation von UV(s) zum Zweck der Beobachtung von Veränderungen in AV(s) Psychologischer Test: UVs = Item, Testpersonen AV = Itemantworten = psychologisches Experiment mit dem Ziel, vergleichende Aussagen über Personen abzuleiten Unterschied: Skalierung (Experiment: intervallskaliert, Test: nominal-/intervallskaliert)
• Nennen Sie die Skalenniveaus, Beispiele und Unterschiede zu diesen. Siehe Grafik 1.0(antwort evt. als Textvormat verarbeiten)
• Was ist ein Testmodell? = formales, reduziertes Abbild der Realität, welches durch die Art der empirischen Daten, welche mit psychologischen Testverfahren gesammelt werden, definiert ist (Personen x Items Matrix) Was erklären Testmodelle?  Ein Testmodell erklärt  Systematische Zusammenhänge in den manifesten (direkt beobachtbaren) Antworten/Reaktionen von Personen bzgl. der vorgegebenen Items  durch Annahme einer/mehrerer latenten (verborgenen) Personenvariable(n)    Ein Testmodell erklärt damit  multivariate Zusammenhänge zwischen mehreren manifesten Variablen (Items)  durch Ausprägung auf einer als latent angenommenen Personenvariable
• Wie hängen Reliabilität, Validität und Objektivität zusammen? Die Objektivität der Testdurchführung ist eine Voraussetzung für Reliabilität & Vailidität Die Unabhängigkeit von der Testsituation hängt zusammen mit der Validität der Ergebnisse und ihrer Generalisierbarkeit Mit zunehmender Reliabilität steigt auch die Validität an
• Nennen und beschreiben Sie die Hauptgütekriterien. (1) Objektivität: Unabhängigkeit des Testergebnisses davon, wer den Test vorgibt (Durchführungsobjektivität) davon, wer den Test auswertet (Auswertungsobjektivität) davon, wer den Test interpretiert (Interpretationsobjektivität) davon, welche Items aus einem Itemuniversum vorgegeben werden (spezifische Objekt.) von Umgebungsbedingungen (intern valide: Umgebungsbedingungen konstant gehalten; extern valide) (2) Reliabilität: Zuverlässigkeit eines Tests, Messgenauigkeit ( KTT) (3) Validität: Test misst, was er messen soll ( KTT)  externe Validität: Korrelation mit validem Außenkriterium interne Validität: Geltung des zugrundegelegten Testmodells über das Antwortverhaltens
• Welche vier Arten der Skalenkonstruktion gibt es? Rationale Konstruktion  Deduktive Vorgangsweise: Ausgangspunkt = Theorie über zu messenden Verhaltensbereich  Operationalisiert über Indikatoren  Wichtig: Validierung!  Bsp.: Tests auf Basis des SOI-Modells von Guilford; Personal data Sheet von Woodworth   Externale Konstruktion  Kriteriumsbezogene Vorgangsweise: Ausgangspunkt sind Probandengruppen  Diese bearbeiten umfangreiches Itemset  Suche nach Items, die am besten zwischen den Gruppen differenzieren (z.B. auf Basis von rit = Itemtrennschärfen)  Zusammenfassung zu Skala  Bsp: Simon-Bindet-Intelligenztest (Staffeltest); MMPI-2   Induktive Konstruktion  Methodenbezogene Vorgangsweise: Ausgangspunkt ist Itemset, welches (atheoretisch) auf Vorhandensein latenter Faktoren untersucht wird  (zumeist) faktorenanalytischer Zugang  Bsp: Primary Mental Abilities (PMA, Thurstone); NEO-FFI (Big Five)   Prototypenansatz  Analytische Vorgangsweise  1. Schritt: ‚prototypische‘ Elemente des zu erfassenden Verhaltensbereichs werden erfasst (z.B. über ‚Act Frequency Approach‘: z.B. ‚Dominanz‘:Nennung von z.B. 8 Verhaltensweisen, die man für besonders indikativ hält  2. Schritt: Vorlage der gesammelten Verhaltensweise und Vorgabe an neue Gruppen von Personen, welche die hochindikativen von niedrigindikativen Eigenschaften trennt  Empirische Prüfung, ob hochindikative Eigenschaften zwischen Personengruppen trennen  Bisher weniger Verfahren: diese weisen höhere Validität auf!
• Anzeige
• Wie wird das Hauptgütekriterium „Reliabilität“ im Rahmen der KTT definiert und wie praktisch berechnet? = Genauigkeit einer Messung = Anteil der wahren Varianz an der Messwertevarianz Berechnung: Korrelation zweier Paralleltests (auf Item- oder Skalenebene)
• Erkläre, was Chronbachs Alpha ist und Alternativen dazu. Methode zur Reliabilitätsbestimmung der internen Konsistenz (Itemebene) = Zerlegung des Tests in so viele Teile, wie er Items aufweist; die bekannteste Formel stammt von Cronbach Alternative: Guttman’s Lambda 4 (?4)
• Werte der Taylor Russel Tafeln: Welche Werte werden für die Taylor-Russel-Tafeln herangezogen? Wofür werden die Taylor-Russel-Tafeln verwendet? Grundquote GQ, Selektionsquote SQ und Validität des Tests Um den Anteil der geeigneten Personen unter den ausgewählten Personen zu bestimmen
• 10) Was versteht man in der KTT unter Itemtrennschärfe? = wie gut ein Item zwischen erfolgreichen und weniger erfolgreichen Testpersonen unterscheidet = Korrelation des jeweiligen Items mit der Gesamtskala (korrigiert: ohne analysiertes Item)
• Wie kann eine Itemtrennschärfe von r = -1.0 inhaltlich interpretiert werden? Item misst das Gegenteil der Gesamtskala (+1: Item differenziert so gut wie Gesamtskala 0: kein Zusammenhang zwischen Item und Gesamtskala)
• 13) Welche Nachteile hat die KTT im Vergleich zur PTT?  Prüfung der Skalenqualität: In KTT wird Intervallskalenniveau der konstruierten Testverfahren angenommen, aber nicht belegt (Skalierung ist nicht prüfbar)  Stichprobenabhängigkeit der Kennwerte der KTT  Homogenität der nach KTT konstruierten Skalen ist nicht prüfbar
• 14) Beschreiben Sie die Grundannahmen der IRT (=PTT)  Lokale stochastische Unabhängigkeit: Latente Variable = Ursache für manifeste Variable  Korrelation zwischen Items werden nur durch latente V. erklärt / Items sind ‚homogen‘  Handhabbarkeit: Möglichst einfache mathematische Handhabbarkeit  Zusammenhang manifeste & zugehörige latente Variablen:  manifeste Variable = im Antwortverhalten direkt beobachtbar  latente Variable = dahinterliegende Dispositionen (Fähigkeiten …)
• Erklären Sie das Rasch-Modell und seine Verallgemeinerung. Antwortverhalten ergibt sich aus: Personenfähigkeit - Itemschwierigkeit Mixed Rasch Modell bei dichotomen Daten: Verallgemeinerung des 1PL Rasch Modells bei Vorliegen einer Mischverteilung bzw. einer heterogenen Population aus der die Daten gezogen wurden. Partial Credit Modell: Verallgemeinerung des 1PL Rasch Modells auf mehrere geordnete Antwortkategorien
• Vergleichen Sie das 1PL-Modell von Rasch und das 2PL-Modell von Birnbaum. 1PL-Modell: hält alle Diskriminationsparameter auf dem Wert 1 konstant 2PL-Modell: lässt außer verschiedenen Lokationen auf der joint scale mit verschiedenen Steigungen der logistischen IC-Funktionen zu.
• 17) unterschiede 1PL-Rasch Modell und Partial Credit Modell 1PL-Rasch Modell: dichotomes Antwortformat Partial-Credit-Modell: Ratingskala
• Was ist der Unterschied zwischen dem 2 PL und dem 3 PL Modell ? 2PL-Modell: 2 Itemparameter (Schwierigkeitsparameter & Diskriminationsparameter) 3PL-Modell: 3 Itemparameter (zusätzlicher Rateparameter)
• Was sind die Unterschiede zwischen dem 3 PL Modell und dem Partial Credit Modell? Siehe Grafik 1.1
• Skizzieren Sie das 2PL Birnbaum Modell. Siehe Grafik 2.0
• Skizzieren Sie das 3PL Modell von Birnbaum. Siehe Grafik 2.1
• Skizziere das Partial-Credit Modell und nenne sowohl ein Anwendungsbeispiel als auch dessen Verallgemeinerungen. Siehe Grafik 2.2 Verallgemeinerung des 1PL Rasch Modells auf mehrere geordnete Antwortkategorien Anwendung: Leistungstest mit abgestufter Bewertung der Antworten Verallgemeinertes Partial Credit Modell Grundidee: Verallgemeinerung des Partial Credit Modells durch die Berücksichtigung eines Trennschärfeparameters Mixed Partial Credit Modell Grundidee: Verallgemeinerung des Partial Credit Modells bei Vorliegen einer Mischverteilung bzw. einer heterogenen Population aus der die Daten gezogen wurden
• Welche Likelihoods werden beim Likelihood Quotienten Test (LQT) verglichen? Warum? Conditional-Maximum-Likelihood Schätzungen Zur numerischen Prüfung der Modellkonformität
• KTT: Arten der Reliabilität auf Item- und Skalenebene! SKALENEBENE: Retest-Reliabilität, Paralleltestreliabilität 1. Retest-Reliabilität: Ein &derselbe Test, wird gleichen Stichprobe ein zweites Mal vorgegeben und Korrelation berechnet.  Problem: Zeitintervall  Lösung: stabiles Merkmal (Intelligenz)  längeres Retest Intervall instabiles Merkmal (Emotion)  kürzeres Retest Intervall 2. Paralleltestreliabilität: Vorgabe und Korrelation paralleler Testformen.  Problem: Konstruktion von Parallelformen (hoher Aufwand, Gleichwertigkeit) oder Pseudoparalleltest (andere Itemreihenfolge) ITEMEBENE: Split-half-Reliabilität bzw. Interne Konsistenz 1. Split-half-Reliabilität: Test wird nach Vorgabe auf zwei möglichst äquivalente Hälften aufgeteilt & Korrelation berechnet.  Aufteilung: ‒ odd even: wenn Items nach Schwierigkeit oder gar nicht geordnet sind ‒ 1. vs. 2. Testhälfte: wenn Items nicht nach Schwierigkeit geordnet, oder speed ‒ auf Basis von Itemkennwerten: Itempaare auf Basis von Itemschwierigkeit pi & Itemtrennschärfe rit    Problem: Unterschätzung der Reliabilität wegen Verkürzung der Testlänge auf die Hälfte  Lösung: Spearman-Brown-Formel (n = nv / nu) 2. Interne Konsistenz: = ein Maß dafür, wie die Items einer Skala miteinander zusammenhängen. Verallgemeinerung der Halbierungsmethode  Zerlegung des Tests in so viele Teile, wie er Items aufweist  Cronbach’s Alpha (Items einer Intervallskala) & Kuder Richardson Formel 21  
• Was versteht man unter „spezifischer Objektivität“? = Unabhängigkeit des Testergebnisses davon, welche Items aus einem Itemuniversum vorgegeben werden
• CAT – was versteht man darunter und was ist die Grundidee? = Computergestütztes adaptives Testen (spezielle Vorgabemodi von Testitems, bei denen sich die Auswahl der zu bearbeitenden Items am Antwortverhalten der Testanden orientiert.) Grundidee: nur die Fragen zu verwenden, die am meisten Information darüber liefern, wie stark das interessierte Merkmal bei dem Probanden ausgeprägt ist.
• Warum bezeichnet man die KTT auch als „Messfehlertheorie“? Weil Testwerte fehlerbehaftet sind, und die beobachteten Werte vom True Score abweichen - die Abweichungen entstehen durch den Messfehler Der Schwerpunkt der Klassischen Testtheorie liegt auf der Genauigkeit einer Messung bzw. auf der Größe des jeweiligen Messfehlers. Daher wird sie oft auch als Messfehlertheorie bezeichnet.
• Anzeige
• Was sagt die ICC beim dichotomen Rasch-Modell aus? Was wird abgebildet (Grafik)? = Itemcharakteristikkurve: Verlauf der Lösungswahrscheinlichkeit einer Aufgabe, in Abhängigkeit der Personenfähigkeit (unabhängig davon, ob die Person andere Aufgabe lösen kann)  mit zunehmender Fähigkeit wird auch mit höherer WSK ein bestimmtes Item gelöst Legt die Beziehung zwischen latenter und manifester Variable fest.
• Erkäre das dichotomes Rasch Modell näher. Es wird ein zugrundeliegendes Persönlichkeitsmerkmal („Latent Trait“) angenommen, von dessen Ausprägung das manifeste Lösungsverhalten in probabilistischer Weise abhängt. Es beschreibt die Wahrscheinlichkeit, dass eine Person v ein Item i löst, in Abhängigkeit eines Personenparameters (Fähigkeitsausmaß von v) und eines Itemparameters (Schwierigkeitsgrad von i). Personen & Items sind auf Basis einer Skala wahrscheinlichkeitstheoretisch geordnet; jede Person wird bis zum passenden Item wahrscheinlich negativ reagieren, dann auf alle folgenden Items wahrscheinlich positiv. Bsp.: Gewissenhaftigkeit
• Was versteht man unter "Minderungskorrektur"? Gib ein Beispiel dafür an. Minderungskorrekturen dienen der Korrektur von Korrelationen – z.B. zwischen Test und Kriterium – wenn messfehlerbehaftete Messungen vorliegen:  doppelte Minderungskorrektur: wenn Test t & Kriterium c fehlerbehaftet  einfache Minderungskorrektur: wenn Kriterium messfehlerfrei erfasst wurde  z.B. Verdünnungsformeln
• Beschreiben Sie die Grundgleichung und Grundannahme der KTT und ihre Axiome! Grundannahme: X = T + E  Testleistung = wahrer Anteil + Fehler-Anteil  Wesentliche Annahme: Testwerte sind fehlerbehaftet Grundgleichung Xtj = τtj + Etj  Eine aus unendlich vielen Wiederholungstestungen zufällig gezogene Testleistung X der Person j im Test t setzt sich aus einem wahren Anteil (true score) und einem Messfehler zusammen Axiome der KTT  Der Messfehler E mittelt sich über viele Personen aus; sein Erwartungswert ist Null: Erw(E) = 0  Der Messfehler E ist nicht mit dem wahren Testwert T korreliert: ρ(E,T) = 0  Der Messfehler E ist mit keiner anderen Variable korreliert: ρ(ETest i , TTest j) = 0
• Beschreiben Sie das Hauptgütekriterium Validität und seine Arten. = Gültigkeit eines Tests  Kriteriumsvalidität: Korrelation eines Tests mit einem Außenkriterium  anderer Test oder obj./subj. Kriterien    Konstruktvalidität: Ausmaß, in dem ein Test die Eigenschaft misst, die er messen soll  Korrelation eines Tests mit latenter, zu erfassender Dimension    Validität einer Testbatterie: Multiple lineare Regression  AV = Kriterium, UVs = Tests  Multiple Korrelation R = Maß für Validität der Testbatterie   Weitere Arten:  Inkrementelle Validität: Ausmaß, in dem sich Validität einer Testbatterie durch Hinzunahme eines weiteren Tests (Prädiktors) erhöht  Inhaltliche Validität: Test = Kriterium = logisch valide (z.B. Führerschein)  Augenscheinvalidität (face validity): Ausmaß, in dem ein Test auch Laien bzgl. des Kriteriums sinnvoll erscheint
• Nenne 3 Beispiele, wie es zur Erhöhung des Messfehlers kommt mit passenden Lösungen. Testkonstruktion  Mehrdeutigkeit von Items  Instruktion kann missverständlich sein   Testdurchführung  Umgebungsbedingungen: Lichtverhältnisse, Lärm, Raumtemperatur, Sitzkomfort …  Testperson: Motivation, Ermüdung, emotionale Verfassung …  Testleiter: Geschlecht, Alter, Kleidung, Tonfall / Gestik / Mimik …   Testauswertung  Offenes Antwortformat: keine Interpretationseindeutigkeit (→ nicht völlig standardisiert)  Schablonenauswertefehler  Normablesefehler …  Sie ergeben in ihrer Gesamtheit den Messfehler im Sinne der KTT
• Zusammenhang Reliabilität und Messfehler in der KTT Reliabilität = Messgenauigkeit und Zuverlässigkeit eines Tests   In der KTT = Anteil der wahren Varianz an der Messwertevarianz, ermöglicht Berechnung der Messfehlervarianz Reliabilität in der KTT kann berechnet werden durch die Korrelation: ·         Zweier Paralleltests ·         Retests ·         Split-Half, jedes Items und dem Gesamtwert bei der Homogenitätsmethode
• Eigenschaften von Tests nach dem homogenen Rasch Modell: ·         Personenvergleiche sind möglich ·         Item-Biase sind feststellbar ·         Hat auf Fähigkeit abgestimmte Items ·         Antwortverhalten der Probanden kann wahrscheinlichkeitsfunktional erklärt werden
• Vor und Nachteile von objektiven Persönlichkeitstests = Erfassung von Verhalten ohne Selbstbeurteilung -        -Häufig niedrige Retest-Reliabilität -        Unklare Konstruktvalidität -        Dimensionalität -        Aufwendige Konstruktion +        Verfälschung schwieriger (soz. Erwünschtheit, self monitoring) +        Undurchschaubar (Messintention wird verschleiert)

zurück  |  weiter 1 / 1