Testaufbau und Analyse (Fach) / Testwertinterpretation (Lektion)

Diese Lektion wurde von Samcake erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Definition Testrohwert Wert, der nicht weiter verarbeitet wird. Ist ein numerischer Wert, der sich unmittelbar aus den registrierten Antworten ergibt. Diese Testrohwerte wird bestimmt durch: - Antwortschlüssel (Multiple Choice) - Anleitung (freie Antworten) - Verhältnis von Arbeitsmenge und Bearbeitungszeit (Leistungstest)  --> Muss irgendwo definiert sein, wofür es wie viele Punkte gibt.
• Testrohwerte - Aussagekraft Rohwertsummen und proportionale Rohwertsummen sind per se sehr wenig aussagekräftig. -> substanzieller Einfluss der Aufgabenwahl-/Schwierigkeit Man kann für jedes Item den Schwierigkeitsgrad berechnen. Der Schwierigkeitsindex ist eigentlich ein Leichtigkeitsindex  --> Schwierigkeitsindes Pi ist:       - Quotient aus der bei einem Item tatsächlich erreichten durchschnittlichen Punktsummen             und der maximal erreichbaren Punktsumme, multipliziert mit 100.       - adäquate Berücksichtigung der Itemschwierigkeit erforderlich!!!  Itemschwierigkeit= wie viele Leute haben dem Item zugestimmt/richtig? 
• Normierte Testwertinterpretation Grundprinzip:- Umwandlung eines Rohwerts in einen Normwert, der Informationen über Ausprägung relativ zur Bezugsgruppe liefert.- Auflösung der Abhängigkeit des Testwerts von der Aufgabenauswahl durch Fokus auf Stellung einer Person innerhalb der Bezugsgruppe.  Normarten:Prozentränge -> Position in RangreiheAbweichungsnormen -> Abweichung vom Mittelwert Wir können uns anschauen, wie gut die Testperformance im Vergleich zu anderen war. DAs ist die Normierte Testwertinterpretation. 90% aller Tests werden so ausgewertet. 
• Exkurs: lineare und nicht lineare Transformation Lineare Transformation: Verhältnisse zwischen Transformierten Werten entsprechen Verhältnissen zwischen ursprünglichen Werten.Korrelationen zwischen 2 Variablen wird durch lineare Transformationen nicht beeinträchtigt. Nicht lineare Transformation:Verhältnisse zwischen transformierten Werten entsprechen nicht mehr den Verhältnissen zwischen ursprünglichen Werten.Korrelationen zwischen 2 Variablen wird durch nicht lineare Transformation verändert. (Z.B. quadrieren)
• Prozentrangnormen Definition = die geräuchlichste nicht-lineare Testwerttransformation!  Grundprinzip: Bestimmung der relativen Position eines Testwerts in der aufsteigend geordneten Rangreihe der Testwerte in der Bezugsgruppe Prozentrang: gibt an, wie viel % der Bezugsgruppe einen Testwert erzielt, der niedriger oder gleich hoch ist die der Testwert X. Entspricht dem prozentualen Flächenanteil der Häufigkeitsverteilung der Bezugsgruppe, der nach oben hin durch den Testwert X begrenzt wird. 
• Prozentrangnormen - Erstellung 1. Erstellung einer aufsteigenden Rangreihe aller Messwerte der Normstichprobe 2. Zählen der absoluten Häufigkeiten aller Messwerte 3. Umrechnung in % 4. Kumulation der % Prozentrang: kumulierte Häufigkeit bei Testwert X. Kumulierter Prozentrang ist dasselbe wie Prozentrang!  Können normal oder schiefverteilt sein. Auch bei normalverteilten sind die Abstände zwischen den Balken nicht gleich gross.  Die Ränge erlauben es genaue Aussagen über Ausprägungen zu machen. Rohwerte können das nicht. --> Interpretation sind verteilungsabhängig
• Perzentil/Quartil Perzentil: 100stel (feinstufige Aufteilung)Bezeichnung für jenen Testwert, der einen bestimmten Prozentrang in der Normstichprobe entspricht. z.B. 30 Perzentil= Testwert, der von 30% der Personen erreicht/unterschritten wurde.  Quartil: viertel (grobstufige Aufteilung1. Quartil: 25 Perzentil2. Quartil: 50 Perzentil3. Quartil: 75 Perzentil
• Prozentränge - Charakteristika Anforderungen an Rohdaten:  - Keine Verteilungsvoraussetzung! - mindistens Ordinalskaliert Konsequenzen der nicht-linearen Transformation: - Unterschiede zwischen 2 Rohwerten werden bei geringer Testwertdichte verkleinert.- Unterschiede zwischen 2 Rohwerten werden bei hoher Testwertdichte vergrössert.- Konsequenz: geringe Testwertdichte nivillieren Unterschiede, grosse Testwertdichte betonen                            Unterschiede. - Kenntnisse der Rohwertverteilung (Testwertdichte) hilft zur Einschätzung von realen Unterschieden- Prozentrangnormen sind nicht intervallskaliert- Vergleiche von Prozentrangdifferenzen hinsichtlich der Höhe der Merkmalsausprägung sind nicht zulässig
• z-Normwerte Ist eine lineare Testwerttransformation. Sie basieren nicht auf einer Rangreihenfolge, sondern sagen wie gross der Abstand eines bestimmten Werts zum Mittelwert ist.  Voraussetzung: Intervallskalierte Skalenniveau der Rohwerte. Abstände müssen proportional sein. 
• z-Transformation -> Relativierung der Differenz zwischen Testwert x und Mittelwert an der Standardabweichung der Verteilung -> Vergleichbarkeit von Testwerten aus Tests mit verschiedenen Testwertsteuerung & Skalenbereichen. Definition: Z-Werte gibt an, wie stark der Testwert einer Testperson vom Mittelwert der Verteilung der Bezugsgruppe in Einheit Standardabweichung der Verteilung der Bezugsgruppe abweicht.  Z-Werte haben immer einen Mittelwert von 0 und eine SD von 1. 
• Anzeige
• Z-Werte Charakteristika Sind intervallskaliert (man darf mit ihnen rechnen, da proportional) -> Keine Verteilungsvoraussetzung.  Die Rohdaten müssen mehr Anforderungen erfüllenAber: erhöhter interpretativer Gehalt bei Normalverteilten Daten (Rohwerten)Angaben zu prozentualen Häufigkeiten im Sinne von "68% der Testwerte befinden sich innerhalb -1z bis +1z. 
• Standardnormwerte (t-Werte, IQ-Werte, SW/Z) Durch das Problem der Unhandlichkeit der z-Werte aufgrund negativen Vorzeichen & Dezimalstellen machte man weitere lineare Transformationen -> t-Werte, IQ-Werte t-Werte: Mittelwert=50+10*z-Wert SW/Z: 100+10*z-Wert IQ: 100+15*z-Wert Wenn man jetzt z.B. einen t-Wert von 39 sieht, weiss man gleich, dass der unterdurchschnittlich ist, da der Mittelwert bei 50 ist. 
• Normdifferenzierung Angemessenheit der Vergleichsgruppe als zentrale Herausforderung von Normierungen. Verschiedene (differenzierte) Normen bei möglichen Einfluss durch Hintergrundfaktoren. z.B. Alter bei Intelligenz.  Gefahr: Overadjustment:- zu starke Anpassung an Teilpopulation- Nivellierung real existierender Unterschiede zwischen Teilpopulationen- Zerrbild von "Normalität" Sobald differenzierte Normen vorliegen suggeriert das einen Unterschied. Frage deshalb: wann macht man differenzierte Normstichproben? 
• Testeichung Ist der finale Schritt der Testkonstruktion. (Gewinnung eines Vergleichsmassstabs zur normierten Testwertinterpretation) Vorgehen: 1. Festlegung der Zielpopulation  2. Durchführung des Testverfahrens an einer repräsentativen Stichprobe 3. Berechnung der Normwerten anhand der empirischen Rohwertverteilung Wichtig: periodische aktualisierung der Normen! Mind. alle 8 Jahre. (z.B. Flynn-Effekt)
• Testeichung - Erhebungsdetails Normstichprobe: - Repräsentativität (global vs. spezifisch)- Stichprobenziehung (geschichte, Quote, Zufall, ad-hoc)- Verteilungseigenschaften Mindestumfang: - Je mehr, desto besser! (keine Pauschalwerte!)- abhängig von gewünschtem Detailgrad- abhängig von Homogenität/heterogenität der Zielpopulation --> Sinnvolles Mass an Differenziertheit bedingt durch Reliabilität
• Dokumentation der normen im Testmanual Das muss alles im Dokument drin stehen: - Geltungsbereich (Definition der Zielpopulation)- Erhebungsdesign, bzw. Grad der REpräsentativität hinsichtlich der Zielpopulation- Stichprobenumfang & -zusammensetzung- dekriptive Statistiken (Mittelwerte, SD, Verteilungsparameter, ggf. Rohwerthäufigkeit)- Jahr der Datenerhebung
• Cheat-Sheet: Rückmeldung von Testergebnissen 1. Benennung des Merkmals 2. numerische & verbale Einordnung der Merkmalsausprägung 3. kurzbeschrieb der Referenzgruppe 4. ggf. Zusatzinformation --> Sollte man immer an Testpersonen Rückmelden, die keinen psychologischen Hintergrund haben. 

zurück  |  weiter 1 / 1