Sonderpädagogik (Subject) / Diagnostik (Lesson)

This lesson was created by mei87.

Learn lesson

This lesson is not released for learning.

back  |  next 2 / 2

• Gütekriterien von Testverfahren Hauptgütekriterien– Objektivität– Reliabilität– Validität– Normierung Nebengütekriterien– Störanfälligkeit– Verfälschbarkeit– Skalierung– Ökonomie
• Objektivität „Wie stark hängt das Ergebnis davon ab, wer die Testdurchführung leitet, den Test auswertet und interpretiert?“(Schmidt-­Atzert & Amelang, 2012, S. 131). Objektivität bedeutet, dass die Ergebnisse eines diagnostischen Verfahrens unabhängig davon zustande kommen, wer die Untersuchung, die Auswertung und die Interpretation durchführt“(Schmidt-­Atzert & Amelang, 2012, S. 133). • Durchführungsobjektivität• Auswertungsobjektivität• Interpretationsobjektivität
• Durchführungsobjektivität Ist gegeben, wenn… die Ergebnisse unabhängig sind von zufälligen oder systematischen Verhaltensvariablendes Untersuchers Verfahren immer auf die gleiche Weise durchgeführt wird, das erforderliche Material mitgeliefert (Testheme, Manual) bzw. genau benannt (Stoppuhr, Stifte) wird, die Durchführungsbedingungen genau erläutert werden (Einzeltest,Beschaffenheit Arbeitsplatz) eine Instruktion vorgegeben ist (wörtliche oder sinngemäße Wiedergabe, Zeitangabe, Umgang / Regeln mit Störungen)
• Durchführungsobjektivität 2 Ziel:– maximale Standardisierung der Durchführung (nicht möglich)– Testpersonen sollen den Auftrag immer gleich   Diagnostische Interviews können das Ziel praktisch nie erreichen => ist da auch nicht gewünscht Durchführungsobjektivität ist als hoch einzuschätzen („gegeben“), wenn alle Bedingungen festgelegt sind, die sich auf das Antwortverhalten auswirken.
• Auswertungsobjektivität Ist gegeben, wenn… das gleiche Verhalten der Testpersonen in einem Test nach exakt denselben Regeln abgebildet wird– Gleiches Verhalten sollte mit der gleichen Zahl bewertet werden Antworten immer gleich klassifiziert werden, z.B. (und i.d.R.) Schablonen oder Auswertungsprogramme für die Auswertung vorliegen, das Manual genaue Anweisungen enthält, wann eine Antwort wie (z.B. „richtig oder „falsch“) zu werten ist eine (möglichst hohe bis vollkommene) Übereinstimmung der Ergebnisse bei zwei Auswertungenbesteht
• Interpretationsobjektivität Interpretieren heißt, einem Wert eine Bedeutung geben. Ist gegeben, wenn… die gleichen diagnostischen Schlüsse aus den Ergebnissengezogen werden versch. Testanwender einen Rohwert in die gleiche Aussage über die Testperson umformen im Manual klare Aussagen gemacht werden, wie das gemessene Merkmal zu benennen ist die Testanwender wissen, wie die Ausprägung des Merkmals in Relation zu anderen Personen festzustellen ist (Normtabellen)
• Reliabilität „Wie genau oder zuverlässig ist das Messergebnis?Wie stark verändert sich das Ergebnis beispielsweise bei einer Testwiederholung?“(Schmidt-­‐Atzert & Amelang, 2012, S. 131).   „Die Reliabilität beschreibt die Genauigkeit, mit der ein Test ein Merkmal erfasst, und zwar unter Vernachlässigung des Umstandes, ob es sich dabei auch um die Merkmalsdimension handelt, deren Erfassung intendiert ist“(Schmidt-­‐Atzert & Amelang, 2012, S. 137).
• Reliabilität 2 Reliabilitätskoeffizient r => Grad der Gemeinsamkeit– Liegt zwischen 0 und 1/-­1– Je höher bzw. näher an 1, desto besser ist die Reliabilität– Aber: unterschiedliche Schätzmethoden liefern unterschiedliche Ergebnisse und sind nicht einfach austausch-­ oder übertragbar Schätzmethoden– Retest-­‐Reliabilität– Paralleltest-­‐Reliabilität– Split-­‐Half-­‐Reliabilität– Konsistenzanalyse
• Reliabilität - Retest-­Reliabilität - Test-­Wiederholung; zeitliche Stabilität eines Merkmals Der Test wird derselben Stichprobe mehrmals dargeboten Die Stabilität des Merkmals beeinflusst die Reliabilität– Für prognostische Fragestellungen sollte die Retest-­Reliabilität hoch sein!– Auf den Zeit-­Intervall achten– Je älter die Personen sind, desto stabiler sind Persönlichkeitsmerkmale   Zusammenfassende Bewertung:• Bei geringem Zeitintervall und stabilem Merkmal sollte die Retest-­‐Reliabilität sehr hoch sein,• sonst geht dies zu Lasten des Tests (Merkmal sollte sich ja nicht in wenigen Wochen geändert haben)
• Relibilität - Paralleltest-­‐Reliabilität - Parallele Formen eines Tests werden innerhalb weniger Tage bei der gleichen Stichprobe eingesetzt Zwei Formen sind üblich bei Gruppentests Es geht um die Gleichwertigkeit von zwei Paralleltests (Äquivalenzkoeffizient) Entwicklung zweier Formen sind schwierig, wenn- begrenzte Eigenschaften nur eine begrenzte Anzahl an Items zulassen- Fragen einmalig sind und eine parallele Form einen Transfer bedeuten würde
• Advertisement
• Reliabilität - Split-­Half-­Reliabilität -­ Testhalbierungsreliabilität – Gleichwertigkeit von zwei Testhälmen Test wird nach der Durchführung in zwei gleich große Teile geteilt und die Ergebnisse werden miteinander verglichen– Voraussetzung: Homogenität der Items und Anzahl der Items müssen dies zulassen Kommt der Messgenauigkeit eines Test damit sehr nahe – interne Konsistenz
• Reliabilität -­ Konsistenzanalyse -­ Homogenität von Testitems Fortsetzung der Split-­Half-­Methode: Test wird in so viele Teile zerlegt wie es Items gibt Wird eingesetzt, wenn alle Items die gleiche Fähigkeiten messen
• Reliabilität Wie hoch sollte der Korrelationskoeffizient sein? Entscheidend ist die Homogenität des Merkmals Paralleltest- oder Retest-­Reliabilität betrachten:– ist die Reliabilitätniedrig, sind Test und Durchführungsbedingungen vermutlich stark fehlerbehaftet Einflussfaktoren auf die Reliabilität:– Standardabweichung der Testrohwerte– Retest-­Intervall– Stichprobengröße
• Validität „Wie gut gelingt es, genau das Merkmal zu messen, das mit dem Test gemessen werden soll (und nicht ein anderes)?“(Schmidt-­Atzert & Amelang, 2012, S. 131). „Unter Validität wird die Übereinstimmung von Testergebnissen mit dem, was der Test messen soll, verstanden. Es handelt sich um ein Urteil darüber, wie angemessen bestimmte Schlussfolgerungen vom Testwert auf das Verhalten außerhalb des Tests oder auf ein Merkmal der Person sind.“(Schmidt-­Atzert & Amelang, 2012, S. 142) Wichtigstes Gütekriterium: sind die Aussagen gültig Misst der Test, was er vorgibt zu messen?
• Validität 2 Hohe Objektivität und Reliabilität sind Voraussetzungen für eine hohe Validität, aber keine Garantie dafür! Die Validität ist mit dem Wirksamkeitsnachweis bei Medikamenten vergleichbar Arten von Validität:– Inhaltsvalidität– Kriteriumsvalidität– Konstruktvalidität
• Validität -­ Inhaltsvalidität -­ „Unter Inhaltsvalidität versteht man, wie repräsentativ die Items eines Tests für das zu messende Merkmal sind.“(Schmidt-­‐Atzert & Amelang, 2012, S. 145)  Ist hypothetisch => Autoren beschreiben ihr Vorgehen bei der Itemgenerierung und -­auswahl- Schulleistungstests: Beschreibung, wie die Autoren zur repräsentativen Auswahl gekommen sind- Fragebogen zu psychischer Störung: Symptomformulierung- Strukturiertes Interview- Fragen müssen inhaltsvalide gestellt werden
• Validität -­ Kriteriumsvalidität -­ Tests werden zu einem bestimmten Zweck konstruiert, das Kriterium => ist immer konkret messbar „Unter Kriteriumsvalidität versteht man den Zusammenhang zwischen Testergebnis und konkreten Leistungen oder Verhaltensweisen außerhalb der Testsituation. Das Kriterium muss für den vorgesehenen Einsatzbereich des Tests relevant sein.“ (Schmidt-­‐Atzert & Amelang, 2012, S. 146) Also: inwiefern korrelieren die Testergebnisse mit dem Außenkriterium Angabe der Validität:– Korrela5onskoeffizient (r zwischen -1 und 1)– Mittelwertunterschiede– Effektgrößen
• Validität -­ Konstruktvalidität -­ Konstrukte sind abstrakte Konzepte, z.B. Intelligenz oder Angst „Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll –und nicht ein anderes.“ (Schmidt-­‐Atzert & Amelang, 2012, S. 147). Es geht um die Einordnung in ein theoretisches Bezugssystem Belege für Konstruktvalidität akzeptiert für:– Gruppenunterschiede– Korrelationen und Faktorladungen– Interne Struktur– Veränderungen über die Zeit– Veränderungen durch eine experimentelle Intervention– Untersuchung des Antwortprozesses
• Validität - Einflussfaktoren auf die Validität von Tests - Merkmale des Tests: Reliabilität Merkmale des Kriteriums: Reliabilität und Validität des Kriteriums Gemeinsame Merkmale von Test und Kriterium: Symmetrie und Konfundierung Merkmale der untersuchten Personen: Stichprobenumfang und Merkmale der Stichprobe
• Validität - Korrelationskoeffizienten bewerten - Höhe sollte nicht pauschal bewertet werden(ist Kriteriumsabhängig!) Vergleichswerte suchen – für psychologische Kriterien:- r=.21-.33 mittlerer Bereich- Bei Intelligenztests ist ein Vergleichswert von .59 für den Ausbildungserfolg in Deutschland heranzuziehen- Standardabweichung beachten- wenn ein Wert mehr als eine SD unter dem Vergleichswert liegt, dann ist die Validität eher niedrig
• Normierung „Wie gut lässt sich das Testergebnis mit den Ergebnissen anderer Menschen vergleichen?“ (Schmidt-­Atzert & Amelang, 2012, S. 131). Ist ein Bezugssystem: Einordnung in die und Vergleich mit der meist repräsentativen Normierungsstichprobe Normierung gibt also an, was die Rohwerte bedeuten => Rohwerte werden „transformiert“– Äquivalentnormen– Variabilitäts-und Abweichungsnormen– Prozentränge
• Normierung 2 Prozentränge sind nicht abhängig von der Normalverteilung dem Testwert wird die relative Position auf der nach Größe ranggereihten Messwerteskala der Bezugsgruppe zugeordnet Standardisierte Werte können auch in Prozentränge umgewandelt werden, nicht umgekehrt! ( PR = cumf/N*100 )
• Normierung - Anforderungen an die Stichprobe - • Hinreichend groß • Repräsentativ für den vorgesehenen Geltungsbereich • Möglichst aktuell

back  |  next 2 / 2