20

Testtheorie (Fach) / Gütekriterien: Reliabilität (Lektion)

Evaluation des Testverfahrens

Diese Lektion wurde von sofiesfood erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

Anzeige
  • Methoden zur Reliablitätsbestimmung (4) Retestmethode: Test zweimal durchüfhren Paralleltestmethode Konsistenzmethode  alle beziehen sich auf KTT
  • Retestreliabilität (4) Korrelation der Testwerte aus testdurchführung 1 + 2 länge Zeitintervall beeinflusst die Höhe der Korrelation zwischen den testwerten, daher wird auch als Stabilität bezeichnet, Stabilität des Merkmals über die Zeit Anwendung: eher bei zeitlich stabilien Merkmalen (P, Intelligenz)
  • In wiefern hat die Länge des Zeitintervalls eine Auswirkung auf die Retestreliabilität? (5) beeinflusst die Höhe der Korrelation der Testwerte bei kurzem mögliche überschätzung durch Erinnern und Übungseffekte, bei langem Unterschätzung durch Medikamenteneinnahme etc mit Zunahme der Intervallgröße sinkt auch die Erinnerungsquote, somit reduzieren sich Übungseffekte Risiko: auch wahre werte können sich über die zeit verändern Festlegung durch praktische Erwägung
  • Paralleltestreliablität (3) Korrelation der Testwerte aus Test A mit denen aus dem Paralleltest Test B, beides messen das gleiche Merkmal hinterienander durchführbar ohne Erinnerungseffekte, aber trotzdem Übungseffekte Anwendung: leistungstests (speed + power)
  • Was sind Vorraussetzungen für Modell paralleler Messungen und Störfaktoren? (5) Paralleltest muss sich auf wahren Wert beziehen Messfehler A = Messfehler B, sind unkorreliert Test muss äquivalent sein Probleme sind mangelhafte Parallelisierung udn Übungs- und Trainingseffekte Cross over design (Randomisierung) als Lösung, Gruppe 1 Test a - test b, Gruppe zwei umgekehrt
  • Testhalbierung: split half Reliablität Odd-Even Methode: Abwechselnde Zuweisung der Items zu Testhälften (grade-ungrade) z.B. bei Leistungstest Zeitpartitionierungsmethode (speedtests): zeitliche Zweiteilung des Tests z. B. bei vielen prinzipiell gleichartigen Items (Konzentrationstest) Zufallsaufteilung Halbierung nach laufender Nummer
  • Testhalbierung: was tun bei heterogenem Konstrukt? • Methode der Itemzwillinge:→bei Verfahren mit inhaltlich eher heterogenen Items- Aufteilung anhand von Schwierigkeitsgrad und Trennschärfe:- Bildung von Paaren aus je zwei Items mit ähnlichem Schwierigkeitsgradund Trennschärfe → zufällige Zuteilung jeweiliger Items zu Testhälften
  • Problem der Testhalbierung (4) Korrelation der Testhälften unterschätzt die Realibalität des Gesamttests deswegen Spearman Brown Formel als Korrektur mit M = 2 Testverdopplung durch parallele Mesung führt zu Verdropplung messfehlervarianu und Vervierfachung wahre Varianz, daher Korrektur bei vielen Items mitteln sich Messfehler heraus, korregierte entspricht Rel der Gesamttestlänge
  • Interne Konsistenz (4) wir haben auch wieder 1 Stichprobe, ein Test und eine Durchführung jedes Item eines Tests wird als eigenständiger Testteil betrachtet, jedes Item eines Tests wird mit jedem anderen korreliert Aufsummierung dieser Korrelationen = Durschnittswert R = je höher Items korrelieren, desto höher ist interne Konsistenz Bestimmung von Cronbachs α (Schätzung nach oben korregiert um m = Anzahl Items),interpretierbar zwischen 0 – 1
  • Wann ist die Anwendung der internen Konsistenz sinnvoll? (3) bei homogenen tests lediglich einmalige Erfassung sinnvoll Unterschätzung der Rel. bei heterogenen Items
  • Anzeige
  • Höhe der Relibalität (4) sollte so hoch wie möglich sein, abh. von vielen Bedingungen Art des merkmals (Intelligenz vs Einstellung) Einsatzbereich (individual- vs Kollektivdiagnostik) unter .80 ist niedrig, über .90 hoch
  • Einflussfaktoren/ Möglichkeiten der Realibalitätserhöhung (4) Homogenität (+) oder Heterogenität des Testitems durch Def. meines Konstrukts varianz und Verteilunsgmerkmale testwerte (+) versch Arten von messfehlern (-) Schiefe Verteilung der Testwerte (-)
  • Welche Arten von Messfehlern gibt es? (3) vorübergehende (situationsbed. Antwortverhalten) systematische (Übung, Antworttendenzen) spezifische (unterschiedl Auffassung gl. Begriffe)
  • 3 Arten der Reliablitätserhöhung Messfehler reduzieren durch klare Instruktionen, Formulierungen, standart. testbedingungen Homogenität erhöhen durch Items mit geringer Trennschärfe entfernen (Verdünnungsparadoxon!) Testverlängerung: bester Weg, erhöht den Anteil an wahrer Varianz
  • Was ist der Standartmessfehler? (3) gibt man, wie stark die Messfehler um die wahren werte der Perosn streuen 1 - Rel ist die Messfehlervarianz, daraus die Wurzel ist die Fehlerstreuung, diese multipliziert man mit der Streuung der Werte Sx bei einer Reliablität von 0 ist der Standartmessfehler wie die Streuung der Testwerte
  • Was gibt das Konfidenzintervall an? gibt den Bereich an, in dem der wahre Testwert der Person bei einer zuvor festgelegten Irrtumswahrscheinlichkeit liegt
  • Wie kann man Bereich der wahren Werte ausrechnen? zB Testwert 100, SD 40, Religion .90, Wahrscheinlichkeit 95% Se ausrechnen, Sx ist SD,  dann CI ausrechnen mit für 95%: 1,96
  • Wie wirkt sich die realiablität auf das Konfidenzintervall aus? hohe R: Konfidenzintervall wird schmaler, dann mit 90%  W'keit uU rechnen, also z= 1,64
  • kritische Differenz (4) wenn wir wissen wollen, ob Unterschiede zwischen zwei Testwerten signifikant sind Dazu rechnen wird Messfehler der Differenz im Durchschnitt schwanken die Differenzen also um den wert, den wir rausbekommen haben diesen multiplizieren wird mit dem z wert 1,96, wenn beobachteter Unterschied größer dann ist er signifikant
  • Standartnormalverteilung: kritische Differenz (3) alpha Niveau von 5% - 1,96, Wkeit einen Wert X durch Zufall zu finden ist kleiner als 5% alpha Niveau von 1% - 2,57, WKeit einen Wert X durch Zufall zu finden kleiner als 1%, es wird weniger schnell signifikant bei hoher R: Unterschiede müssen kleiner sein um signifikant zu werden

zurück  |  weiter 1 / 1