Diagnostik (Fach) / D.02. Beurteilung von Testverfahren: Testgütekriterien und Qualitätssicherung (Lektion)

.....

Diese Lektion wurde von ybreitkopf erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Welche Föderation veröffentlicht 1986 Kriterien zur Beurteilung von Tests? Was ist grundlage für die Beurteilung? Welche weiteren Grundlagen für die Beurteilung eines Tests gibt es? Das Testkuratorium der Föderation deutscher Psychologieverbände Grundlage für die Beurteilung ist prinzipiell das Testmanual, das so beschaffen sein sollte, dass die Beurteilung des Tests daraus abgeleitet werden kannn Standards für pädagogisches und psychologisches Testen (Häcker, Leutner & Amelang, 1998). (im Schulbereich) DIN 33420 (Din Norm – AO Bereich/ Einstellung, Anforderung an Auswahltests, wie die Auswahl von statten gehen soll) Einschlägig können auch sein: Regelungen im Rahmen von ISO 9001:2000 (Internationale Normen)
• Welche Testgütekriterien gibt es (alle)? 1.Testgrundlage/ Theoretische Grundlage 1.1. Diagnostische Zielsetzung. 1.2. Theoretische Grundlagen. 1.3. Nachvollziehbarkeit der Testkonstruktion.2. Testdurchführung ( 5 zu berichtende Kriterien)2.1. Durchführungsobjektivität. 2.2. Transparenz. 2.3. Zumutbarkeit. 2.4. Verfälschbarkeit. 2.5. Störanfälligkeit. 3. Testverwertung3.1. Auswertungsobjektivität. 3.2. Zuverlässigkeit. 3.3. Gültigkeit. 3.4. Normierung. 3.5. Bandbreite. 3.6. Informationsausschöpfung. 3.7. Änderungssensitivität. 4. Testevaluation4.1. Ökonomie. 4.2. Fairness. 4.3. Akzeptanz. 4.4. Vergleichbarkeit. 5. Äußere Testgestaltung          
• Welche Unterpunkte gehören zu dem Testgütekriterium 1. Testgrundlage/ Theoretische Grundlage? 1.Testgrundlage/ Theoretische Grundlage 1.1. Diagnostische Zielsetzung.1.2. Theoretische Grundlagen.1.3. Nachvollziehbarkeit der Testkonstruktion.
• Welche Punkte gehören zu dem Testgütekriterum 2. Testdurchführung? 2. Testdurchführung ( 5 zu berichtende Kriterien) 2.1. Durchführungsobjektivität.2.2. Transparenz.2.3. Zumutbarkeit.2.4. Verfälschbarkeit.2.5. Störanfälligkeit.
• Welche Unterpunkte gehören zu dem Testgütekriterium 3. Testauswertung? 3. Testverwertung 3.1. Auswertungsobjektivität.3.2. Zuverlässigkeit.3.3. Gültigkeit.3.4. Normierung.3.5. Bandbreite.3.6. Informationsausschöpfung.3.7. Änderungssensitivität.
• Welche Unterpunkte gehören zu dem Testgütekriterium 4. Testevaluation? 4. Testevaluation 4.1. Ökonomie.4.2. Fairness.4.3. Akzeptanz.4.4. Vergleichbarkeit.
• Nenne die 5 Oberbegriffe der Testgütekriterien 1.Testgrundlage/ Theoretische Grundlage2. Testdurchführung ( 5 zu berichtende Kriterien)3. Testverwertung4. Testevaluation5. Äußere Testgestaltung
• 1. Testgrundlage/ Theoretische Grundlage: 1.1 Diagnostische Zielsetzung was ist damit gemeint? Die Angaben zu diesem Punkt sollen eine diagnostische Entscheidungsfindung ermöglichen Dies betrifft sowohl  diagnostischen Ansatz (zB Zustandsdiagnostik, Veränderungsmessungen) als auch den vom Testautor intendierten Beitrag im Rahmen einer umfassenderen diagnostischen Informationssammlung. Wenn das Verfahren von seiner Zielsetzung oder vom aktuellen Entwicklungsstand her nicht für eine Einzelfalldiagnostik geeignet, sondern nur für Forschungszwecke vorgesehen ist, sollte dies explizit angegeben werden.
• 1. Testgrundlage/ Theoretische Grundlage: 1.2 Theoretische grundlagen was ist damit gemeint? Hier ist deutlich zu machen, in welcher Weise das Verfahren auf den Ergebnissen der wissenschaftlichen Psychologie aufbaut. Die relevante Grundkonzeption muss deutlich erkennbar sein. Modifikationen etablierter theoretischer Vorstellungen durch den Testautor sind besonders deutlich zu machen.
• 1. Testgrundlage/ Theoretische Grundlage: 1.3 Nachvollziehbarkeit der Testkonstruktion was ist damit gemeint? Der Benutzer muss durch die Angaben zu diesem Punkt in ausführliche und verständlicher Weise in die Lage versetzt werden, die einzelnen Arbeitsschritte bei der Erstellung der Testmaterialien kritisch zu bewerten. Hierzu gehören insbesondere Angaben über die Veränderung bzw. Selektion von ursprünglich aus theoretischen Überlegungen heraus zusammengestellten Indikatorenmengen. - wie ist das Verfahren konstruiert, welche Items? Welche indikatoren wurden herangezogen? Wie ist die Gesammtmenge der Items zusatndegekommen? Wie wurden diese reduziert?
• 2. Testdurchführung: 2.1 Durchführungsobjektivität, was heist das? Das Ausmaß, in dem die Unabhängigkeit des Tests von der Person des Untersuchungsleiters durch die Vorschriften der Testinstruktion und aller übrigen Durchführungsbedingungen gesichert ist.
• 2. Testdurchführung: 2.2 Transparenz was ist das? Das Ausmaß, in dem aus der Beschaffenheit eines Verfahrens die Spezifität und dessen Messfunktion und Auswertung ersichtlich sind. - Meistens sind Leistungstests Transparent. VP weis was gemacht wird. Intransparenz zB bei projektiven Verfahren.
• 2. Testdurchführung: 2.3 Zumutbarkiet was heist das? Das Ausmaß, in dem ein Test  die getestete Person in zeitlicher, psychischer (insbesondere „energetisch"-motivational und emotional) sowie körperlicher Hinsicht beansprucht. - Ethische richtlinien, keine überanspruchung, Gericnge Belastung. Adaptives testen ist belastend
• 2. Testdurchführung: 2.4 Verfälschbarkeit was heist das? Das Ausmaß, in dem ein Test die individuelle Kontrolle über Art und Inhalt der verlangten bzw. gelieferten Informationen ermöglicht. - nach unten und nach oben
• 2. Testdurchführung: 2.5. Störanfälligkeit was heist das? Das Ausmaß, in dem ein Test zur Erfassung habitueller Merkmalsunterschiede unempfindlich gegenüber aktuellen Zuständen der Person und situativen Faktoren der Umgebung ist.
• 3. Testauswertung: 3.1: Auswertungsobjektivität was heist das? Das Ausmaß, in dem die Auswertung des Tests unabhängig von personenbedingten oder apparativen Störquellen ist. - Kontinuum von Subjektivität bis Objektivität. Bestimmung: Test von verschiedenen Personen auswerten lassen -> Korrelationen. Sollten zu gleichen Ergebnissen kommen. - hohe Auswertungsobjektivität bei Leistungstests. Geringere Auswertungsobjektivität bei Projektiven Verfahren.
• 3. Testauswertung: 3.2 Zuverlässigkeit was ist das? die Reliabilität bzw Messgenauigkeit oder Grad der Erklärbarkeit der beobachteten interindividuellen Unterschiede der Testergebnisse durch tatsächliche psychische Merkmalsunterschiede  Für die Bewertung ist die Angabe der verwendeten Berechnungsverfahren erforderlich. - Zuverlässingkeit = Reliabilität / Messgenauigkeit. Retestreliabilität sollte angegeben werden
• 3. Testauswertung: 3.3 Gültigkeit was ist das? Das Ausmaß der Treffsicherheit oder diagnostischen Valenz, mit dem der Test Rückschlüsse auf Verhalten außerhalb der Testsituation oder auf den Ausprägungsgrad des dem Testverhalten zugrundeliegenden Konstruktes ermöglicht. Bei der Testbeurteilung ist besonderes Schwergewicht auf die Ergebnisse zum Bereich der Kriteriumsvalidität zu legen.  -> Validität - Gültigkeit = Vaildität
• 3. Testauswertung: 3.4. Normierung was ist das? Ausmaß und Qualität der populationsspezifischen Bezugsgrößen zur Interpretation von Personenparametern, insbesondere zur Bestimmung der relativen Position einer Testperson in bezug auf Populationsverteilungen von Testwerten. -> Normierung
• 3. Testverwertung: 3.5 Bandbreite, was ist das Ausmaß der Enge oder Vielfalt des Verfahrens gegenüber unterschiedlichen Fragestellungen, Gruppen- oder Prognosezeiträumen. - Tests mit mehreren Skalen sind vorzusziehen.
• 3. Testverwertung: 3.6 Informationsausschöpfung, was heist das? Menge und Qualität der Indikatoren, die bezogen auf verschiedene Ziele, Anlässe oder Probandengruppen begründet aus den Testantworten abgeleitet werden.
• 3. Testverwertung: 3.7 änderungssensitivität, was heist das? Möglichkeiten und Grade der Veränderungsmessung durch dieses Verfahren, insbesondere im Rahmen von Zeitreihenvergleichen.
• 4. Testevaluation: 4.1: Ökonomie was heist das? Das Ausmaß, in dem ein Test bei der Durchführung, Auswertung und Anschaffung als kostengünstig zu bewerten ist.
• 4. Testevaluation: 4.2. Fairness, was heist das? Ausmaß einer eventuell bestehenden systematischen Diskriminierung bestimmter Testpersonen, z.B. aufgrund ihrer ethnischen, soziokulturellen oder geschlechtsspezifischen Gruppenzugehörigkeit, bei der Abschätzung von Kriteriumswerten.
• 4. Testevaluation: 4.3. Akzeptanz Was heist das? Ausmaß, in dem subjektive Meinungen, Bewertungen oder gesellschaftspolitische Überzeugungen gegen einen Test angeführt werden.
• 4. Testevaluation: 4.4 Vergleichbarkeit, Was heist das? Ausmaß der partiellen Übereinstimmung mit anderen Untersuchungsverfahren sowie die abweichenden Aspekte, Schwerpunkte oder Inhalte.
• 4. Testevaluation: 4.5. Bewährung, Was heist das? Systematische Aufarbeitung und Bewertung der mit dem Test gesammelten Erfahrungen, z.B. bezogen auf bestimmte Personengruppen oder diagnostische Ziele. - in welchen Bereichen hat sich der Test bewährt?
• 5. Äußere Testgestaltung was beinhaltet das? Die Verständlichkeit des Testmanuals, die probandenfreundliche Gestaltung der übrigen Testmaterialien sowie die Übereinstimmung von Titel und werblicher Darstellung mit dem tatsächlichen Testinhalt werden bei der Beurteilung herangezogen.
• was wird unter Validität verstanden? Was ist bei hoher Validität möglich? Unter Validität wird das Maß an Genauigkeit verstanden, mit dem der Test dasjenige Merkmal misst, das er messen soll oder zu erfassen vorgibt. Bei hoher Validität erlauben die Ergebnisse eines Tests die Generalisierung aus dem numerischen Relativ der Testskalen auf das empirische Relativ des interessierenden Zielmerkmals oder einen Schluss aus dem Verhalten in der Testsituation auf Verhalten außerhalb der Testsituation
• Es gibt 3 Verfahren zur Bestimmung der Validität eines Tests, welche? Inhaltsvalidität Kriteriumsbezogene Validität Konstruktvalidität
• Definiere Inhaltsvalidität Inhaltsvalidität liegt vor wenn ein Test oder ein Testitem das zu messende psychologische Merkmal repräsentativ erfasst
• Wie kann die Inhaltsvalidität geprüft werden? erkläre die Schrite Prüfung durch Experten Utreil Explikation des Konstruktes (generative Regeln) Operationalisierung Entsprechend 1. und 2. werden (soweit nicht vorliegend) Aufgaben oder Fragen generiert. Unabhängige Experten schätzen ein, wie gut die Aufgaben / Fragen dem Konstrukt entsprechen. Beurteilerübereinstimmung wird als Koeffizient der Inhaltsvalidität angesehen. Alternativ: Experimentelles Vorgehen (2 Gruppen generieren Fragen / Items).
• Definiere Kriteriumsvalidität, wie wird sie Bestimmt? Kriteriumsvalidität liegt vor wenn von einem Testergebnis erfolgreich auf ein als relevant erachtetes Außenkriterium, nähmlich auf ein Verhalten außerhalb der Testsituation geschlossen werden kan Bestimmung: Korrelation zwischen Zielmerkmal oder Kriterim und Test
• Definiere Konstruktvalidität Liegnt vor, wenn der Schluss vom Testergebnis auf zu grunde liegende psychologische Merkmale aufgezeigt werden kann Ist kein Koeffizient sondern Einbettung in ein nomologisches Netzwerk von ähnlichen und divergenten KOnstrukten Generierung von Hyypothesen MTMM-Analysen
• Wofür Normwerte? Wie sollten sie sein? Der Normwert dient dazu, die Eigenschaften eines Individuums in Bezug zur Gesamtheit aller Individuen einzuordnen. Normen sollten aktuell, repräsentativ und für breite Altersbereiche vorliegen
• nenne die 7 Häufigsten Normwerte und gebe M und SD an z-Werte: 0, 1  -2 bis 2 IQ:          100, 15  70 – 130 Z-Werte: 100, 10  80 – 120 T-Werte: 50, 10  30 – 70: Persönlichkeitstests (MMPI) Centile: 5, 2  1-9: Persönlichkeitstest, hat mer als 9 kategorien Stanine: 5, 2  1-9: Persönlichkeitsbereich, 9 Kategorien (standard nine) Sten: 5,5, 2  1-10: 10 Kategorien (standard ten)
• definiere Prozentrang Der PR gibt den prozentualen Anteil der gemessenen Objekte an, die einen Wert haben, der kleiner oder gleich dem Messwert einer Person ist.

zurück  |  weiter 1 / 1