Psychologie (Subject) / Testtheorie und Testpraxis (Lesson)

This lesson was created by Tinisweet.

Learn lesson

back  |  next 1 / 3

• Nenne die 10 Instrumente der Qualitätsbeurteilung psychologischer Tests.  Objektivität  Reliabilität  Validität  Skalierung  Normierung (Eichung)  Testökonomie  Nützlichkeit  Zumutbarkeit  Unverfälschbarkeit  Fairness
• Nenne die 3 Aspekte der Objektivität. Durchführungsobjektivität Auswertungsobjektivität    Interpretationsobjektivität
• Nenne die 4 Validitätsaspekte. Inhaltsvalidität, Augenscheinvalidität,    Konstruktvalidität,  Kriteriumsvalidität
• Nenne die 4 Reliabilitätsvorgehensweisen. Retest-Reliabilität, Paralleltest-Reliabilität ,    Testhalbierungs-Reliabilität , Innere Konsistenz
• Was ist Objektivität?   Test ist dann objektiv, wenn er das Merkmal, das er misst, unabhängig von Testleiter, Testauswerter und von der Ergebnisinterpretation misst
• Was ist Durchführungsobjektivität? Unabhängigkeit des Testergebnisses von dem jeweiligen Testleiter, der den Test mit der Testperson durchführt   Standardisierung der Testsituation: im Testmanual festgelegt: Testmaterial, Ort und Zeit, Fragen der Testpersonen und InstruktionStörquellen = kontrolliert/ konstantTestperson = einzige Variationsquelle
• Was ist Auswertungsobjektivität? Testergebnis hängt nicht von Testauswerter ab   Ausmaß der Auswertungsobjektivität = Grad der Übereinstimmung verschiedener Testauswerter (Konkordanzkoeffizient W nach Kendall)   • je einheitlicher  die Auswertungsregeln umso höher die Auswertungsobjektivität
• Was ist Interpretationsobjektivität? verschiedene Testanwender kommen zu selben Schlussfolgerungen aus Testwertenim Testmanual: ausführliche Angaben von Ergebnissen aus Eichstichprobe → Vergleich mit relevanten Bezugsgruppen  
• Was ist Reliabilität?   ein Test ist dann reliabel, wenn er das Merkmal, das er misst, exakt (ohne Messfehler) erfasst •Erfassung des Ausmaßes der Reliabilität   0 ≤ Rel. ≤ 1 (Rel. > 0.7)  
• Was ist die Retest-Reliabilität? ein und dieselben Testergebnisse zu zweiverschiedenen Zeitpunkten (Korrelation zwischen den beidenTestergebnissen)aber: Vielzahl von reliabilitätsverändernden Einflüssen: Übungs- und Erinnerungseffekte/Lernen oder ein sich tatsächlich veränderndesPersönlichkeitsmerkmal
• Advertisement
• Was ist der Königsweg der Messgenauigkeitstestung?   Paralleltest-Reliabilität = Bildung von zwei äquivalenten Tests, mit inhaltlich möglichst ähnlichen Items und Errechnung deren Korrelationen Korrelation zwischen Testwerten aus zwei Tests, die als Parallelformen angelegt sind Ziel:  trotz nicht identischer Itemstichprobe zu gleichen Mittelwerten und Varianzen der Testwerte kommen
• Was ist die Testhalbierungs-Reliabilität (Split-Half-Reliabilität)? Halbierung des Tests in möglichst gleiche Hälften → Korrelationzwischen den beiden Testhälften   •Berücksichtigung eines Korrekturfaktors   Korrektur führt zu einer Aufwertung der Reliabilität  
• Was ist die Innere Konsistenz? jedes Item eines Tests wird als eigenständiger Testteil betrachtet Jedes Item eines Tests wird mit jedem anderen korreliert je höher Items korrelieren, desto höher ist interne KonsistenzBestimmung von Cronbachs α,interpretierbar zwischen 0 – 1    
• Was ist Validität? „Ein Test gilt dann als valide, wenn er das Merkmal, das er messensoll, auch wirklich misst und nicht irgendein anderes. Hohe Validitäterlaubt Rückschlüsse auf Verhalten außerhalb der Testsituation.“   •bei hoher Validität→Generalisierung  der Ergebnisse/des beobachteten Verhalten
• Was ist Inhaltsvalidität? inwieweit erfasst ein Test/Item das zu messende Merkmal repräsentativaufgrund logischer und fachlicher Überlegungen bestimmt und nicht anhand eines numerischen Wertes (Beurteilung von Experten spieltentscheidende Rolle)   das zu messende Merkmal wird im Test oder Testitem inhaltlich angemessen/ repräsentativ erfasst •die vorhandenen Items stellen dabei eine repräsentative Auswahl aus allen möglichen Items dar, die das interessierende Merkmal erfassen •keine Kennwerte, sondern Bestimmung nach logischen und fachlichen Überlegungen
• Was ist Augenscheinvalidität? Inwieweit erscheint der Validitätsanspruch eines Tests, vombloßen Augenschein her einem Laien gerechtfertigtwichtig für Akzeptanz seitens der Testperson, aber wissenschaftlichnicht immer zufriedenstellend, da nicht empirisch belegbar    
• Was ist Kriteriumsvalidität? vom Verhalten der Testperson innerhalb der Testsituation kannerfolgreich auf ein Kriteriumn (Verhalten außerhalb der Testsituation) geschlossen werden       Bestimmung der Korrelation zwischen Testvariablen und Kriteriumsvariablen   Arten der Kriteriumsvalidität: •Vorhersagevalidität •Übereinstimmungsvalidität •Retrospektive Validität •Inkrementelle Validität  
• Was ist Konstruktvalidität? wissenschaftlich fundierter Rückschluss vom Verhalten der Testperson innerhalb der Testsituation, auf zugrunde liegende psychologischePersönlichkeitsmerkmale(„Konstrukte“, „latente Variablen“, „Traits“)   Überprüfung aufgrund von testtheoretischen Annahmen und Modellen   Man unterscheidet zwei Ansätze: •Struktursuchende deskriptive Vorgehensweise •Strukturprüfende Vorgehensweise
• Erläutere den Unterschied zwischen strukturprüfend und struktursuchend. Struktursuchend •explorative Datenanalyse• Erstellung von Merkmalsdimensionen→Einordnung in theoretisches Konstrukt• Zusammenhang des Tests mit konstruktverwandten(konvergente V.) und konstruktfremden (divergente V.) Tests Strukturprüfend• Konfirmatorische Datenanalyse →interferenzstatistische Überprüfung der gefundenen Merkmalsdimensionen• Weitere Möglichkeit = MTMM→Herauspartialisierung derMethodeneinflüsse
• Nenne die Standards der Validität und Reliabilität. •Kennwerte alle 8 Jahre empirisch prüfen Reliabilität:•Zuverlässigkeitsschätzung für Gesamt- und Subtests•Berechnung und Stichprobe angeben•verschiedene Reliabilitätskoeffizienten •Angabe des Standardmessfehlers Stichproben und Berechnungsmethoden genau beschrieben •Verschiedene soziodemografische Gruppen Validität:   •Inhaltsvalidität → der im Test abgebildete Inhaltsbereich muss definiert und in seiner Bedeutung für die vorgesehene Testanwendung beschrieben sein •Kriteriumsvalidität → exakte Beschreibung etwaiger Kriteriumsmaße eines Tests und deren Erfassung •Konstruktvalidität → klare Abgrenzung, Einbettung in theoretischen Rahmen
• Erläutere die Zusammenhänge zwischen Objektivität, Reliabilität und Validität.   Objektivität und Reliabilität: •positiver Zusammenhang à je höher die Objektivität, desto größer ist die Reliabilität Validität und Reliabilität: •Validität kann maximal so groß sein wie die Wurzel aus der Reliabilität •gibt es keine oder geringe Reliabilität à keine oder gering ausgeprägte Validität •hohe Reliabilität ist trotz geringer Validität möglich
• Was ist die Skalierung? • „Ein Test ist skaliert, wenn die laut Verrechnungsregelresultierenden Testwerte die empirischen Merkmalsrelationenadäquat abbilden.“• Relation der Leistungsfähigkeit soll sich auch in den Testwertenwiderspiegeln → interindividuelle Differenzen, intraindividuelleDifferenzen und Persönlichkeitstests •die Umsetzbarkeit der Skalierung hängt vom Skalenniveau des Messinstrumentes ab:   →eindeutige Skalierung ab Ordinalskalenniveau  
• Was ist Normierung? „Unter Normierung/Eichung eines Tests versteht man das Erstelleneines Bezugssystems, mit dessen Hilfe die Ergebnisse einerTestperson eindeutig eingeordnet und interpretiert werden können.“ Standards: Normen für die jeweilig interessierende Gruppe Ausführliche Darstellung Prüfung auf Angemessenheit und Gültigkeit alle 8 Jahre   •Ergebnisse aus der Eichstichprobe werden in einer Normtabelle dokumentiert  =  Bezugssystem   •Normwerte die bei einer Normalverteilung verwendet werden:   IQ-Werte, T-Werte, Centil-Werte, Stanine- Werte,Standardschulnoten •keine Normalverteilungsannahme  Verwendung von Prozentrangwerte
• Was ist Testökonomie? „Ein Test erfüllt das Gütekriterium der Ökonomie, wenn er,gemessen am diagnostischen Erkenntnisgewinn, relativ wenigfinanzielle und zeitliche Ressourcen beansprucht.“• Erkenntnisgewinn sollte insgesamt größer sein als der finanzielleAufwand!• nur im Vergleich mit anderen Tests bestimmbar     Zwei Faktoren der Ökonomie: 1. Finanzieller Aufwand   Verbrauch des Testmaterials bzw. Beschaffung des Tests   aufwändige Computerhardware und -software   Lizenzgebühren für Testautoren und Verlage 2. Zeitlicher Aufwand   Nettozeit der Bearbeitung des Tests, die Vorbereitungs- , die Auswertungs- und Ergebnisrückmeldungszeit  
• Was ist Nützlichkeit? „Ein Test ist nützlich, wenn für das gemessenes Merkmal praktische Relevanz besteht und die auf seiner Grundlage getroffenen Entscheidungen mehr Nutzen als Schaden erwarten lassen“Standards:• interessierender Inhaltsbereich muss beschrieben undrepräsentative Items für jeden Subtest angegeben werden• empirisch fundierte Beweise → Revision bei bedeutendenVeränderungen   •Test muss nützliche Anwendungsmöglichkeiten aufweisen •das Merkmal sollte nicht auch mit einem anderen Test erfasst werden können
• Was ist Zumutbarkeit? • „Ein Test erfüllt das Kriterium der Zumutbarkeit, wenn er absolut undrelativ zu dem aus seiner Anwendung resultierenden Nutzen die zutestende Person in zeitlicher, psychischer sowie körperlicherHinsicht nicht über Gebühr belastet.“• hier geht es um die kritische Bewertung des Nutzens, gesellschaftliche Normen
• Was ist Unverfälschbarkeit? • „Ein Testverfahren erfüllt das Gütekriterium der Unverfälschbarkeit,wenn das Verfahren derart konstruiert ist, dass die zu testendePerson durch gezieltes Testverhalten die konkreten Ausprägungenihrer Testwerte nicht steuern bzw. verzerren kann.“   Mögliche Verzerrungen: •soziale Erwünschtheit (Objektive Testverfahren) •hohe Augenscheinvalidität •Persönlichkeitsfragebogen sind anfälliger als Leistungstests für Verzerrungen
• Was ist Fairness • „Ein Test erfüllt das Gütekriterium der Fairness, wenn dieresultierenden Testwerte zu keiner systematischen Benachteiligungbestimmter Personen aufgrund ihrer Zugehörigkeit zu ethnischen,soziokulturellen oder geschlechtsspezifischen Gruppen führen.“• Bsp.: Culture-Fair-Test   Fairness bezieht sich auf verschiedene Aspekte: •Itembias = unterschiedlich schwierige  Aufgaben für verschiedene Personengruppen •Durchführungsfairness •Testroutine = das Testergebnis kann durch unterschiedliche Testerfahrung oder Vertrautheit beeinflusst werden keine Faustregeln für die Feststellung von „Fairness“ = individuelle Beurteilung
• Was sind Teststandards? Sind vereinheitlichte Leitlinien, in denen sich allgemein anerkannte Zielsetzungen zur Entwicklung, Adaption, Anwendung und Qualitätsbeurteilung psychologischer Tests wiederspiegeln.
• Welche Bereiche gibt es beim psychologischen Testen?   •Entwicklung und Evaluation (Testkonstruktion) •Übersetzung und Anpassung (Testadaption) •Durchführung, Auswertung und Interpretation (Testanwendung) •Überprüfung der Einhaltung der Standards bei Testentwicklung und –Evaluation (Qualitätsbeurteilung)
• Advertisement
• Was muss man bei der Adaption von Tests beachten? • Hat die Adaption Sinn? (Kulturunterschiede beachten)• Adaption von Experten durchführen lassen• auch gesamtes Manual übertragen (nicht nur Items)• Testgütekriterien der adaptierten Version prüfen
• Welche Standards gibt es bei der Anwendung psychologischer Tests? Kompetenzen, die von Testanwender erwartet werden (z.B.fachliche und ethische Standards und Rechte der Probanden) und Fertigkeiten, die Testanwender mitbringen muss (z.B.kontextbezogene Kenntnisse und Fertigkeiten fürAufgabenhandhabung)
• Was ist das TBS-TK?   •Testbeurteilungssystem des Testkuratoriums zur Qualitätsbeurteilung psychologischer Tests
• Welche Merkmalsarten gibt es?   ◦Qualitativ (Nominalskala) vs. Quantitativ ◦Unidimensional vs. multidimensional (mehrere Konstrukte in Subtest) ◦Zeitlich stabil (traits) vs. zeitlich veränderbar (states)
• Welche Testarten gibt es?   ◦Leistungstests –Speed vs. Powertests ◦Persönlichkeitstests ◦Objektive Persönlichkeitstests ◦Projektive Persönlichkeitstests ◦Apparative Persönlichkeitstests –Computerbasierte Tests
• Was sind Leistungstests und welche Arten gibt es? Beispiel: Wiener Entwicklungstest • erfassen kognitive Leistungsfähigkeit durch die Bewältigung von Aufgaben• Proband wird instruiert bestimmte Aufgaben bestmöglich auszuführen (maximale Leistung)• meist werden Aufgaben so lange bearbeitet, bis keine Lösung mehr möglich ist, nur Dissimulation möglich(entweder ist Zeit abgelaufen, oder Fähigkeiten reichen nicht mehr aus)• umfassen falsche und richtige Antworten     Geschwindigkeitstests Powertests  
• Unterscheide Speed- und Powertests voneinander! SpeedtestsLeichte oder mittelschwere AufgabenZeitbegrenzungErmittlung der Anzahl gelöster Aufgaben Powertests (Niveautests)Aufgaben, die im Schwierigkeitsgrad ansteigenkeine oder großzügige ZeitbegrenzungErmittlung des intellektuellen Leistungsniveaus
• Was sind Persönlichkeitstests?   Erfassung von Persönlichkeitsmerkmalen - Verhaltensdispositionen Selbstauskunft über typisches Verhalten „faking good“/ „faking bad“ Kontextabhängige Motivation Keine richtigen oder falschen Antworten
• Was sind objektive Persönlichkeitstests? keine Augenscheinvalidität Verhalten in standardisierter Situation
• Was sind projektive Verfahren? Persönlichkeitsentfaltungstests qualitative Erfassung der Gesamtpersönlichkeit mehrdeutiges Material unbewusste Hineininterpretation der Probanden
• Was sind apparative Tests? Erfassung sensorischer und motorischer Merkmale
• Was muss man beim Geltungsbereich eines Testes beachten? GB bestimmt Anwendungsmöglichkeiten der Testung Festlegung des GB:    1) inhaltliche Validität beachten ◦(Übereinstimmung zw. Merkmal und seinen Operationalisierungen mittels Ankreuzverhalten)    2) eine oder mehrere Kriteriumsvalidität(en) sind         von Interesse     —Je breiter der GB bzw. je mehr Kriterien man vorhersagen möchte desto mehr Informationen müssen erfasst werden und desto schwieriger ist es alle Informationen in einem unidimensionalen Testwert auszudrücken —besser: GB eng definieren (auf wenige Verhaltensweisen beschränken, nur ein Kriterium fokussieren)     → aber: enge Auffassung des Konstrukts          spezieller Test: nur für spezifische Fragen —Je enger desto homogener —breiterer GB: höhere Heterogenität
• Was ist die Zielgruppe eines Tests?   = Personenkreis, für den mit dem Test Aussagen getroffen werden sollen Test für breite ZG -> mehr Anforderungen Je breiter die ZG: desto mehr müssen Aufgaben über breiteren Schwierigkeitsbereich streuen Aufgaben müssen ggf. inhaltlich breiter gefächert sein
• Was ist die Analysestichprobe? Und was die Eichstichprobe?   Analyse: Stichprobe für Itemanalyse Eichstichprobe: weitere SP zur Überprüfung der Kriteriumsvalidität eines Tests und zur Gewinnung von Normentabellen Nicht 2 mal gleiche SP verwenden, sonst: systematische Verzerrungen und fehlerhafte Schlussfolgerungen möglich
• Unterscheide Testlänge und Testzeit.   Testlänge ◦Itemanzahl ◦Abhängig vom Geltungsbereich ◦Je homogener, desto weniger Items, desto kürzer ◦Praktikabilität und Motivationslage der VP beachten (Optimizing-Satisficing-Problem) Es gilt: mit zunehmender Anzahl von Items zur Erfassung eines Merkmalsbereichs wird das Testergebnis präziser + Messfehler verkleinert sich + Reliabilität bzw. interne Konsistenz des Tests steigt Testzeit ◦Testdauer ◦Kurze Testzeit -> weniger Items ◦Entscheidend = Speed/Powertest + Zielgruppe
• Was ist die Testadminitration?   Testadministration = Entscheidung über Format und Form des Tests  
• Was für Testformate gibt es?   ◦Paper-Pencil-Test vs. Computergestützte Tests ◦Einzel- vs. Gruppentests    
• Was sind Konstruktionsprinzipien eines Tests und die Konstruktion der Testaufgaben?   Wahl der Aufgaben, konkrete Generierung der Testaufgaben, Zusammensetzung der Testaufgaben Entscheidung für eine Strategie ist abhängig vom Merkmal, dem Geltungsbereich, Zielgruppe Meist gemischte, mehrstufige Vorgehensweise
• Welche Konstruktionsstrategien gibt es?   Intuitive Konstruktion     Rationale Konstruktion     Externale oder kriteriumsorientierte Konstruktion     internale oder faktorenanalytische Konstruktion
• Was ist die Intuitive Konstruktionsstrategie?   ◦Theoretischer Kenntnisstand gering ◦Von Erfahrung und Intuition des Testkonstrukteurs geleitet ◦Beginn neuer Forschungszweige

back  |  next 1 / 3