28

Testtheorie und Testkonstruktion (Subject) / Altklausurfragen (Lesson)

This lesson was created by ameliekunow.

Learn lesson

back  |  next 1 / 1

• Erläutern Sie die Vor- und Nachteile des Prototypenansatzes gegenüber der deduktiven Testkonstruktion. Der Prototypenansatz kann im Gegensatz zur deduktiven Testkonstruktion als Laien geleitet angesehen werden (deduk. Konstruktion = Experten geleitet).Dadurch gelingt eine natürliche und alltägliche Sprache für die Itemformulierung, welche durch Experten oft nicht gelingt, da sie zu kompliziert und bestückt mit Fachbegriffen ist. Allerdings entsprechen die Laienvorstellungen nicht der wissenschaftlichen Theorie des Konstrukts, was bei der deduktiven Konstruktion gesichert ist, da dort der Test von einer Theorie abgeleitet wird
• Was spricht für und was spricht gegen Antwortformate mit einer mittleren Kategorie? Für das Antwortformat einer mittleren Kategorie spricht, den Probanden eine größere Breite an Antwortmöglichkeiten zu präsentieren und sie nicht zu einer unpassenden Wahl, hier einer für sie eventuell zu extremen Antwort zu zwingen. Allerdings birgt die mittlere Kategorie auch die Gefahr, dass die Probanden diese wählen, da sie sich nicht entscheiden können oder fehlende Motivation oder Verständnis haben, also die Kategorie als Ausweichskategorie nutzen
• Schwierigkeit und Trennschärfe eines Items sind nicht ganz unabhängig voneinander. Beschreiben und erklären Sie die Beziehung zwischen beiden Kennwerten. Die Trennschärfe eines Items ist indirekt unter anderem auch abhängig von der Schwierigkeit des Items.Da die Schwierigkeit eines Items die Varianz beeinflusst, welche sich wiederum auf die Trennschärfe auswirkt. Die Schwierigkeit beschreibt den Schwerpunkt der Skala. Liegt dieser nicht in der Mitte, entsteht eine Schiefe der Verteilung. Dadurch ballen sich die Antworten, also Antworten sind weniger stakt verteilt. Das hat wiederum Auswirkungen auf die Varianz, sie verringert sich. Die Trennschärfe ergibt sich aus eben dieser Varianz des Items und der Varianz der Testwerte. Fällt die Varianz des Items gering aus, wirkt sich das also auch auf die Trennschärfe aus.
• „Die Itemvarianz sollte so groß wie möglich sein.“ Beurteilen Sie diese Aussage und begründen Sie Ihre Beurteilung. Grundsätzlich gilt: Je mehr Varianz, desto besser. Allerdings ist dieser Grundsatz von der Maximalvarianz begrenzt, da es in diesem Fall keinen Schwerpunkt der Antworten gibt. Bei einer 5-stufigen Antwortskala beträgt die Maximalvarianz 4. Wenn sich zwei Lager in der Verteilung ergeben, also jeweils 50% der Probanden das kleine Extrem und das große Extrem ankreuzen, gibt es kein Differenzierungsspielraum zwischen den Personen mehr, da man die Personen nur in 2 Antwortkategorien, statt in die ursprünglichen 5 einteilen kann.
• Manche Fragebögen nutzen Items zur Erfassung der sozialen Erwünschtheit, um Testwerte zu bereinigen. Beurteilen Sie dieses Vorgehen kritisch. Kann sinnvoll sein, kann aber auch den Probanden unrecht tuen, wenn man ihre Aussagen aufgrund des soz. Erwünschtheit Fragebogens dann nur relativiert.
• Wieso müssen die Faktoren bei der Faktorenextraktion unabhängig voneinander sein? Erklären Sie dies bitte kurz. Die Faktoren müssen unabhängig sein, da sie sukzessiv, d.h. nach einander extrahiert werden. Zuerst wird ein Faktor so extrahiert, dass er in allen Items die maximale Varianz aufklärt. Ist das Bild der Items sehr heterogen, also klärt der extrahierte Faktor noch nicht alle Varianz genügend auf, kann ein 2. Faktor zur Aufklärung der verbleibenden Restvarianz extrahiert werden. Da die beiden Faktoren ja jeweils dazu beitragen sollen die maximale Varianz aufzuklären, dürfen sie nicht korrelieren, also müssen orthogonal zueinander liegen.
• Angenommen, Sie haben für Ihr Testverfahren eine interne Konsistenz von .90 und eine Retest-Reliabilität von .40 berechnet. Widersprechen sich diese Ergebnisse? Begründen Sie ihre Antwort. Nein, die interne Konsistenz kann hoch sein, da das Konstrukt sehr homogen ist, also die Items alle etwas ähnliches erfassen.Dabei fällt dann die Retestreliabilität etwas geringer aus, da diese eher aussagekräftig für heterogene Items bzw. Konstrukte ist. Wenn das Konstrukt zusätzlich nicht zeitlich stabil ist, sondern zum Beispiel eine Befindlichkeitserfassung, dann ist auch diese geringe Retetsrelaibilität zu erwarten, da diese nur gut für zeitlich stabile Merkmale ist.
• Erläutern Sie Vor- und Nachteile von Cronbach’s alpha gegenüber der Retest-Reliabilität. Im Gegensatz zur Retestreliabilität benötigt man zur Bestimmung von Cronbachs Alpha nur eine Durchführung, statt 2, ist also weniger aufwendig. Zur Feststellung der Retestreliabilität muss die Testdurchführung an 2 verschiedenen Zeitpunkten geschehen, Cronbachs Alpha kann man hingegen im Nachhinein mithilfe der einmaligen Testdurchführung bestimmen. Allerdings ist dieses Reliabilitätsmaß nur sinnvoll bei homogenen Tests . Bei heterogenen Test wird die Reliabilität unterschätzt. Die Retestreliabilität bietet sich an bei heterogenen Items. Hierfür ist aber noch zu beachten, dass das zumessende Merkmal stabil über die Zeit sein muss und welche Länge man für das Zeitintervall zwischen den beiden Messungen wählt. Diese Überlegungen braucht man bei Cronbachs Alpha nicht zu treffen
• Warum wirken sich unsystematische nicht aber systematische Messfehler reliabilitätsmindernd aus? Erklären Sie dies bitte kurz. Unsystematische Messfehler werden in der klassischen Testtheorie angenommen und durch die Ableitung der Reliabilität von der KTT auch in ihr berücksichtigt. (KTT: Messfehler = Gesamtheit aller unsystematische Einflussgrößen).Systematische Messfehler, wie bewusste und unbewusste Antworttendenzen, hingegen werden nicht berücksichtigt. Die KTT nimmt an, dass sich die unsystematischen Messfehler durch die Wiederholungen der Messungen herausmitteln, also der Mittelwert der Messungen dann dem wahren Wert entspricht
• Nehmen Sie kritisch Stellung zur Minderungskorrektur. Gehen Sie dabei auf Vorzüge aber auch Probleme ein. Die Minderungskorrektur entferntdie Messfehler der Verfahren und ermöglicht damit eine realistischere Schätzung der Korrelation und damit der möglichen Validität.Bei der einfachen Minderungskorrektur werden nur die Messfehler des Kriteriumsherausgerechnet. Die doppelte Minderungskorrektur überschätzt Korrelationen,deshalb sollte man nur die einfache anwenden. Trotzdem muss man die unkorrigierten Werte immer angeben
• Advertisement
• Was ist Reliabilität? - Die Reliabilität  ist ein Maß für die formale Genauigkeit bzw. Verlässlichkeit wissenschaftlicher Messungen. Sie ist derjenige Anteil an der Varianz, der durch tatsächliche Unterschiede im zu messenden Merkmal und nicht durch Messfehler erklärt werden kann.
• Definiere Faktorladung, Eigenwert und Kommunalität. Faktorladung: Korrelation zwischen Werten auf Item 1 und Werten auf dem Faktor = Varianzaufklärung, die der Faktor an Item 1 leistet Eigenwert: Varianzaufklärung, die der Faktor an allen Items leistet Kommunalität: Varianzaufklärung,die alle Faktoren zusammen an einem Itemleisten
• Warum macht man Faktorrotation und was will man bei der VARIMAX maximieren? Bevor man die Faktoren inhaltlich interpretieren kann, muss man die Faktoren noch „rotieren“. Das liegt daran, dass deine gefundene Faktorlösung nur eine von unendlich vielen möglichen Lösungen ist. Dabei ist sie jedoch meist nicht die Lösung, die am einfachsten zu interpretieren ist. Mit Hilfe der Rotation kannst du eine Faktorlösung finden, bei der das leichter möglich ist. Dafür stehen dir bei einem Statistikprogramm verschiedene sogenannte orthogonale und oblique Rotationsverfahren zur Verfügung. Besonders bekannt sind etwa die Varimax- oder die Oblimin-Rotation. Bei orthogonalen Verfahren hast du den Vorteil, dass deine Faktoren nach der Rotation immer noch unabhängig voneinander sind. In manchen Fällen ist es jedoch inhaltlich logischer, Korrelationen zwischen den Faktoren zuzulassen, um eine gut interpretierbare Lösung zu finden. In diesem Fall solltest du auf oblique Rotationsverfahren zurückgreifen.  "Varimax": Die am häufigsten verwendete, orthogonale Rotationsmethode. Maximiert wird die Varianz der Ladungen innerhalb der Faktoren, dies führt im Idealfall zu , die die Anzahl der Variablen mit hohen Ladungen für jeden Faktor minimiert.
• Wie berechnet man die Gesamtvarianz, wenn zwei Faktoren gegeben sind? (Eigenwert Faktor 1 + Eigenwert Faktor 2) / Anzahl der Items
• Wie berechnet man die Kommunalität? (Faktor 1)² + ... + (Faktor j)² → kann nicht > 1 sein
• Wie berechnet man den Eigenwert? (Item 1)² + ... + (Item i)² → kann bzw. sollte > 1 sein
• Welche Abbruchkriterien gibt es? - Kaiser-Guttman-Kriterium (Eigenwert > 1) - Parallelanalyse
• Wie viele Faktoren können maximal und wie viele Faktoren minimal extrahiert werden? Minimal einen, maximal so viele wie Items
• Welche Arten von Faktorenextraktion gibt es? - Eigenwerte berechnen -> Kaiser-Guttman-Kriterium - Screeplot zeichnen ->Knick der Linie interpretieren - Parallelanalyse ->Faktoren über der Zufallslinie extrahieren 
• Was unterscheidet die orthogonale Rotation von einer obliquen Rotation? Bei der orthogonalen Rotation wird die Unabhängigkeitder Faktoren beibehalten und dieFaktoren sind unabhängig voneinander interpretierbar. Bei der obliquen Rotation wird die Unabhängigkeit aufgegeben und die Faktoren liegen nicht mehr rechtwinklig zueinander.
• Was ist der Standardmessfehler? Der Standardmessfehler gibt an, wie stark die Messfehler um die wahren Werte der Person(en) streuen.
• Wie funktioniert die Testhalbierungsmethode? - Der Test wird nach der Durchführung in zwei möglichst äquivalente Hälften aufgeteilt.So erhält man für jeden Probanden zwei Testwerte. - Die verschiedenen Aufteilungsmethoden lauten Odd-Even Methode (gerade/ungerade Itemnummer), Halbierung nach laufender Nummer, Zufallsaufteilung, Itemzwillinge (Schwierigkeit/Trennschärfe), Halbierung nachTestzeit (bei Speedtests)
• Was bedeutet konvergente, was diskriminante Validität? Konvergente Validität liegt vor, wenn hohe Korrelationen mit Testsvorliegen, die dasselbe oder ähnliche Konstrukte erfassen. Diskriminante Validität liegt vor, wenn ein geringer oder kein Zusammenhang zu Konstrukten vorliegt, zu denen theoretisch kein Zusammenhang angenommen wird.
• Definieren Sie Übereinstimmungsvalidität und Vorhersagevalidität. Vorhersagevalidität: Testwerte werden zeitlich vor dem externen Kriterium erhoben (z.B. Berufseignung vor Einstellungermittelt und später mit Berufserfolg korreliert). Übereinstimmungsvalidität: Testwerte und externe Kriterien werden zeitlich parallel erfasst, z.B. nach der Entscheidung in einer intakten, vorselektierten Population
• Was passiert mit der Spezifität, wenn man den Schwellenwert erhöht? Wenn man den Schwellenwert erhöht, dann steigt die Spezifität.  
• Welche Kriterien beeinflussen die Korrelation zwischen zwei Tests? Reliabilitäten, Validitäten (Konstruktnähe bzw. -ferne), Methoden
• Wie berechnet man die doppelte Minderungskorrektur? Korrelation Testwerte Kriterium / Wurzel (Reliabilität Kriterium) * Wurzel (Reliabilität Test)
• Wie hängen die Itemschwierigkeit und die Itemvarianz zusammen? Die Itemschwierigkeit begrenzt die mögliche Ausprägung der Varianz. Je schwieriger oder leichter (extremer) die Items, desto geringer die Varianz. Bei mittlerer Schwierigkeit können tendenziell die größten Varianzen erreicht werden.

back  |  next 1 / 1