Modul 1 - 03401 Forschungsmethoden der Psychologie (Subject) / 5 Grundlagen des Messens und Testens in der Psychologie (Lesson)

This lesson was created by dinocroc.

Learn lesson

back  |  next 1 / 1

• 5 Grundlagen des Messend und Testens in der Psychologie   Immanuel Kant stellte fest, dass die empirische Seelenlehre keine Seelenwissenschaft sein kann, weil psychische Phänomene weder messbar noch experimentell analysierbar seien. bis Theodor Fechner vom Gegenteil überzeugte.  auch heute gelten noch die Messbarkeit psychischer Phänomene und insbesondere die damit verbundene Entwicklung geeigneter Messverfahren und - instrumente als zentrale Leistung der wissenschaftlichen Psychologie  zentrale Schritte im Ablauf einer Studie = hypothetische Konstrukte messbar zu machen  Messung = Zuordnung von Zahlen zu Merkmalsausprägungen von Objekten, nach bestimmten Regeln. Zuordnungsregel gewährleisten dass sich beobachtete emp Relationen zw. den Zahlen widerspiegeln.   
• 5.1 Messen   Messen ist die Zuordnung von Zahlen zu Merkmalsausprägungen von Objekten Objekte = Person i.d.R. Zuordnung nach bestimmten Regeln → emp. Relationen zw. den Objeten in numerischen Relationen zw. den Zahlen widerspiegeln Das Skalneniveau einer Messung hängt mit drei messtheoretischen Kardinalproblemen, insbesondere mit dem Eindeutigkeitsproblem zusammen.  Messen als homomorphe Abbildung Abbildung = Zuordnung von Zahlen zu den Merkmalsausprägungen von Objekten eine Menge von Zahlen und deren mathematische Beziehung wird numerisches Relativ genannt. eine Menge von Zahlen und deren beobachtbare Beziehungen = empirisches Relativ die Struktur der empirischen Relationen bei der Abbildung in ein numerisches Relativ muss erhalten bleiben. homomorphe Abbildung eines empirischen Relativs in ein numerisches Relativ = strukturerhaltende Abbildung drei zentrale messtheoretische Probleme: Repräsentationsproblem Eindeutigkeitsproblem Bedeutsamkeitsproblem 1. Repräsentationsproblem: Wenn Messen die homomorphe Abbildung eines empirischen Relativs in ein numerisches Relativ ist, dann stellt sich zuallererst die Grundfrage: Gibt es eine solche homomorphe Abbildung überhaupt?  → Ist ein Merkmal überhaupt messbar? Lässt sich ein emp Rel durch ein num. Rel repräsentieren? Gegenstand des Repräsentationsproblems: Können relevante empirische Relationen zw. den Merkmalsausprägungen verschiedener Untersuchungsobjekte erfasst und in Messwerten abgebildet werde?  Representationstheorem: bestimmte Grundannahmen bzw. Axiome werden formuliert in denen Eigenschaften des emp. Relativs angegeben sind, die erfüllt sein müssen, damit eine Repräsentation in ein numerischen System möglich ist.  B = Transivität a > b und b > c, dann a>c B für Intransivität  Fußballspiele wenn das Repräsentationsproblem gelöst ist, damm liegen für eine Messung ein emp Relativ E, ein numerisches Relativ N und eine Zuordnungsregel bzw. Abbildungsfunktion f vor. E,N und f konstituieren eine Skale 2.Eindeutigkeitsproblem wenn das Repräsentationsproblem gelöst ist, wenn also Axiiome formuliert und auch emp. überprüft wurden, die im emp. Relativ gelten, dann ist eine homomorphe Abbilding, d.h. eine Messung möglich. verschiedene Zuordnungen der emp Objekte zu Zahlen können eine homomorphe Abblidung erzeugen.  Welche Transformationen möglich sind, ohne dass die abzubildenden Realtionen verändert werden ist Gegenstand des Eindeutigkeitsproblems:  Messung umso eindeutiger je weniger Transformationen möglich sind.  Die möglichen Transformatinen der Messwerte konstituieren das sogenannte Skalenniveau. 1m = 100cm doppelt so groß wie 2m = 200cm 3. Bedeutsamkeitsproblem Frage: welche mathematischen Operationen führen zu empirsch sinnvollen Aussagen. Das Bedeutsamkeitsproblem stellt sich erst im Anschluss an eine Messung und betrifft den "rechten Umgang" mit den Messwerten.  B= es macht keinen Sinn auf Nominalskalenwert kodierte Werte  für die Geschlechtszugehörigkeit zu mitteln. → Mittelwert für Geschlecht ist keine empirisch sinnvolle Aussage.  Frage: welche statistischen Verfahren bei der weiteren Analyse der Daten können sinnvoll angewendet werden? Auch diese Frage betrifft das Skalenniveau der Messwerte  
• 5.2. Skalenniveaus   die Menge der zulässigen Transformationen einer Messung einerseits und die dazu inverse Menge der zulässigen statistischen Operationen, die zu bedeutsamen Ergebnissen führen, andererseit konstituieren das Skalenniveau einer Messung.  In der Psychologie werden fünf Skalenniveaus unterschieden: Nominalskala Rangskala Intervallskala Verhältnisskala Absolutskala von 1- 5 nimmt die Anzahl der zulässigen Transformationen ab und die Anzahl der möglichen mathematischen Operationen (statistischen Analysen) steigt. Nominalskala: Beobachtbare Realtionen: Äquivalenzrelation: =, ≠ nicht unbedingt Zahlen auch andere Symbole möglich B= kategorial vorliegende Entitäten: Geschlecht, Studienfächer zulässige transformationen: beliebig Transformierbar, ein-eindeutige Transformationen Mögliche statistische Operationen, B: Modus Ordinalskala Beobachtbare Relationen: >, <  Beispiele: Rangreihen: Schulnoten, akademische Abschlüsse Zulässige Transformationen: streng monoton steigende Mögliche statistische Operationen: Median Intervallskala   Beobachtbare Relationen: Äqidistanz = Gleichheit von Differenzen Beispiele: IQ-Skala, Ratingskalen  Zulässige Transformationen: positiv lineare y = a · x + b Mögliche statistische Operationen: Mittelwert kein Nullpunkt definiert Aussage: IQ 70 ist halb so hoch wie 140 ist falsch. → richtig = der IQunterschied von 70 und 140 ist doppelt so gr. Verhältnisskala Beobachtbare Relationen: Verhältnisrelationen: doppelt, dreimal... natürlicher Nullpunkt Beispiele: Zeitmaße, Einkommen  Zulässige Transformationen: Ähnlichkeitstransformationen y = a · x Mögliche statistische Operationen: Geometrisches Mittel Absolutskala Beobachtbare Relationen: Natürliche Maßeinheit Beispiele:Häufigkeiten Zulässige Transformationen: keine Mögliche statistische Operationen: alle
• 5.3. Gütekriterien des Messens und Testens   Während im Rahmen der Kardinalprobleme und Skalenniveau festgelegt wird, ob und mit welchem Informationsgehalt gemessen werden kann erlauben die drei Kriterien eine Beurteilung der Qualität: Objektivität Reliabilität Validität  Begriff Test in der Psy mehrdeutig verwendet Einigkeit darüber: Verfahren zur Gewinnung diagnostisch relevanter Daten. engerer Sinn: Verfahren, mit dem Daten unabhängig von den subjektiven Urteilen und Einschätzungen der Probanden erhoben werden können. Def von Linet und Raatz: ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. Test = wissenschaftliches Routineverfahren, weil es bestimmten Testgütekriterien genügt und weil die Durchführung, Auswertung und zum Teil auch die Interpretation der erhobenen Daten standardisiert erfolgt und routinemäßig wiederholt werden kann. Test liefert quantitative Aussage über ein interessierendes Merkmal, da die Antworten eines Probanden mit Zahlen verknüpft und zu einem Gesamtwert (Score) zusammengefasst werden. relative Grad der individuellen Merkmalsausprägung = kann aus diesem Gesamtwert ermittelt werden, indem er zu einer Vergleichsgruppe (sogenannte Norm- bzw. Eichstichprobe) von Probanden, die möglichst ähnliche soziodemografische Merkmale aufweisen (mind. Alter + Geschlecht) oder einem Kriterium (Bestimmte Anzahl an gelösten Aufgaben) in Beziehung gesetzt wird. Objektivität Unabhängigkeit der Ergebnisse einer Messung bzw. eines Tests von der Person, die den Test anwendet. Gliederung der Testanwendung in Drei Phasen:  Durchführung -objektivität,  Auswertung -objektivität, Interpretation -objektivität. Warum sind 1-3 Indikatoren für die Qualität einer Messung? ungünstig wenn andere PsychologInnen denselben Test durchführen zu völlig anderen Ergebnissen kommen → wie soll entschieden werden wessen Befund der richtige ist? 1-3 sind deshalb hoch standardisiert + im Testmanual genau beschrieben  → Objektivität im Sinne intersubjektiver Übereinstimmung bei der Durchführung, Auswertung, Interpretation einer Messung mit Hilfe eines Tests möglich. Reliabilität: kennzeichnet die Messgenauigkeit,  unabhängig davon was inhaltlich gemessen wird, unabhängig von der Frage ob mit einem Test tatsächlich das gemessen wird, was gemessen werden soll.  B Intelligenz : wenn mathematische Intelligenz eines Probanden erfasst werden soll, dann wird dies genauer möglich sein, wenn unser Proband nicht nur eine einzige Mathematikaufgabe löst, sondern mehrere. Lösung einer einzigen Aufgabe → viele Zufalls- und Störquellen können das Ergebnis beeinträchtigen. Klassische Theorie: solche Fehler mitteln sich aus, wenn mehrere Messungen desselben Konstrukts durchgeführt werden., formal: die summe aller Fehlereinflüsse = Null. Reliabilitätsschätzung: Reliabilität eines Tests lässt sich vor dem Hintergrund verschiedener Modelle schätzen und mit einem Koeffizienten quantifizieren , liegt in der Regel zw. 0 und +1 Split-Half- oder Halbierungsmethode: Test wird in zwei große Hälften aufgeteilt und die Korrelation dieser Hälften als Reliabilitätsmaß interpretiert → eigentlich nur die Reliabilität eines Tests mit halber länge wird geschätzt. Paralleltestmethode: zwei sogenannte parallele Test werden in einem gewissen Abstand derselben Probandenstichprobe vorgelegt, die Korrelation der beiden parallelen Tests als Reliabilitätsschätzung bestimmt. Testtheoretisch sind zwei Tests dann parallel, wenn sie dieselben wahren Werte und Fehlervarianzen aufweisen. → schwierig und aufwendig exakt parallele Tests zu konstruieren Interne Konsistenz Crombach-Alpha: Idee = bei einem Test, mit dem ein eindimensionales  Merkmal erfasst werden soll kann jedes Item als eigener Testteil interpretiert werden. → Cronbachs Alpha liefert dann die mittlere Konsistenz über alle möglichen Testaufteilungen (Items). Retest-Reliabilität: = eine Retest-Korrelation die auf der wiederholten Vorgabe ein- und desselben Tests bei denselben Probanden basiert. besonders in der PErsönlichkeitspsy relevant → zeitliche stabilität von Persönlichkeitsmerkmalen werden empirisch gestützt.: Rangreighe der Personen im Hinblick auf die Ausprägung eines Merkmals über die Zeit nicht, oder nicht entscheidend verändert. Retest-Korrelatin +1, wenn die Rangreihe exakt erhalten bleibt werte (B= Extraversion) können sich verändern( jede Person +einen höheren absoluten Extraversionsmesswert) was den perfekten Korrelation rtt= +1 nichts ändert, solange die Rangreihe der Probanden gleichbleibt.  Validität Außmaß in dem ein Test misst, was er messen soll.  Wird mit einem Intelligenztest überhaupt Intelligenz gemessen? es gibt für das Außmaß der Validität kein einzelnes quantitatives Maß für Reliabilität. Angemessener von der Validität verschiedener Interpretationen der Ergebniss eines Test zu sprechen.  Unterschieden werden Interpretationen in Bezug auf: die Bewetung, Verallgemeinerung, Exploration, Erklärung von Testergebnissen. + Entscheidungen auf der Basis von Testergebnissen.  Bewertung eines Testergebnisses durch Vergleich eines individuellen Testwerts mit einer Vergleichsgruppe. → Interpretationen, wie :durchschnittlich/überdurchschnittlich/unterdurchschnittlich. Interpretieren im Sinne von Verallgemeinern und Extrapolieren meine eine Übertragung der Testergebnisse auf ahnliche Testaufgaben bzw. konstruktnahe Leistungen i Bereichen außerhalb der Testsituation.→ zu erwarten, dass jemand mit einer hohen Intelligenz auch in anderen Tests gut abschneidet. bzw. in relevanten BEreichen außerhab der Testsituation ( B= Schule und Studium)) Kausale Erklärungen können sich auf explikative Konstrukte innerhalb von Intelligenztheorien beziehen: Geschwindigkeit der Informationsverarbeitung oder genetische Faktoren als Bedingungen für hohe Intelligenz. Entscheidend auf der Basis von Testergebnissen sind Interpretationen . die beispielsweise die Eignung einer Person fpr einen bestimmten Studien- oder Arbeitsplatz implizieren. Validität dieser unterschieldichen Interpretationen von Testergebnissen bedarf der theoretischen und empirischen Überprüfung innerhalb eines Validierungsprozesses in den verschiedene Studien und Methoden eingehen können und sollten..  Vier Validitätstypen: Inhaltsvalidität Augenscheinvalidität Kriteriumsvalidität Konstruktvalidität  Inhaltsvalidität Ausmaß indem die Aufgaben bzw. Items eines Tests das interessierende Konstrukte inhaltlich repräsentieren.  Annahme eines Aufgaben- bzw. Itemuniversums, das ein latentes Konstrukt inhaltlich indiziert Inhaltsvalidität dann gegeben, wenn eine ausgewählte Stichprobe der Aufgaben bzw. Items dieses Universums hinreichend repräsentiert. Abgeschätzt durch die Urteile von Experten→ Itempool wird Experten vorgelegt → Urteil ob ein Item für das Konstrukt inhaltlich repräsentativ ist. quantitativ möglich, aber oft  ein argumentatives Diskurs.  Darf nicht mit der Augenscheinvalidität verwechselt werden, die angibt inwieweit das mit einem Test zu erfassende Merkmal auch für Laien evident ist.  Augenscheinvalidität ist für die Akzeptanz eines Tests wichtig, wenn z.B: angekündigt wir, dass ein Intelligenztest durchgeführt wird, dann sollte für die Probanden auch einsichtig sein, dass die damit verbundernen Aufgaben auch etwas mit Intelligenz zu tun haben.  Kriteriumsvaliditat Kennzeichnet Zusammenhang zwischen dem Testergebnis und einem Kriterium außerhalb der Testsituation.  statistisch wird dieser Zusammenhang korrelativ/ regressionsanalytisch ermittelt. Wenn das Kriterium zeitlich mit der Testung vorliegt → konkurente Validität bzw. Übereinstimmungsvalidität → Außenkriterium kann fast gleichzeitig mit dem Testwert gemessen werden, entweder (unmittelbar) vor oder (unmittelbar) nach der Durchführung.  Cronbach und Meehl sprechen von konkurrenter Validität, wenn ein (neuer) Test einen anderen, bereits vorliegenden Test, der dasselbe Merkmal erfasst ersetzen soll oder wenn ein Test mit einem vorliegendem Kriterium, z.B. einer klinisch-psychologischen Diagnose korreliert.: B= Übereinstimmungsvalidität einer Multiple-Choise-Klausur mit einer konventionellen Klausur oder mündlichen Prüfung zu ermitteln. → sollte hoch korrelieren.  Prädiktive oder prognostische Validität meint den Zusammenhang zwischen Testergebnis und einem Außenkriterium, das in der Zukunft liegt und ergo durch die Testung vorhergesat wird. B= STudienerfolg. Kirteriumsvalidität kann am besten dann gestützt werden , wenn ein zweifelsfrei gültiges Außenkriterium (B= aggressive Verhalten) vorliegt, aber meist nicht der Fall sein kann. → Validierung eines Tests zumeist im Hinblick auf mehrere Kriterien Kriteriumsvalidität betrifft Interpretationen von Terstergebnissen im sinne der ober erläuterten Exploration und Entscheidung. Konstruktvalidität geht um die umfassende emp. Überprüfung und Weiterentwicklung der theoretischen Annahmen, die mit dem gemessenen Konstrukt verbunden sind.  Die Konstruktvalidität als umfassendes Konzept, das alle anderen Validitätsarten ein einschließt zentral = Konzept des nomologischen Netzwerks, kennzeichnet ein zusammenhängendes System von Gesetzmäßigkeiten.  die deterministischen oder probabilistischen Gesetzmäßigkeiten in einem nomologischen Netzwerk können Beziehungen : beobachtbarer Variablen zu anderen beobachtbaren Variablen  theoretische Konstrukte zu beobachtbaren Variablen theoretische Konstrukte untereinander betreffen. Gesetzmmäßigkeiten müssen angegeben werden, die das Konstrukt betreffen.→ Konstrukt muss in einem nomologischen Netzwerk vorkommen, in dem zumindest einige Gesetzmäßigkeiten beobachtbare Variablen beinhalten.  Konstruktvalidität kennzeichnet die Zusammenhänge des Testscores innerhalb diese nomologischen Netzes. Konstruktvalidität ist niemals abgeschlossen → fortlaufender Validierungsprozess, indem mit versch. experimentellen, korrelativen u.a. Methoden Hypothesen geprüft werden.  Konvergente Validität: deutlich positive Beziehungen können zu Tests, die dasselbe oder ein sehr ähnliches Merkmal messen nachgewiesen werden. Konvergente Validität mit der Übereinstimmungsvalidität gleichbedeutend, wenn es tatsächlich um Beziehungen zu Tests geht, die dasselbe Merkmal erfassen. divergente oder diskriminante Validität = Unabhängigkeit (Nullkorrelation oder sehr niedrige Korrelation) der Testwerte von Testwerten von Konstrukten, die sich von dem zu messenden Konstrukt theoretisch unterscheiden.  Nebengütekriterirn   geht meistens darum die Qualität der Anwendung bzw. Anwendbarkeit eines Tests zu bewerten.  Besonders wichtig ist das Kriterium der Normierung oder Eichung eines Tests Ein Test ist normiert, wenn ein Bezugssystem vorliegt, vor dessen Hintergrund die Testwerte einer einzelnen Person eingeordnet und interpretiert werden können.  Bei dem Bezugssystem handelt es sich um die Werte einer Vergleichsstichprobe von Personen, die mit der getesteten Person im Hinblick auf die relevanten Kriterien (mind Alter und Geschlecht) vergleichbar sind. In der Einzellfalldiagnostik erfolgt die Interpretation eines individuellen Testwerts mit den Vergleich mit den Normwerten und resultiert in einer basalen Interpretation. (durschnittlich, überdurchschnittlich....) weitere Gütekriterien zur Beurteilung der Anwendungsqualität  betreffen z.B.  die Testfairness: gegeben, wenn in der Tesituation eine Benachteiligung bestimmter ethischer, soziokultureller oder geschlechtsspezifischer Gruppen ausgeschlossen ist.  Testökonomie: die Relation der zeitlichen und finanziellen Kosten einer Testdurchführung im Vergleich zum Nutzen der Erkenntnisse, die aus einem Testergebnis abgeleitet werden können.   

back  |  next 1 / 1