14
Paradigmenlehre (Subject) / Vorlesung 8 (Lesson)
Advertisement
- State of the Union - Daten die wir verwenden, sind gefälscht --> selbst eingetippt, statt empirisch gegeben - Questionable Research Practices (Simmons, Nelson, Simonsohn 2011) • zu kleine Stichproben • dann strategisch Daten hinzunehmen oder weglassen, damit Effekte auftreten • So lange Personen in die Stichprobe miteinschließen bis sich signifikante Ergebnisse ergeben •Simmons et al. 2011: KG hört Nachrichten; EG hört Beatles --> EG fühlt sich jünger, wenn sie "when i'm 64' hören - Non-Replications •Lassen sich psychologische Effekte überhaupt replizieren? --> Wiederholen von Effekten sollte der Maßstab sein • Open Science Collaboration (2015) hat sich dies zum Ziel genommen
- Häfner, Stapel (2010): Information to go: Fluency enhances the usability of primed information - wenn Eigenschaften zu Person passt, wird sie bei positivem gut und bei negativem schlecht bewertet (wenn leicht zugänglich) - Bsp.: "Peter ist freundlich" --> ich mag Peter; "Peter ist unfreundlich" --> ich mag Peter nicht - Info wird verwendet, wenn leicht lesbar oder reimend = leichtere Verarbeitung - kein Unterschied bei anwendbarer Info (Auto ist schwarz), aber Unterschied bei nicht-anwendbarer Info (Auto ist flauschig) (gleiches Bewertungsmuster bei leichterer Verarbeitung) - Daten wurden komplett ausgedacht - Das einzige was hilft, ist ein Aufruf, nicht zu betrüfen, mehr kann man nicht tun - Aufwand nachträglich zu zeigen, dass man nicht betrogen hat, ist viel größer als von vorn herein sauber zu forschen
- Fraud and Questionable Research Practice (QRP) - John, Loewenstein, Prelec 2012: - Führten anonyme Studie mit forschenden durch - 1. AVs werden nur selektiv berichtet; nur die AVs die signifikante Effekte zeigen, werden berichtet, die anderen werden außen vor gelassen --> das steigert allerdings die false-positives: die Effekte, die eigentlich gar nicht da sind (α-Fehlerkumulierung als Folge) - noch schlimmer: unabhängige und abhängige Vn werden selektiv berichtet; Bsp.: Lernanstieg: in der Mitte stärkerer Anstieg als am Ende --> Manipulation in der Mitte wird einfach außen vor gelassen - Laissez-faire Umgang mit p-Werten: p < .054 ≠ p .05 2. Post-hoc Befund als a priori Vorhersage klassifizieren 3. Datensammlung verändern, nachdem erste Daten analysiert wurden (etwas ist fast signifikant, deshalb erhebe ich noch 100 Leute mehr)
- What to do? - Non Replications - Replikation ist das wichtigste in der Wissenschaft ("cornerstone of science" Hempel & Oppenheim, 1948) - Erklärungen: • es wurden falsch-positive Befunde berichtet (Effekte die in der Population überhaupt nicht vorhanden sind) • Experimentieren konnten nicht nur erfahrene Forscher, sondern auch weniger erfahrene (Bsp.: Effekt tritt nicht nur auf, da schlechte Laborausstattung --> Lösung: zu wünschender Effekt und "bewiesener" Effekt (Bsp. Stroop) gleichzeitig laufen lassen --> Stroop wird sich wahrscheinlich zeigen; es liegt also nicht am Labor, wenn der andere Effekt nicht auftaucht - 90% aller Research ist falsch
- OSC 2015 - es scheint schwieriger zu sein, einen original berichteten Effekt zu replizieren, als man es spontan vermuten würde - nicht Replikation ≠ Betrug - Es kann ein falsch-positives Ergebnis in der Originalstudie sein oder falsch-negativ in der Replikationsstudie - Kategorienfehler
- Conceptual Clarification Theorie und Empirie - "eine Theorie kann richtig sein und die Empirie spielt nicht mit" - völlig unabhängig von einer Theorie, sollte ein empirischer Effekt, der methodisch rein berichtet wurde, replizierbar sein --> Empirie ist und bleibt gegeben - Theorien müssen falsifizierbar sein (Popper) - Empirische Daten/effekte sind unsere Währung --> wenn sich Daten in der Empirie zeigen, sollten sie sich auch erneut zeigen, da sich die Empirie nicht ändert
- Conceptual Clarification Publikationen - nur weil etwas publiziert wird, ist dies nicht gleich auch wahr - 1 Editor und 2-5 Reviewer - es geht nicht darum, ob etwas wahr oder falsch ist, sondern darum, ob die wissenschaftliche Gemeinde stark genug ist, den Befund zu veröffentlichen - Problem: 80% der Gutachten werden von 20% der Forschenden gemacht --> dieselben Gutachter werden immer wieder zu bestimmten Themen befragt --> neigen dazu, bestimmte Themen abzunicken oder zu verwehren - man bräuchte vielfältigere Kontrollintanzen
- Conceptual Clarifications Gute und schlechte Forschung - glaube nicht alles was du gelesen hast - John, Loewenstein, Prelec 2012 (QRP) --> Problematisch für Smalltalk/Unterhaltungslogik - OSC 2015: Studienselektion • gute Forschung: großes N --> Umkehrschluss ist falsch (eine Studie ist nicht gut, nur weil sie ein großes N hat) - Schimmack (2015) • Website, in der die Replizierbarkeit von Zeitschriften geschätzt wird --> die, die viele manipulationschecks verwenden, werden als sehr replizierbar eingeschätzt •statistische Werte werden beim Replikationsindex außen vor gelassen
- Solutions increase Power? - mehr Daten = höhere Effektstärke? (Schimmack Blog) → nicht unbedingt, da sehr kurzsichtig (Unkelbach) - nicht nur die Anzahl der Pbn, sondern auch die Anzahl der Stimuli ist entscheidend - man müsste davon ausgehen, dass wir gute Schätze für Effektstärken haben --> die haben wir aber nur für Metaanalysen (und in denen geht es eh nicht um Replikation) - Jake Westfall (2015): • bei wenigen Stimuli nimmt Power nicht zu, wenn sich Pbn-Zahl erhöht • vs. Stimuli gesampelt oder nicht --> wenn nicht gesampelt dann höhere Effektstärke - Varianz der Stimuli: Bsp. ich schlage jemanden mit einem Hammer, einer Faust, einem Stein --> Vs gibt an, wie ähnlich Pbn reagieren, wenn man dieselben Stimuli darbietet • je höher der Variation der Stimuli, desto schwieriger ist die Studie zu replizieren •innerhalb der Stimuli soll wenig Varianz sein --> alle Vpn sollten auf alle Stimuli gleich reagieren - Nicht nur Probandenanzahl, sondern Manipulation entscheidend, je mehr Stimuli, je weniger Sampling, je mehr N
- Wells und Windschittl, 1999 Hitchhiking bei Frauen und Männern - Frau wird von 100x 89x mitgenommen; Mann wird von 100x nur 62x mitgenommen - Manipulation ist das Geschlecht der Person, die den Daumen raus hält - Attraktivität und Vertrauenswürdigkeit als Erklärung, nicht Geschlecht --> die Variable Geschlecht muss auch gesampelt werden! - in jedem Versuchsdurchgang müsste es eine andere Frau/einen anderen Mann geben --> Reaktionen der Autofahrer können von deren eigenen Vorzügen/Favoriten abhängen, deshalb maximal viel Variation der Frauen und Männer, um für jeden einen attraktiven Hitchhiker zu haben - Ökologische Validität wird höher, wenn mehrere Stimuli erhoben werden --> würde man die prototypische Frau (den MW des Aussehens der Frau) nehmen, wäre die ökologische Validität perfekt; aber die Power wäre immer noch gering, weil keine Variation der Manipulation erfolgt (wir haben ja nur eine Frau, die wir testen) - Annahme eines Prototypen müsste erst bewiesen werden - Durch Variation der Stimuli höhere Effektstärke; besonders gut ist die Forschung wenn sich eine Verteilung von Stimuli dadurch ergibt, dass wir eine Vielzahl von Stimuli erheben
- Advertisement
- Solutions increase reliability Reliable Maße - ein unreliables Maß kann nicht valide sein; Ziel: ein reliables und valides Maß - auch die Manipulation sollte reliabel und valide sein! - wie reliabel messe ich meine AV? (Rel(DV)) - Wie reliabel messe ich meine UV (Rel(IV)) - Wenn ein Maß eine Rel von .80 hat, ist der Effekt, den ich finde, um 20% kleiner, weil ja schon im Maß 20% Fehler stecken --> deshalb Rel der Maße erhöhen, um höhere Effekstärke zu erhalten -Wiederholung als einfachste Methode, Reliabilität zu erhöhen (wenn mir ein Reiz einmal wegen Unaufmerksamkeit o.ä. nicht auffällt, tut er dies wahrscheinlich beim nächsten oder übernächsten Mal - rep(d) - nicht nur einen Stimulus, sondern Verteilung von Stimuli erheben, damit im Mittel beabsichtigtes Konstrukt getroffen wird (valide und reliabel) --> Bsp. Extraversionsfragebogen
- Solutions increase reliability Beispiel Extraversion - in Fragebögen werden viele ähnliche Fragen gestellt, um am Ende ein reliables Maß zu erhalten - "treffen sie gerne Freunde", "mögen sie smalltalk", "gehen sie gerne auf Partys" - alle Fragen messen dasselbe, aber durch die Wdh des Fragetyps wird der Test reliabler
- Reliable Messung Beispiel Dartscheibe - wenn ich einen Reiz ein mal darbiete, habe ich am Ende ein d von 0.5 - wenn ich etwas 16x wiederhole, komme ich bei einer Effektstärke von 0.2 raus - Beispiel Dartscheibe: am Beispiel von den Dart-Scheiben: ich treffe vermutlich eher die Mitte, wenn ich auf 16 Scheiben werfen darf und nicht nur einen Versuch auf einen habe - wenn ich etwas nur ein Mal mache ist meine Power relativ gering - Standardfehler der Messung wird kleiner - bei nur einem Versuch bräuchte man ein riesiges N, um einen Effekt zu zeigen (Bsp Hitchhiking: Manipulation durch nur eine Frau bräuchte eine riesige Stichprobe, um einen Effekt zu zeigen)
- Implikationen von den Theorien die ich nicht verstehe :) - man muss leider auch hinnehmen, dass sich Befunde nicht zeigen lassen, wenn man PPv erhöhen will - einfach zu replizierende Befunde müssen zwangsweise abnehmen - stringente Theorienbildung enorm wichtig --> was man dadurch gewinnt, dass man seine Hypothesen besser herleitet, kann man durch nichts anderes erzielen (auch kein super großes N) - Durch die Erhöhung der a priori Wahrscheinlichkeit, können wir α maximal erhöhen 1) Annahme mit 4% Wahrscheinlichkeit ist schlichtweg unrealistisch 2) Erwartungs-inkonsistente Befunde arbeiten meistens mit sehr geringen Wahrscheinlichkeiten und lassen sich, wenn überhaupt, nur gerade so zeigen (Bsp: Menschen sind kreativer, wenn man vor ihnen eine geschlossene und keine offene Box präsentiert) 3) bei Interaktionen kommt man mit biases/ mit unwahrscheinlichen Hypothesen nicht mehr weit --> Model-Testung und Model-Passung beruht auf komplexen Verbindungen