Kritik von Funke und anderen Wissenschaftlern:

– Validität der AV: Ist Flüssigkapital ein adäquates Erfolgsmaß?

– zu geringe IQ-Variabilität in der Stichprobe

• Replikation: rechnergestützte Version der Schneiderwerkstatt

– Selektion von Vpn aus breiterem IQ-Range

– 2. AV: Anzahl der Monate, in denen das Gesamtkapital stieg

• Ergebnis:

– Korrelation IQ/Erfolg in beiden Bedingungen

– kein Zusammenhang bei AV “Flüssigkapital“

• Schlußfolgerung:

– Operationalisierungsproblematik (Messproblem: Validität, Reliabilität) in KPL Untersuchungen

beachten!

• Weitere Studien uneinheitlich, aber bei definiertem Erfolgskriterium meist Zusammenhang mit IQ

→ da so viele mögliche optimierbare Variablen in Lohhausen Experiment waren, war es unklar, welche den genau mit dem Zufriedenheitswert zusammenhängen

• Zweifelhafte Repräsentativität der verwendeten Szenarien

– repräsentativ für Alltagsprobleme? (Bürgermeister mit diktatorischen Vollmachten), Augenschein-Validität

– adäquate Abbildung des Realitätsausschnitts? (sehr viele ad hoc-Annahmen über Struktur und Parameter des simulierten Systems nötig)

• Operationalisierungsproblematik

– AVn: wie wird “erfolgreiches” PL gemessen? Ad hoc-Indizes, zweifelhafte Kriterien (s.o.: Flüssigkapital vs. Gesamtkapital)

– psychometrische Eigenschaften? (Reliabilität?, Validität?)

• Mangelnde Vergleichbarkeit der Szenarien

– wie ist “Komplexität” definiert?

– inkompatible Ergebnisse: worauf zurückzuführen?

• Theoriearmut -> besonders starke Kritik v. Funke

– “Schrotschuss-Datensammlung”, deskriptiver Ansatz (hohe Datenmengen wurden interpretiert, statt anfangs eine Hypothese aufzustellen und dann zu testen)

fehlende Annahmen über Lernprozesse und Repräsentation