30
Pädagogische Diagnostik (Subject) / Fragen 3 + 4 (Lesson)
Methodische Grundlagen, Bezugsnormen
Fokus Lehrer, Diagnostische Kompetenz und Beurteilungsfehler
This lesson was created by Sveechen.
This lesson is not released for learning.
Advertisement
- Nennen Sie die drei Hauptgütekriterien der klassischen Testtheorie und nennen Sie jeweils ein Beispiel! Objektivität: Sind die Ergebnisse frei vom Einfluss des Prüfenden, Schaffung gleicher Bedingungen für die Geprüftem, Voraussetzung für 2) und 3), Durchführungs- Auswertung- und Interpretationsobjektivität -> Der Lehrer hilft bei den zentralen Abschlussprüfungen, die Durchführungsobjektivität ist verletzt, Benotung der mündlichen Leistung Reliabilität: Ist die Messung genau, verlässlich? Wiederholung, Halbierung, Paralleltest; interne Konsistenz (?) Voraussetzung für 3) -> hohe Anzahl von vergleichbaren Aufgaben Validität: Wird das gemessen, was man tatsächlich messen will? Inhaltsvalidität, Prognosevalidität, Übereinstimmungsvalidität, Konstruktvalidität -> Inhaltsvalidität: Die Prüfung misst wirklich, was die SuS im Unterricht lernen sollten
- Ein Test ist reliabel. Was bedeutet das für a. die Objektivität und b. die Validität? a) die Objektivität ist erfüllt (Voraussetzung) b) Sie ist möglich, kann aber nicht erfüllt sein
- 3. Welche Nebengütekriterien sind hier verletzt? a. Bei einem Testverfahren schneiden Kinder unterschiedlicher Muttersprache unterschiedlich ab, obwohl keine Unterschiede in der zugrundeliegenden Fähigkeit zu erwarten wären. Testfairness (Keine Personengruppe darf durch die Aufgabenstellung systematisch benachteiligt werden)
- 3. Welche Nebengütekriterien sind hier verletzt? b. Intervalle sind in der Musik der Abstand zwischen zwei Tönen. Eine Musiklehrerin überprüft anhand eines dreistündigen Testverfahrens, ob die Schülerinnen und Schüler in der Lage sind, Intervalle zu hören. Ökonomie (Zeit- und Materialaufwand solen sich in vernünftigen Grenzen halten)
- 3. Welche Nebengütekriterien sind hier verletzt? c. Seit mehreren Jahren gelten die Regeln der neuen Rechtschreibung. Ein niedergelassener Psychologe verwendet einen Rechtschreibtest, der nach den Regeln der alten Rechtschreibung aufgebaut ist, mit der Folge, dass die Fähigkeit der Klienten unterschätzt wird. Normierung ( veraltete Normen führen dazu, dass man die tatsächliche Leistung über- oder unterschätzt ( bei standardisierten Tests))
- 3. Welche Nebengütekriterien sind hier verletzt? d. Eine Lehrkraft verwendet als Diktattext eine antisemitische Propagandaschrift. Akzeptanz (Eine Prüfung sollte mit verbreiteten Meinungen, Einstellungen und Wertmustern übereinstimmen)
- 3. Welche Nebengütekriterien sind hier verletzt? e. Eine Professorin legt eine mündliche Prüfung auf 4 Uhr morgens. Nützlichkeit und Zumutbarkeit (Aufwand sollte in Relation zur Bedeutung stehen, für Schule und Gesellschaft (Nützlichkeit) und für SuS (Zumutbarkeit))
- 3. Welche Nebengütekriterien sind hier verletzt? f. Die Phasentrennung besagt, dass sich wasserlösliche und fettlösliche Substanzen nicht mischen. Ein Chemielehrer prüft, ob die SuS verstanden haben, was das ist, indem er sie die Phasentrennung praktisch demonstrieren lässt. Die SuS erhalten je einen halben Liter von jeder Flüssigkeit; was sie nicht verbrauchen, wird nach der Stunde weggeschüttet. Ökonomie (Zeit- und Materialaufwand sollten sich in vernünftigen Grenzen halten)
- Was ist die fähigkeitsbasierte Bezugsnorm, und was macht sie so besonders? Wer einen bestimmten Aufgabentyp lösen, kann auch die leichteren Aufgaben lösen/ hat bestimmte Kompetenzen basiert nicht auf der klassischen sondern auf der probabilistischen Testtheorie Beispiel PISA Kompetenzstufenmodell
- Wozu brauchen wir Bezugsnormen? Ein Messergebnis ist nur interpretierbar, wenn man ein Bezugssystem hat, zu dem man es in Relation setzen kann. = Maßstab für ein individuelles Ergebnis
- Advertisement
- Nennen Sie die drei Bezugsnormen, die es neben der fähigkeitsbasierten Bezugsnorm noch gibt, und erklären Sie jede von ihnen anhand einer selbst erstellten Grafik! (Sie können auch mehrere Bezugsnormen in einer Grafik kombinieren.) ipsativ/ indviduell (die Person selbst), sozial (Vergleich mit anderen Personen), kategorial/ sachlich (Vergleich mit den sachlichen Voraussetzungen und Erwartungen (z.B. bei einer Aufgabe))
- Eine Schülerin erreicht in einem Test einen Prozentrang von 70. Was bedeutet das? 70 Prozent der Mitschüler sind schlechter oder gleich gut
- Welches Skalenniveau hat die Prozentrangskala? Ordinal -> ähnlich wie Noten
- Nennen Sie die Maße der zentralen Tendenz, die wir in der Vorlesung durchgenommen haben! Mittelwert, Modalwert/ Modus und Median
- Warum ist es unzulässig, Durchschnittsnoten zu bilden? Ist eine Ordinalskala, keine Intervallskala Ausprägungsgrad einstufbar, keine Festsetzung eines relativen Nullpunkts sowie die "Bestimmbarkeit gleicher Skalenabstände" möglich
- 10. Transformieren Sie folgende Werte anhand der Grafik: a. IQ-Wert von 115 in T-Werte b. Prozentrang von 2 in Stanine-Werte Siehe Arbeitsblatt! a 60 b 1
- Welche Komponenten der diagnostischen Kompetenz (=Akkuratheit des Urteils) unterscheiden Schrader und Helmke? Beschreiben Sie in einem Satz, was die Komponenten inhaltlich bedeuten. Niveaukomponente: Beschreibt, ob der Beurteiler im Schnitt richtig einschätzt oder tendenziell über- oder unterschätzt Streuungskomponente: Einschätzung der Heterogenität der Gruppe, richtig oder tendenzielle Über- oder unterdifferenzierung Rangordnungskomponente: Einschätzung der Fähigkeitsabstufung zwischen den SuS, Überprüfung durch Korrelation (Rangfolge nicht Niveau allgemein)
- Nennen Sie die “alternativen Gütekriterien” nach Weinert und Schrader. Wählen Sie eins davon aus, das Ihnen für Ihren Beruf besonders wichtig erscheint, und begründen Sie dies! Sensibilität für die Ungenauigkeit und Vorläufigkeit des eigenen Urteils Permanente Überprüfung von Diagnosen Berücksichtigung verschiedener Bezugsnormen pädagogisch günstige Voreingenommenheit Sensibilität für die Ungenauigkeit und Vorläufigkeit des eigenen Urteils, da sonst eine permanente Überprüfung von Diagnosen gar nicht für nötig befunden wird und so Voraussetzung für die weiteren alternativen Gütekriterien ist
- Nennen Sie ein Merkmal diagnostischer Expertise und erklären Sie kurz, was es beinhaltet! methodisches/ prozeduales Wissen (Über die Methoden und ihre Anwendung zur Einschätzung der SuS) konzeptuelles Wissen (Wissen über Faktoren, die das Urteil beeinflussen, Urteilstendenzen und -fehler) zutreffende Orientiertheit (Wissen über das eigene Handeln und Bewusstsein das Richtige zu tun)
- Warum genügt die reine Berufspraxis (Anzahl der Jahre im Schuldienst) nicht, um diagnostische Expertise zu erwerben? Auch gezieltes Üben und kritisches sich-selbst-Hinterfragen notwendig
- Gibt es so etwas wie eine allgemeine diagnostische Kompetenz? Nein, große Heterogenität in diagnostischen Fähigkeiten, individuelle Über- und Unterschätungstendenzen.
- Ist der Lernerfolg von SuS generell höher, wenn Lehrkräfte diagnostisch kompetent sind? Warum (nicht)? Nicht zwangläufig, weil es immer noch einer Hanldung bedarf. Die diagnostische Kompetenz ist allerdings Voraussetzung dafür und gilt somit als "Katalysatorvariable"
- Warum ist es günstig, wenn Lehrkräfte das Interesse und die Motivation ihrer Schüler/innen unterschätzen, wie dies die SALVE-Studie gefunden hat? Dadurch bemüht sich die Lehrkraft eher, es schafft pädagogische Handlungsreize
- Was sind mögliche Gründe für Mildefehler und Strengefehler? Definieren Sie bei der Antwort zunächst, was das ist. Mildefehler: Lehrkraft gibt insgesamt zu gute Noten Günde: Angst, als schlechter Lehrer angesehen zu werden; Angst vor Sympathieverlust; sich beliebt machen wollen; Bequemlichkeit; keine Lust, sich zu rechtfertigen Strengefehler: Lehrkraft gibt insgesamt zu schlechte Noten Gründe: Wunsch, Fachkompetenz zu unterstreichen; Wunsch zu verdeutlichen, dass man sich intensiv mit dem Fach auseinander setzen muss
- Studentin Karla wartet darauf, zur mündlichen Prüfung in den Raum gebeten zu werden. Die Studentin vor ihr kommt aus dem Raum. “Das war eine fabelhafte Prüfung – die beste, die ich seit langem erlebt habe!”, sagt die Professorin. “Oh, Mist”, denkt Karla. Warum denkt sie das? Kontrasteffekt: Nach guten Leistungen, werden die nächstes tendenziell schlechter bewertet, obwohl sie vielleicht eher durchschnittlich gewesen wäre und andersherum
- Was kann man gegen Urteilsfehler tun? Nennen Sie vier Möglichkeiten für jede der zwei Klassen von Urteilsfehlern. Unvollständige oder ungleichmäßige Ausschöpfung des Beurteilungsspektrums (Tendenz zur Mitte, Tendenz zu extremen Urteilen, Milde- und Strengefehler: 1) Selbstbeobachtung (Wozu tendiere ich?), 2) Gespräch mit Kollegen/ -innen, 3) Arbeit von Kollegen/ -innen korrigieren lassen, 4) sich über Kompetenzen von SuS in einem bestimmten Alter informieren, 5) über typische Schwächen für bestimmte Altersstufen informieren Voreingenommenheit und Interferenzen (Reihungsfehler, Impliziete Persönlichkeitstheorien und darauf basierende Fehler, Halo-Effekt, Referenzfehler, Erwartungseffekte): 1) Beschreibung von Bewertung der Leistung trennen, 2) Gesamturteil erst bildem, wenn man genug Daten zu verschiedenen Einzelaspekten gesammelt hat, 3) Vorsicht bei Fächern, wo Leistungen "ganzheitlich" bewertet werden, 4) Konkretisierung der Kriterien, 5) Vorsicht bei Vorabinformationen (Unvoreingenommenheit)
- In Ihrer Klasse wird ein standardisierter Test (PISA 2021) durchgeführt. Sie erfahren dabei, a. dass Ihre Klasse ein höheres Niveau als das durchschnittliche erreicht – genau, wie Sie es sich gedacht haben. b. Was Sie jedoch überrascht, ist, dass die Leistung Ihrer SuS viel heterogener ausfällt als vermutet. c. Auf individueller Ebene zeigt sich außerdem, dass Sie die Leistungen der SuS relativ zueinander gut eingeschätzt haben – diejenigen, die Sie als leistungsfähiger einschätzen, haben auch häufiger bessere PISA-Ergebnisse. Einige “Ausreißer” sind jedoch dabei. Welche Komponenten diagnostischer Kompetenz erfüllen Sie schon ganz gut, und in welchem Bereich/welchen Bereichen sollten Sie noch an sich arbeiten? Kompetenzbereich "Beurteilen" der Lehrerbildung: a) Gut: Kenntnisse über den Entwicklungsstand der SuS (Lernpotenziale, Lernhindernisse und Lernfortschritte), Austausch mit Kollegen, die vllt Klassen mit niedrigeren Kenntnisständen haben b) Ausbaufähig: Feststellen von Begabungen/ nicht genutzten Lernpotenzialen und damit einer Ermöglichung von Förderung c) Kenntnisse über den Entwicklungsstand der SuS (Lernpotenziale, Lernhindernisse und Lernfortschritte) können noch weiterentwickelt werden Weitere Kompetenzen: Beratungsfunktion situationsgerecht einsetzen, Beratungs- und beurteilsfunktion unterscheiden, Kooperation mit Kollegen bei der Erarbeitung von Beratung/ Empfehlung, Kooperation mit anderen Institutionen bei der Entwicklung von Beratungsangeboten
- 12. “Wann ist ein Kunstwerk eigentlich gut? Das kann man ja gar nicht richtig definieren”, seufzt der Kunstlehrer. “Die meisten machen das ja ganz okay, und wenn nicht, haben sie sich doch zumindest ein bisschen angestrengt. So richtig super ist aber eigentlich auch keins. Wenn ich allen Noten um die Zwei, Drei herum gebe, bin ich, glaube ich, auf der sicheren Seite …” Welchen Beurteilerfehler begeht der Kunstlehrer, und in welche Gruppe der Urteilsfehler fällt dieser Fehler? Tendenz zur Mitte -> unvollständig bzw. ungleichmäßig ausgeschöpftes Spektrum
- Juliane schreibt eine sehr gute Mathematikarbeit. “Klar, war ja zu erwarten – die hat ja auch Physik-LK!”, sagt eine Kollegin. Welcher Urteilsfehler liegt hier vor? Voreingenommenheit und Interferenzen: Logischer Fehler auf Grund von impliziten Persönlichkeitstheorien
- Nennen und erläutern Sie die Ursachen für Urteilsfehler, die den Voreingenommenheiten und Interferenzen zuzuordnen sind und finden Sie jeweils ein Beispiel! Reihungsfehler: Nach mehreren gleichen Noten hintereinander, gibt man eine andere Note, als der Leistung entsprechend; Außerdem werden Arbeiten, die am Anfang korrigiert werden, strenger benotet -> Die Lehrerin hat nun schon fünf 1en hintereinander gegeben, sie denkt, dass soviele gute Noten hintereinander ja nicht sein können und bewertet die nächste als 2+ Implizite Persönlichkeitstheorien und darauf basierende logische Fehler: subjektive Zusammenhänge zwischen bestimmten Schülermerkmalen; Dimensionen der Leherwahrnehmung; voreiliges Schlussfolgern von einem Bereich auf den anderen -> der "schlechte" Schüler wird als dumm, faul und unaufmerksam angesehen// Wer gut in Mathe ist, ist auch gut in Physik Kontrasteffekt: Wenn die vorangegangene Prüfung besonders gut war, wird die nächste eher schlecht bewertet obwohl sie eigentlich eher durchschnittlich war; und andersherum Halo-Effekt: besonders auffällige Merkmale überstrahlen alles andere und führen so zu einem undifferenzierten Gesamurteil -> Ein Schüler ist bekannt öfter die Schule zu schwänzen, in der Mathearbeit, benotet Frau XY ihn schlechter Referenzfehler: Schubladen-Denken der Lehrer, Ausgehen von einer Normalverteilung in der Klasse ausgehen, sie so nach ihrer relativen Position in der Klasse bewerten, und nicht nach den tatsächlichen Kompetenzen Erwartungseffekte (Pygmalion-Effekt): Die Erwartung selbst, löst ihr Eintreten aus, ist also eher die Konsequenz aus Urteilsfehlern -> Zufällig ausgewählten SuS wird auf grund eines IQ-Tests ein erfolgreiches nächstes Schuljahr vorausgesagt; diese Schüler schneiden tatsächlich besser ab (Vllt nur durch förderliches Verhalten des Lehrers sowie ein gesteigertes Selbstkonzept der SuS)