Diagnostik und Evaluation (Fach) / Evaluationsforschung (Lektion)

...

Diese Lektion wurde von s1mamaeh erstellt.

Lektion lernen

Diese Lektion ist leider nicht zum lernen freigegeben.

zurück  |  weiter 1 / 1

• Was sind die Grundlagen von Evaluation? EvaluationEvaluation allgemein: Bewertung von Ergebnis und Prozess; ->keine systematischen Verfahren notwendigWissenschaftliche Evaluation: empirisch gestützte Evaluation mit wissenschaftlichen Methoden; KGEvaluationsforschungBewertung eines Gegenstands nach zuvor festgelegten Zielen und explizit auf den Sachverhalt bezogenen Kriterien unter Zuhilfenahme von sozialwissenschaftlichen Methoden durch qualifizierte Personen.Hypothesen geleitet;EvaluationsobjektGegenstand der Evaluation, der bewertet werden soll, z. B.Projekt: PISAPolitik: Arbeitsmarktreform
• Definiere Evaluationsforschung nach Scriven, Rossi & Freeman und Wottawa & Thierau! Scriven (1991)•Evaluationsforschung ist…Wissenschaftlich fundiertEmpirischHypothesengeleitet•Evaluationsforschung beinhaltet die systematische Anwendung von sozialwissenschaftlichen Forschungsmethoden Rossi & Freeman (1993)•Schließen sich Scriven (1991) an, werden aber noch etwas präziser:•Systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Bewertung…Des Konzeptes,Des UntersuchungsplansDer ImplementierungUnd der Wirksamkeit sozialer Interventionsprogramme Wottawa & Thierau (1984)•Betrachten drei Aspekte, die bisher noch nicht genannt wurden:•Ziel-und zweckorientiertEs geht um die Explikation der Ziele»Was ist das Ziel? Wozu wird die Evaluation durchgeführt?•Überprüfung und Verbesserung von praktischen Maßnahmen……sowie Entscheidungen über praktische Maßnahmen•Evaluationsmaßnahmen sollen dem aktuellen Stand der wissenschaftlichen Forschung angepasst sein
• Von welchem Bereichen kann Evaluation abgegrenzt werden? Grundlagenforschung•Ableitung von nomologischenAussagenEs werden Anforderungen an die Theoriegestellt»Erkenntnisinteresse, ob Aussagen (die für eine ganze Population gelten sollen) wahr oder falsch sind»Z.B. Lerngesetze (Klassische Konditionierung)Steigt die Häufigkeit von Verhalten, wenn es belohnt wird? Evaluation•Ableitung von technologischen AussagenEs werden Anforderungen an die Theorie unddie Praxisgestellt»Hat eine Aussage sich bewährt?»Z.B. kann die Erkenntnis aus der Theorie (KK) technisch so umgesetzt werden, dass sie in der Praxis auch tatsächlich funktioniert?•Effizienz der EvaluationKosten/Nutzen-Überlegungen! QualitätsmanagementUrsprung in der WirtschaftÜbereinstimmende Zielsetzungen mit EvaluationsforschungInternational festgelegte Anforderungen (z. B. ISO 9000-Norm)Bewertungsprozess = AkkreditierungMonitoringRegelmäßige Überwachung und Begleitung der Durchführung einer Maßnahmekontinuierliche Aktivitäten erforderlichWissenschaftliche Fundierung spielt untergeordnete Rolle Qualitätsmanagement / MonitoringErfordern kontinuierliche AktivitätenWissenschaftliche Fundierung hat keinezentrale Rolle•EvaluationWird eher punktuell eingesetzt (keine kontinuierliche Aktivität)Wissenschaftliche Fundierung spielt eine zentraleRolle!
• Nach welchem Aspekten können Evaluationen eingeteilt werden? 1.Einteilung nach dem Zeitpunktder Evaluation2.Einteilung nach der Rolle des Evaluators3.SonstigeEinteilungsaspekte
• Beschreibe die Einteilung nach dem Zeitpunkt der Evaluation. Vor der Erprobung• Vor der Erprobung eines Programms sollte eine Evaluation der Programmkonzeptionerfolgen• Antizipatorische oder prospektive EvaluationAbschätzung der Realisierbarkeit eines Programms sowie möglicher NebeneffekteVor der Erprobung sind 2 Aspekte wichtig: 1.Bedarfsklärung Ist eine Intervention überhaupt notwendig? / Ist Bedarf gegeben?Bedarf = soziale Konstruktion•Feststellung des Bedarfs z.B.anhand normorientierter Vergleichsprozesse (soziale, ideale, reale Norm) -> anhand dieser Vergleiche kann dann begründet werden, ob Bedarf gegeben ist •Bedarfsanalysemit den Bestimmstücken:−Definition des ProblemsWo besteht das Problem? (Lokalisation)Seit wann besteht das Problem? (Dauer)Wie stark ist das Problem ausgeprägt? (Intensität)Wer ist von dem Problem betroffen? (Verteilung)−Definition der ZielgruppeWelche Einheit? (Sozialstrukturelle, räumliche Einheiten? Bestimmte Berufsgruppen?)Spezifität der Zielgruppe? Universell (für alle), indiziert (wenn Problem vorliegt) oder selektiv (nur für Risikogruppen)?Welche Selektionskriterien sollen/können verwendet werden?−Definition und Bewertung des ZielsOperationalisierung des Ziels (soll nachher gut messbar sein)Definition von Kriterien der ZielerreichungIn dieser Phase spricht man von proaktiver, klärender Evaluation! 2.Konzeptionsanalyse Wie sollte die Intervention beschaffen sein?Konzeptionsanalyse mit den Bestimmungsstücken>Bedarfsorientierung Sind die Maßnahmen tatsächlich dem Bedarf angepasst?>Bewertung des Wirkmodells Aspekte, die bei der Beurteilung des Wirkmodells berücksichtigt werden sollen sind z.B.:Sind die Ziele der Maßnahme eindeutig definiert und operationalisiert?>Prüfung der konzeptuellen Hypothesen>Anpassung derMaßnahme an Bedürfnisse der Zielgruppepräformativ -entwickelnd Während der ErprobungFormative EvaluationBeschreibung und Bewertung der Programmimplementation, Zielsetzungen und Umsetzungen; fortlaufende Evaluation, ggf. Modifikation/Elaboration der Programmkonzeption, qualitativ angelegtformativ -gestaltend Während der DurchführungFormative EvaluationEvaluation der Programmdurchführung, Implementations-und Begleitforschung, Prozessevaluation; Rückmeldungen zur Optimierung des Programms, qantitativ angelegtformativ -gestaltend Nach der DurchführungSummative Evaluation • Verschiedene Arten summativer EvaluationenEvaluation der Programmwirksamkeit»Ergebnis-oder ErfolgsevaluationEvaluation der Programmeffizienz»Kosten-Nutzen-Analysen»Kosten-Effektivitäts-AnalysenImpact-Evaluation»Bewertung der nachhaltigen Effekte von Programmensummativ-bilanzierend Mit den Evaluationsstrategien verbinden sich unterschiedliche Ziele
• Wie ist die Einteilung nach der Rolle des Evaluators? Selbstevaluation•Mitglieder der Institution bewerten sich bzw. ihre Maßnahme selbstFremdevaluation•Die Bewertung findet durch Dritte, nicht direkt an der Maßnahme Beteiligte stattDie Evaluatoren kommen aber aus derselben InstitutionBeispiel:»Evaluation der Lehrveranstaltungen an der Universität TrierEvaluatoren kommen z.B. aus dem Stab der Universität (sind also nicht selbst in die Lehre involviert) Interne Evaluation•Können sowohl Selbst-als auch Fremdevaluationen seinEvaluatoren können entweder selbst an der Maßnahme beteiligt sein……oder nicht beteiligt sein, aber aus derselben Institution kommen•Die Evaluationszielewerden von der Organisation selbst bestimmt Externe Evaluation• Bewertung durch unabhängigeExpertenEvaluatoren sind nicht an der Maßnahme beteiligt …… und kommen nicht aus derselben Institution • Die Evaluationsziele werden von einerübergeordneten Einrichtung/Behörde vorgegebenDie Vorteile der internen Evaluation sind die Nachteile der externen Evaluation und umgekehrt!
• Nenne Vor- und Nachteile, die sich bei der Rolle des Evaluators ergeben. Vorteile der internen Evaluation•Vertrautheit der Evaluatoren mit dem Evaluationsgegenstand•Ökonomie•CommitmentNachteile der externen Evaluation•Keine Vertrautheit der Evaluatoren mit dem Evaluationsgegenstand•Geringe Ökonomie•WenigCommitmentNachteile der internen Evaluation•Gefahr der Parteilichkeit•Gefahr von Urteilsverfälschungen•Evtl. fehlende methodische ExpertiseVorteile der externen Evaluation•Keine Parteilichkeit•Geringe Gefahr von Urteilsverfälschungen•Hohe methodische Expertise
• Welche Rolle spielt der Evaluator? Werte distanziert nach CampbellEvaluator als völlig objektiver, naturwissenschaftlich ausgerichteter ForscherEinziges Anliegen des Evaluators ist es, bestimmte Hypothesen zu prüfen und zu kausalen Schlussfolgerungen zu kommenDer Evaluator steht der Sache/den Betroffenen wertneutral gegenüber (= Werte distanziert) Werte relativierend nach CronbachCampbells Sicht des Evaluators als rein naturwissenschaftlicher Forscher greift zu kurz!»So einfach ist es leider nicht der Evaluator trägt Verantwortung und hat gewisse PflichtenEvaluator hat die Pflicht, die Verantwortungs-/Entscheidungsträger auf mögliche Schwächen und Fehlentwicklungen hinzuweisen (= Werte relativierend) Werte priorisierend nach ChenDer Evaluator muss als Mediator zwischen den Parteien wirken und Prioritäten setzenEvaluator versucht zwischen Interessen zu vermitteln und einen Konsens herzustellen (= Werte priorisierend)
• Was sind sonstige Einteilungsaspekte der Evaluation? RahmenbedingungenEvaluation im Feld vs. Laborparteiliche (selbst involviert) vs. überparteiliche Evaluation (neutrale Instanzen)offene (keine konkrete/flexible Zielsetzung) vs. geschlossene (vorab def./unveränd. Zielsetzung) Evaluationvertrauliche (nur für Auftraggeber) vs. öffentliche (für die Öffentlichkeit) EvaluationEvaluationsmodellepraxisorientierte (konketes Projekt) Evaluationentwicklungsorientierte (Rückmeldung zur Optimierung der Maßnahme) (formative)Evaluationtheorieorientierte (Güte/Bewährung verschiedener Theorien bewertet)  EvaluationAusrichtung der EvaluationMakro- (Gesamtbewertung eines Eva.gegenstands) vs. Mikroevaluation (einzelne Aspekte eines E.Gegenst.)Programmevaluation (Planung unterstützen, Wirkung analysieren, Erfolgskriterien identifizieren)Input- (Eigenschaften bestimmer Ressourcen für eine Maßnahme) vs. Outputevaluation (Ergebniseval./summativ)Complianceevaluation (Verhalten von Betroffenen im Kontext einer Intervention)Durchführungsmodiintrinsisch (theoriebezogene Konzepte) vs. extrinsisch (Analyse der Effekte auf die betroffene Person)intern vs. externsummativvs. formativvergleichend vs. nicht vergleichend (nur eine Maßnahme evaluieren)Metaevaluationsummative Metaevaluation (Ergebnisse mehrerer Einzelstudien für Globalaussage)Programm-Design-Evaluation (Erfahrungszusammenfassung zur Verbesserung zukünftiger Durchführung)
• Was sind die Standards von Evaluation? NÜTZLICHKEITDie Nützlichkeitsstandards sollen sicherstellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen Nutzer und Nutzerinnen ausrichtetN 1 Identifizierung der Beteiligten und BetroffenenDie am Evaluationsgeschehen Beteiligten oder von ihm Betroffenen sollen identifiziert werden, damit deren Interessen geklärt und so weit wie möglich berücksichtigt werden können.N 2 Klärung der EvaluationszweckeEs soll deutlich bestimmt sein, welche Zwecke mit der Evaluation verfolgt werden, so dass die Beteiligten und Betroffenen Position dazu beziehen können und das Evaluationsteam einen klaren Arbeitsauftrag verfolgen kann.N 3 Glaubwürdigkeit und Kompetenz des Evaluators/ der EvaluatorinWer Evaluationen durchführt, soll persönlich glaubwürdig sowie methodisch und fachlich kompetent sein, damit bei den Evaluationsergebnissen ein Höchstmaß an Glaubwürdigkeit und Akzeptanz erreicht wird.                                                                                                   N 4 Auswahl und Umfang der InformationenAuswahl und Umfang der erfassten Informationen sollen die Behandlung der zu untersuchenden Fragestellung zum Evaluationsgegenstand ermöglichen und Gleichzeitig den Informationsbedarf des Auftraggebers und anderer Adressaten und Adressatinnen berücksichtigen.N 5 Transparenz von WertenDie Perspektiven und Annahmen der Beteiligten und Betroffenen, auf denen die Evaluation und die Interpretation der Ergebnisse beruhen, soll so beschrieben werden, dass die Grundlagen der Bewertungen klar ersichtlich sindN 6 Vollständigkeit und Klarheit der BerichterstattungEvaluationsberichte sollen alle wesentlichen Informationen zur Verfügung stellen, leicht zu verstehen und nachvollziehbar seinN 7 Rechtzeitigkeit der EvaluationEvaluationsvorhaben sollen so rechtzeitig begonnen und abgeschlossen werden, dass ihre Ergebnisse in anstehenden Entscheidungsprozessen bzw. Verbesserungsprozessen einfließen könnenN 8 Nutzung und Nutzen der EvaluationPlanung, Durchführung und Berichterstattung einer Evaluation sollen Beteiligte und Betroffene dazu ermuntern, die Evaluation aufmerksam zur Kenntnis zu nehmen und ihre Ergebnisse zu nutzen. DURCHFÜHRBARKEITDie Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gutdurchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wirdD 1 Angemessene VerfahrenEvaluationsverfahren, einschließlich der Verfahren zur Beschaffung notwendiger Informationen, sollen so gewählt werden, dass Belastungen des Evaluationsgegenstandes bzw. der Beteiligten und Betroffenen in einem angemessenen Verhältnis zum erwarteten Nutzen der Evaluation stehen.D 2 Diplomatisches VorgehenEvaluationen sollen so geplant und durchgeführt werden, dass möglichst hohe Akzeptanz der verschiedenen Beteiligten und Betroffenen in Bezug auf Vorgehen und Ergebnisse der Evaluation erreicht werden kann.D 3 Effizienz von EvaluationDer Aufwand für Evaluation soll in einem angemessenen Verhältnis zum Nutzen der Evaluation stehen. FAIRNESSDie Fairnessstandards sollen sicherstellen, dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird.F 1 Formale VereinbarungenDie Pflichten der Vertragsparteien einer Evaluation (was, wie, von wem, wann getan werden soll) sollen schriftlich festgehalten werden, damit die Parteien verpflichtet sind, alle Bedingungen dieser Vereinbarung zu erfüllen oder aber diese neu auszuhandeln.F 2 Schutz individueller RechteEvaluationen sollen so geplant und durchgeführt werden, dass Sicherheit, Würde und Rechte der in eine Evaluation einbezogenen Personen geschützt sind.F 3 Vollständige und faire ÜberprüfungEvaluationen sollen die Stärken und die Schwächen des Evaluationsgegenstandes möglichst vollständig und fair überprüfen und darstellen, so dass die Stärken weiter ausgebaut und die Schwachpunkte behandelt werden können und die Rechte der in eine Evaluation einbezogenen Personen geschützt sind.                                                                                                   F 4 Unparteiische Durchführung und BerichterstattungDie Evaluation soll unterschiedliche Sichtweisen von Beteiligten und Betroffenen auf Gegenstand und Ergebnisse der Evaluation in Rechnung stellen. Berichte sollen ebenso wie der gesamte Evaluationsprozess die unparteiische Position des Evaluationsteams erkennen lassen. Bewertungen sollen fair und möglichst frei von persönlichen Gefühlen getroffen werden.F 5 Offenlegung der ErgebnisseDie Evaluationsergebnisse sollen allen Beteiligten und Betroffenen soweit wie möglich zugänglich gemacht werden. GENAUIGKEITDie Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringt und vermittelt.G 1 Beschreibung des EvaluationsgegenstandesDer Evaluationsgegenstand soll klar und genau beschrieben und dokumentiert werden, so dass er eindeutig identifiziert und so genau wie möglich zugänglich gemacht werden kann.G 2 KontextanalyseDer Kontext des Evaluationsgegenstandes soll ausreichend detailliert untersucht und analysiert werden.G 3 Beschreibung von Zwecken und VorgehenGegenstand, Zwecke, Fragestellungen und Vorgehen der Evaluation, einschließlich der angewandten Methoden, sollen genau dokumentiert und beschreiben werden, so dass sie identifiziert und eingeschätzt werden können..                                                                     G 4 Angabe von InformationsquellenDie im Rahmen einer Evaluation genutzten Informationsquellen sollen hinreichend genau dokumentiert werden, damit die Verlässlichkeit und Angemessenheit der Information eingeschätzt werden kann.G 5 Valide und reliableInformationenDie Verfahren zur Gewinnung von Daten sollen so gewählt oder entwickelt und dann eingesetzt werden, dass die Zuverlässigkeit der gewonnenen Daten und ihre Gültigkeit bezogen auf die Beantwortung der Evaluationsfragestellungen nach fachlichen Maßstäben sichergestellt sind. Die fachlichen Maßstäbe sollen sich an den Gütekriterien quantitativer und qualitativer Sozialforschung orientieren.G 6 Systematische FehlerprüfungDie in einer Evaluation gesammelten, aufbereiteten, analysierten und präsentierten Informationen sollen systematisch auf Fehler geprüft werden.G 7 Analyse qualitativer und quantitativer InformationenQualitative und quantitative Informationen einer Evaluation sollen nach fachlichen Maßstäben angemessen und systematisch analysiert werden, damit die Fragestellungen der Evaluation effektiv beantwortet werden können.G 8 Begründete SchlussfolgerungenDie in einer Evaluation gezogenen Folgerungen sollen ausdrücklich begründet werden, damit die Adressatinnen und Adressaten diese einschätzen können.G 9 Meta-EvaluationUm Meta-Evaluationen zu ermöglichen, sollen Evaluationen in geeigneter Form dokumentiert und archiviert werden.
• Was sind die Funktionen von Evaluation? Bewertung von Evaluationsgegenständen ohne klare ZielsetzungUmfassende Informationssammlungaufgrund der unklaren Zielsetzung sind Widerstände bei den Stakeholdern wahrscheinlich „Was leistet eigentlich die Personalabteilung der Universität Trier?“Entscheidungshilfe Durch die Evaluation sollen belastbare Informationen erbracht werden, ob»Eine Maßnahme weiter durchgeführt werden sollte»Oder ob eine Maßnahme eingestellt werden sollte, weil sie die gewünschte Wirkung nicht erzieltOptimierungsgrundlagei.d.R. formativ, da weder sämtliche Aspekte des Gegenstandes noch die vorhandenen Gestaltungsmöglichkeiten im Vorfeld bekannt sindQualitative DatenIn enger Kooperation mit den verschiedenen Interessensgruppen werden Daten erhoben, die Informationen über Problembereiche und Optimierungsmöglichkeiten liefernStrategisches Instrument ->Nutzung der Evaluation zur Leistungs-und Motivationssteigerung der Mitarbeiter»u. a. durch das Bewusstsein wahrgenommen zu werden»Oder Mitarbeiter sind motivierter bessere Leistungen zu erbringen, weil sie sehen, dass andere Abteilungen das auch schaffen->Durchsetzungshilfe für Entscheidungenz.B. mehr Geld von Leistungsträgern->Ritualisierte Funktionz.B. Durchführung zur Erfüllung gesetzlicher Vorschriften
• Beschreibe das Vier-Ebenen-Modell nach Kirkpatrick mit Beispiel. Die 4 Ebenen sind hierarchisch zu verstehenMit höherer Ebene steigt Aufwand und Komplexität der Evaluation……aber auch Informations-und Lerngewinn! Reaction->ReaktionsebeneErfassung der Akzeptanz einer Maßnahme/eines Programms (Zufriedenheit)                          Beispiel:• Akzeptanz der Maßnahme & Zufriedenheit erfassenZ.B. über Drop-Out-Rate oder BefragungLearning->LernebeneErfassung des Ausmaßes, in dem Teilnehmer als direkte Folge der Teilnehme an einer Maßnahme ihre Fertigkeiten erweitert haben, Wissen gewonnen haben                          Beispiel:Fühlen die Eltern sich nach dem Training kompetenter/ sind sie kompetenter geworden?->Befragungen, ob sie sich kompetenter fühlen->Rollenspiele (VB über Lernzuwachs)Behaviour->HandlungsebeneErfassung des Transfers des Gelernten auf Alltagssituationen •Beispiel:Transfer in den Alltag->Selbstbericht / Fremdbericht->HausbesucheResults->ErfolgsebeneErfassung der Veränderungen auf Organisations-bzw. Systemebene->Return on Investment (ROI; von Schenkel ergänzt)Verhältnis zwischen betrieblichem Aufwand von Weiterbildung (Programmkosten) und dessen Ertrag (Programmnutzen)                                                                                                            Beispiel: Veränderung der familiären Situation (Familie = System)Alltag läuft jetzt z.B. stressfreierFamilie kann sich besser strukturierenNegativ: Oma fühlt sich nicht mehr gebraucht
• Zähle die Modelle der Evaluation auf. Ergebnisorientierte Modelle ->Zielerreichungsmodelle ->Wirksamkeitsmodelle Prozessmodelle Nutzenmodelle ->Ökonomische Nutzenmodelle ->Stakeholder-Modelle Bewertungsorientiere Modelle Programmorientierte Modelle
• Beschreibe das ergebnisorientierte Modell. Allgemein:• Ergebnis einer Maßnahme steht im Mittelpunkt (summative Evaluation)Beispiel: Elterntraining»Hat das Elterntraining dazu geführt, dass Eltern Erziehungskompetenzen aufbauen konnten?Praktizieren die Eltern nach dem Training im Alltag einen stärker lösungsorientierten Ansatz? • Annahme: objektive Messbarkeit der EvaluationsresultateOb die Eltern Erziehungskompetenzen aufbauen konnten ist objektiv messbar!»Z.B. durch Prä-/Post-Messungen 1. Zielerreichungsmodelle•Erfassung der Zielerreichung, unabhängigvom wissenschaftlichen Nachweis über deren ursächlichen Zusammenhang mit dem ProgrammDas Wirkgefüge interessiert nicht!•Auch als objective-based-evaluation oder Effekt-Evaluation bezeichnet•Kriterienorientierte MessungMaßstab für (Miss-)Erfolg ist der Übereinstimmungsgrad zwischen den Programmresultaten und den zuvor definierten Zielkriterien•Evaluationen auf Basis von Zielerreichungsmodellen sind z.B. im Bereich Bildung/Erziehung stark vertretenVergleichende Schuluntersuchungen wie z.B. PISA•Zielerreichungsmodelle eigenen sich gut für Projekte mit klar definierten und gut operationalisierbaren Zielen •Kritik am zielgebundenen Evaluationsmodell:Durch die Orientierung an den Zielen der Auftraggeber wird eine objektive Bewertung erschwertDas Programm wird nicht umfassend bewertet»Nicht gemessene Nebenwirkungen bleiben unentdeckt und unbeachtetAus der Kritik am zielgebundenen Evaluationsmodell entwickelte sich die zielfreie Evaluation (goalfreeevaluation) (Scriven, 1999)Nicht nur die beabsichtigten, sondern auch die unbeabsichtigten (positiven und negativen) Effekte des Programms sind von InteresseDie Evaluatoren bleiben unvoreingenommen und können somit die Gesamtheit der Wirkungen (gewollt und ungewollt) besser erfassen 2. Wirksamkeitsmodelle•Nachweis der ursächlichen Wirksamkeiteiner Maßnahme steht im Vordergrund•Zielen auf kausale Erklärungen der Effekte ab:Einsatz von (Quasi)-experimentellen Designs»Z.B. Effekte eines Trainingsprogramms (PowerPoint-Kurs) in einer Schulklasse erfassen und mit einer Kontrollgruppe (anderen Schulklasse, die den Kurs nicht gemacht hat) vergleichen»Zentrale Frage: hat das Programm die operational bestimmbare Zielgröße (z.B. Fähigkeit eine Masterfolie zu erstellen/bearbeiten)ursächlichbedingt?Problem: (kausale) Generalisierung von Ergebnissen ist bei Quasi-Experimenten eingeschränkt»Unterschiede zwischen den Schulklassen können nicht eindeutig auf das Trainingsprogramm zurückgeführt werden….»…sondern könnten ebenso auf Unterschiede zwischen den Klassen (z.B. Vorerfahrungen mit PowerPoint) zurückgeführt werden Diesem Problem kann man jedoch entgegenwirken:Mögliche Störvariablen miterhebenGenaue Analyse/Beschreibung der (erwarteten) Funktionsweise der InterventionAm Programm Beteiligte bei der Zielfindung einschließen
• Beschreibe die Prozessmodelle. •Verlaufeiner Maßnahme steht im Mittelpunkt•Formative Evaluation / entwicklungsorientierte EvaluationRückmeldung der Zwischenergebnisse zur Optimierung des ProgrammsEvaluation hat unterstützende / gestaltende Funktion
• Beschreibe die Nutzenmodelle. Allgemein:• Praktischer Verwertbarkeit der Evaluationsergebnisse steht im MittelpunktWas „passiert“ am Ende mit den Daten? Wie werden sie genutzt?Nutzung/Verwertbarkeit der Ergebnisse für…»…die Politik»…Wertentscheidungen der am Evaluationsgeschehen Beteiligten 1. Ökonomische Nutzenmodelle•Erfassung des ökonomischen NutzensBeurteilung der aufgewendeten Mittel im Verhältnis zu den gemessenen Wirkungen•Nutzen > Kosten Effizient gegebenEin Programm ist effizient, wenn:»Der Nutzen die Kosten übersteigt»Das Programm gegenüber einem anderen Programm eine bessere Kosten-Nutzen-Relation hatDer „Nutzen“ wird dabei im Sinne der Zielerreichung gemessen•Beispiel: Vier-Ebenen-Modell von Kirkpatrick 2. Stakeholder-Modelle•Annahme: Die Umsetzung von Evaluationsergebnissen ist umso wahrscheinlicher, je stärker die Evaluation die Fragen der jeweiligen Interessensgruppen fokussiert•Charakteristisch ist daher ein explizit partizipatives VorgehenAlle Interessensgruppen werden in allen Phasen des Evaluationsprozesses gleichberechtigt einbezogenZiele der Evaluation und die zu erfassenden Ziele des Programms werden konsensual bestimmt •Beispiel: Nutzengesteuerte Evaluation nach Michael PattonFragestellungen für die Evaluation werden im Dialog mit den Nutzern entwickeltDie Nutzer verpflichten sich dem Schwerpunkt der Evaluation und der Verwertung der ErgebnisseVorteil:»fördern die Selbstreflexion und das Lernen in Organisationen, weil Nutzer involviert sindNachteil:»Weil alle Interessensgruppen involviert sind, sind solche Evaluationen sehr steuerungsintensivVermittlung zwischen Interessengruppen, finden eines gemeinsamen Konsens usw.
• Beschreibe die Bewertungsorientierten Modelle. •Empirisch gestützte Bewertung und Beurteilungdes Evaluationsgegenstandes steht im MittelpunktDeutliche Abgrenzung zur „wertfreien“ Grundlagenforschung•Frühester Vertreter ist Michael Scriven (1971)Der Evaluator hat die Pflicht, ein möglichst knappes und präzises Urteil abzugeben»„gut“ oder „schlecht“Plädoyer für eine unabhängige (externe) Evaluation, die am besten zielfreidurchgeführt wird, um den Wert des zu evaluierenden Gegenstandes möglichst fehler-/störungsfrei zu erfassenIm Gegensatz zu den nutzenorientierten Modellen wird der objektiven Bewertunghier wesentlich mehr Bedeutung zugemessen als der Frage, was im Anschluss mit den Daten passiert! •Beispiel: das responsive Evaluationsmodell von Stake, 1975Evaluation soll Antworten für Informationsanliegen der verschiedenen Beteiligten/Betroffenen bereitstellenSteuerungsfaktoren sind hier Programmbestandteile, die von den Beteiligten als problematisch, konfliktreich oder ungelöst wahrgenommen werden»Programmelemente, die als problematisch erlebt werden „steuern“ die Evaluation insofern, als dass man daran erkennt, wo man nochmal ansetzen bzw. modifizieren muss»Die Werte der verschiedenen Betroffenen stehen dabei gleichberechtigt nebeneinander und müssen in der Evaluation alle gleichermaßen berücksichtigt werdenPrimär qualitative Datenerhebung (Beobachtung, narrative Verfahren, Interviews usw.)Eignet sich v.a. zur Evaluation neuer Programme»Evaluation übernimmt hier eine ServicefunktionBezieht die Ansichten der Betroffenen explizit mit einGibt Antworten auf die Fragen der Betroffenen
• Beschreibe die Programmorientierten Modelle. •Betrachten sowohl den Input, als auch den Prozess, den Output und die Bedingungen, unter denen das Programm stattfindet•Die Frage, wie das Programm funktioniertsteht im MittelpunktDaraus können Vorschläge für Verbesserungen abgeleitet werdenWeist das Programm Schwächen auf, kann zwischen einem Theorie-Fehler oder einem Umsetzungsfehler unterschieden werden•Beispiel: CIPP-Modell (ContactInput ProcessProduct, Stufflebeam& Shinkfield, 2007)C Umfeld des untersuchten ProgrammsI In das Programm eingehende FaktorenP ImplementationP Ergebnisse, ZielerreichungVerzahnung von Evaluation und EntscheidungssituationEvaluation soll genutzt werden, um Entscheidungen herbeizuführen
• Was sind Entscheidungskriterien für die Wahl eines Evaluationsmodells? •Die Wahl des Evaluationsmodells sollte sich in erster Linie an den Fragen und Anliegen der Evaluation ausrichten•Bei der Wahl eines Evaluationsmodells können dabei folgende Leitfragen helfen:Welche Funktion / welches Ziel der Evaluation steht im Vordergrund?»Z.B.: Geht es um die Zielerreichung oder geht es um die Nutzung der Ergebnisse?Welche Ziele und Bewertungskriterien haben die Beteiligten?Welche Evaluationsebenen interessieren?Welche Daten sind gewünscht?»Kontext, Input, Prozess und/oder Output?Sind die Ziele der Programmtheorie expliziert?»Geht es darum die Erreichung der Programmziele zu evaluieren oder müssen die Programmziele erst ausgehandelt werden?Welche Ressourcen stehen zur Verfügung?»Betrachtung der Ressourcen, um die Durchführbarkeit der Evaluation zu gewährleisten
• Zähle den Prozess der Evaluation nach Balzer auf. 1.Evaluationsbedarf                                                                                           2.Evaluationsauftrag3.Evaluationsgrundlagen3.1Bestimmung des Evaluationsgegenstandes3.2Bestimmung der Akteure der Evaluation3.3Evaluationsziele und -fragenbereiche3.4Bestimmung der Bewertungskriterien3.5Bestimmung theoretischer Grundlagen3.2.1Auftraggeber3.2.2Entscheidungsträger3.2.3Evaluatoren3.2.4Weitere Beteiligte und Betroffene3.2.5Akteure im Zusammenspiel4.Rahmenbedingungen der Evaluation5.Methodische Projektplanung6.Durchführung der Evaluation7.Datenauswertung8.Präsentation und Berichtlegung9.Dissemination der Ergebnisse10.Nutzung der Ergebnisse11.Bewertung der Evaluation
• Beschreibe die einzelnen Phasen des Prozesses der Evaluation nach Balzer. Evaluationsbedarf•Besteht die Notwendigkeit einer Evaluation?Evaluationsauftrag•Wer erteilt den Auftrag zur Evaluation? EvaluationsgrundlagenBestimmung des Evaluationsgegenstandes•Komplexität eines Evaluationsgegenstandes•Gültigkeitsbereich einer FragestellungDer Bereich, auf den sich eine Fragestellung bezieht muss klar definiert sein•Objektivierbarkeit eines EvaluationsgegenstandesVoraussetzung für die empirische Erfassung des EvaluationsgegenstandesObjektivierbarkeit umfasst drei Indikatoren:»Erkennbarkeit»Bestimmbarkeit»Dokumentation•TransparenzDas Vorgehen zur Bestimmung des Evaluationsgegenstandes……und die Regeln zur Erfassung müssen transparent sein•Psychometrische Gütekriterien der Instrumente•Interne und externe Validität des Evaluationsdesigns•Evaluationsstandards (Übergeordnet für den gesamten Prozess)NützlichkeitDurchführbarkeitFairnessGenauigkeitÜberparteilichkeitBestimmung der Akteure der Evaluation•Auftraggeber•Entscheidungsträger•Evaluator(en)•Weitere Beteiligte und Betroffene•Akteure im ZusammenspielEvaluationsziele und –fragenbereiche•Welche Intervention verspricht den größten Nutzen?•Wie kann eine Intervention wirksamer gestaltet werden?•Wie sehen die Evaluationsziele aus Sicht verschiedener Interessensgruppen aus?Bestimmung der Bewertungskriterien & theoretischer Grundlagen•Theoretische und methodische Grundlagen berücksichtigen•Es geht darum, auf Basis theoretischer und methodischer Überlegungen abzuleiten, welche Bewertungskriterien für die Bewertung des Evaluationsgegenstandes geeignet sind•Beispiel:Was könnten Bewertungskriterien sein, um festzustellen ob die Lehre an der Universität-Trier „gut“ ist?»Zufriedenheit der Studierenden?»Lernerfolg?Bestimmung theoretischer Grundlagen Rahmenbedingungen der Evaluation• Evaluation im Feld vs. Evaluation im Labor• Parteiliche Evaluation vs. Überparteiliche (objektive) Evaluation• Vertrauliche (geschlossene) vs. Öffentliche (offene) Evaluation Methodische Projektplanung•Bei der methodischen Projektplanung wird auf den Methodenkanon der wissenschaftlichen (Sozial-)Forschung zurückgegriffen•Welche Zielrichtung soll das Evaluationsmodell haben?Praxisorientierte, entwicklungsorientierte oder theorieorientierte Evaluation?•Welcher Durchführungsmodi?Intrinsisch, extrinsisch, intern, extern, summativ, formativ, vergleichend, nicht vergleichend?•Welche Ausrichtung soll die Evaluation haben?Makro, Mikro, Programmevaluation, Input-, Outputevaluation, Complianceevaluation? Durchführung der EvaluationDatenauswertungPräsentation und BerichtlegungDissemination der Ergebnisse•Wer erhält die Evaluationsergebnisse?Nutzung der Ergebnisse•Welche Funktion haben die Ergebnisse, wozu werden sie genutzt?Bewertung der Evaluation•Was lief gut, was lief schlecht?QuerschnittsaufgabenBudgetierung, Evaluationsvertrag, Steuerung, personelle Ausstattung
• Beispiel des Evaluationsprozesses als Praktische Umsetzung des Modells am Masterstudiengang Psychologie. Evaluationsbedarf§5, Abs. 3 rh-pf.HochSchG„Zur Qualitätssicherung gehört auch, dass die Arbeit der Hochschule in Forschung, Studium und Lehre, ... regelmäßig … bewertet wird. Die Studierenden sind bei der Bewertung der Qualität der Lehre zu beteiligen. Die Ergebnisse der Bewertungen sollen, soweit es sich nicht um personenbezogene Daten handelt, veröffentlicht werden.“KMK-BeschlussAkkreditierung der BA-/MA-StudiengängeExzellenzinitiative für die LehreWettbewerb der HochschulenEvaluationsauftragGesetzgeberLeitung der UniversitätEvaluationsgrundlagenWas soll wozu, durch wen, wie und womit evaluiert werden?EvaluationsgegenstandLehrveranstaltungen, Curriculum, Ausstattungder BibliothekPrüfungsmodalitäten,Relation Studierende/Lehrende,Beratungsangebote, etc.Akteure der EvaluationStudierendeLehrendeLeitung der UniversitätGesetzgeberGesellschaftWas soll wozu, durch wen, wie und womit evaluiert werden?Evaluationsziele, aus SichtderStudierendenEffektiveres LernenHöhere Zufriedenheit mit StudienleistungenHöhere Wahrscheinlichkeit des Erreichens formaler AbschlüssePartizipation an Gestaltung von Lehr-LernarrangementsOrientierungshilfe zur Wahl von LehrveranstaltungenOrientierungshilfe zur Wahl des StudienortesLehrendenRückmeldung über eigene ArbeitVergleich mit PeersHinweise auf VerbesserungsmöglichkeitenBeteiligung der Studenten an Gestaltung von LernmöglichkeitenVerbesserung der Lern-& Prüfungsleistungen der StudierendenQualifikationsnachweisLeitung der UniversitätOrientierung über Qualität der Arbeit in der eigenen OrganisationHinweise auf OptimierungsmöglichkeitenDokumentation der LehrtätigkeitErfüllen der GesetzesauflageVoraussetzung für SystemakkreditierungSteigerung der AbschlussquotenKriterien bei Verhandlung um Stellen und GratifikationenWettbewerb zwischen UniversitätenKriterium für (Dritt-)MittelzuweisungGesellschaftQualität der staatlichen EinrichtungSteigerung der Quote gut ausgebildeten NachwuchsesStellung im internationalen WettbewerbPolitikQualität der Arbeit staatlicher EinrichtungenHinweise auf OptimierungsmöglichkeitenDokumentation der Wirkungen eigener Arbeit(inter-)nationaler WettbewerbKriterien für MittelzuweisungenWas soll wozu, durch wen, wie und womit evaluiert werden?Bestimmungder Bewertungskriterien guter Lehretheoretische Grundlagenmethodische GrundlagenRahmenbedingungen der EvaluationFeldüberparteilichoffenöffentlich (Befundlegung)anonym (Befragung)methodische ProjektplanungenEvaluationsmodell: praxisorientiertInterneplus externe EvaluationProgrammevaluation auf MikroebeneFormativ plus summativDurchführung der EvaluationSchriftliche, standardisierte Einzelbefragung vonStudierenden,Lehrenden und AbsolventenQuantitativExtrinsischDatenauswertungEvaluationsergebnisseDisseminationNutzungBewertungDissemination der ErgebnisseNutzung der ErgebnisseBewertung der Ergebnisse
• Was sind Gemeinsamkeiten von psych. D. und Eva.? •Prozesshaftes GeschehenDynamischer ProzessRekursiver Prozess•Ziel-und ZweckorientierungFolgt einem finalen Denkmodell•Wissenschaftliches ArbeitenArbeiten mit wissenschaftlichen MethodenMultimodales & multimethodales Vorgehen•Nutzen verschiedener Wissensbestände sensu Kaminski•Sind an bestimmten Kriterien orientiert/sollen Gütekriterien gerecht werden•Hypothesengeleitetes VorgehenPräzisierungsalgorithmus•Entscheidungen erleichtern, kontrollieren und optimieren•Ethische Vertretbarkeit•Durchführung durch qualifizierte Personen (Ausgebildete Evaluatoren bzw. Diagnostiker)•Querschnittsaufgaben
• Was ist gute Lehre und wie kann sie gemessen werden? Was sind Vor- und Nachteile? (Beispiele -> siehe Tutorium) Methode -> KriterienTheoretische Ableitungen, z. B. Theorien der Arbeitszufriedenheit, Grundsätze der Instruktionspsychologie -> Studienbedingungen und –inhalte, Benotung, Kontakte zu Lehrenden & Kommilitonen, berufliche Relevanz, Randbedingungen des Studiums, …>>Ableitung von Kriterien guter Lehre aus etablierten Theorien ist ein wünschenswertes VorgehenWird aber in der Realität nur selten gemachtSchwierig, für alle Aspekte der Lehrqualität entsprechende Theorien zu findenAnalyse von Lehrzielen anhand Curricula,Bildungsstandards-> Entwicklung von Interesse, Lernerfolg (subjektiv & objektiv), Kompetenzerwerb>>Vorteil:Kriterien werden sehr eng mit den Lehrzielen der Dozierenden abgestimmtHohe Akzeptanz der Lehrevaluation bei den Lehrenden•Nachteil:Erfassung der Kriterien sehr aufwendig (z.B. Lernerfolg)Ändern sich die Lehrinhalte/Dozenten, müssen die Kriterien neu erarbeitet werdenBefragung von Lehrenden und Lernenden nachden Merkmalen guter Lehre-> Fachkompetenz, Anleitung zum selbständigen Arbeiten, Stimulation von Interesse, Klarheit,Verständlichkeit, …>>Studierende und Lehrende…•…stimmen i.d.R. hochgradig darin überein, welcheMerkmale gute Lehrende idealerweise aufweisen sollen•…unterscheiden sich jedoch in der Gewichtungder MerkmaleStudierendebetonen die Bedeutung der Vermittlungsmethode»Insbesondere den InteraktionsaspektLehrendebetonen die Bedeutung der Inhalte sowie die Anleitung zum selbstständigen LernenSichtung von Instrumentender Lehrevaluation-> Inhalte, Didaktik,Methodik, Hilfe rund um die Veranstaltung, Lernerfolg, Gründe für den Besuch der Veranstaltung, …>>Am meisten verwendete Methode•Vorteil:Ökonomische Herangehensweise (man muss das Rad nicht neu erfinden)•Nachteil:Schwächen bestehender Instrumente werden übernommenBestimmungder Ziele guter Lehre und empirische Analyse ihrer Prädiktoren-> Welche Merkmale der Lehre korrelieren hoch mit den Kriterien?>>Vorsicht!•Dieses Verfahren kannzu sehr fragwürdigen Ergebnissen führen!Wenn sich nämlich Prädiktoren als vorhersagekräftig erweisen würden, die nur indirekt als Indikatoren der Lehrqualität angesehen werden oder sogar auf schlechte Lehre hindeuten!•Beispiel: Kriterium = Studienerfolgsquotekann durch Verringerung der Anforderungen erhöht werdenDas ist aber keinPrädiktor guter Lehre, sondern spricht eher für schlechte Lehre!
• Wie kann der Lernerfolg als Kriterium guter Hochschullehre unterschieden werden? •Was „ist“ Lernerfolg?Aneignung der Wissensinhalte und Fertigkeiten, die in der Lehrveranstaltung (LV) vermittelt werden sollen•Bzgl. des Lernerfolgs unterscheidet man zwischen:Objektivem Lernerfolg•Lernerfolg lässt sich mit einem Leistungstest am Ende überprüfen (Klausur)Genau genommen müsste man aber auch einen Leistungstest zu Beginn der Veranstaltung machen und dann vergleichen (Differenz des Wissens vorher/nachher)>>ProblemePrä-Post-Messung als Standardmethode ungeeignet»Hoher methodischer Aufwand, der in jeder LV nicht leistbar ist»Geringe Akzeptanz bei StudierendenVor der Veranstaltung über unbekannten Stoff „geprüft“ zu werden erscheint frustrierend/sinnlosVergleichbarkeit der Leistungen über Kurse hinweg nicht gegeben»Uni-Kurse haben sehr unterschiedliche Inhalte und Lernziele»Lernaktivitäten sind in der Studienzeit deutlich heterogener (weniger standardisiert)als in der SchulzeitMultikausale Bedingtheit des Lernerfolgs»Objektiver Lernerfolg wird von verschiedenen Faktoren beeinflusstVor allem von den Lernaktivitäten der Studierenden, die wiederum stark von motivationalen und kognitiven Aspekten abhängenAber auch von anderen Faktoren, wie z.B. Vorwissen, Tagesform, abgefragte Inhalte usw.Lernzuwachs & Zufriedenheit mit Studienbedingungen / Interesse am Inhalt korrelieren ggf. negativ»„Paukkurse“Lernzuwachs meist sehr groß, während die Zufriedenheit mit den Studienbedingungen und das Interesse am Thema negativ beeinflusst wird Subjektivem Lernerfolg•Wird mittels Zustimmungsitems erhobenZ.B. „mein Lernerfolg in dieser Veranstaltung war hoch“•Ist ein Markieritem für die Gesamtzufriedenheit der Studierendenje stärker Studierende der Meinung sind viel gelernt zu haben, desto höher ist die Gesamtzufriedenheit•Vergleichbarkeit ist über Kurse hinweg gegeben•Ist kein Proxy für objektiven Lernerfolg!Korrelation zwischen objektivem und subjektivem Lernerfolg nur gering (r = .13 -.18)
• Warum gibt es nur geringe Korrelationen zwischen objektivem und subjektivem Lernerfolg? •Liegt evtl. daran, dass subjektiver und objektiver Lernerfolg anhand unterschiedlicher Bezugsnormengemessen werdenSubjektiver Lernerfolg: individuell-temporale Bezugsnorm»Items fragen nach Lernzuwachs über die Zeit: „Ich weiß jetzt mehr als zu Beginn des Kurses“Objektiver Lernerfolg: soziale Bezugsnorm»Eigenes Abschneiden in der Klausur im Vergleich mit den anderen Studenten•Subjektiver Lernerfolg = Markieritem für GesamtzufriedenheitBefund zum objektiven Lernerfolg zeigt jedoch:»Lernzuwachs und Zufriedenheit korrelieren ggf. negativ („Paukkurse“)•Multikausale Bedingtheit des objektiven LernerfolgsGutes Abschneiden im sozialen Vergleich muss nicht zwingend auf hohen Lernzuwachs oder hohe Zufriedenheit zurückzuführen sein»Kann auch Folge von hohem Vorwissen zu Kursbeginn sein»Oder „schlechte Lehrqualität“ wurde durch aufwendige Lernaktivitäten kompensiertDurchaus möglich, dass Zufriedenheit sehr gering, aber Note trotzdem gut istSchlechtes Abschneiden lässt nicht zwingend auf geringen Lernzuwachs oder geringe Zufriedenheit schließen»Z.B. waren mit dem Kurs zufrieden und hatten subjektiv auch das Gefühl viel gelernt zu habenIn der Klausur wurde dann aber genau in eine „Lücke“ gefragt und wir haben eine schlechte Note, weil wir das, was wir wussten nicht zeigen konnten (weil nicht gefragt)
• Was sind Methoden der Lehrevaluation? Befragung von Studierenden•Am häufigsten eingesetzte Methode•Breites Spektrum an methodischen HerangehensweisenMündliche RückmeldegesprächeFormative Evaluation während dem SemesterFragebogenerhebung z.B. mittels»Heidelberger Inventar zur Lehrveranstaltungsevaluation (HILVE) (siehe VL-Folie genauer erklärt)»Trierer Inventar zur Lehrevaluation (TRIL)»Fragebogen zur Prozess-und Ergebnisorientierten Lehrveranstaltungsevaluation (PELVE)Summative Evaluation am Ende des Semesters Befragung von Absolventen•Retrospektive Befragung von AbsolventenBewertung der Relevanz von Studieninhalten aus Sicht der Berufspraxis•Problem: geringe RücklaufquoteMan kommt an Absolventen schlecht ran (keine Kontaktadressen) Selbstevaluation der Lehrenden•Selbsteinschätzung der Lehrenden bzgl. der eigenen LehrveranstaltungDeskriptive Einschätzung von Aspekten der Veranstaltung / des eigenen Lehrverhaltens•Problem: Selbsteinschätzung beruht auf N = 1Wenig reliabel…
• In welche 4 Gruppen lassen sich die Methodischen Ansätze zur Untersuchung der Validität studentischer LVE gliedern? 1.Dimensionalität studentischer LVE als Hinweis auf die Konstruktvalidität2.Übereinstimmung von Beurteilern als Maß der konvergenten Validität3.Einfluss von Biasvariablen4.Zusammenhang von studentischen LVE mit Lernerfolg und Leistungsmaßen als Kriteriumsvalidierung
• Wie kann die Dimensionalität studentischer LVE überprüft werden? •Überprüfung der theoretischen Messmodelle mithilfe von konfirmatorischen Faktorenanalysen (CFA)•Es gibt 3 Herangehensweisen: CFA auf Studentenebene•RohdatenanalyseCFA auf Basis der individuellen StudentenurteileDefinition der latenten Variablen auf PersonenebeneProblem:Vernachlässigung der Gruppierung von Studenten in Veranstaltungen»Verletzt die Annahme identisch verteilter und unabhängiger Beobachtungen Kann mittels Intraklassenkorrelation (ICC) überprüft werdenWenn ICC ≥.15 haben wir zwei Probleme:»Überschätzung der Modellparameter»Unterschätzung des StandardfehlersDas ist schlecht, weil das (kurz gesagt) heißt, dass unsere Ergebnisse dann nicht aussagekräftig sind! CFA auf Veranstaltungsebene•MittelwertanalyseCFA auf Basis der veranstaltungsbezogenen MittelwerteProblem:Individuelle Studentenurteile gehen nicht ins Messmodell ein»Vernachlässigung der Varianz der Urteile innerhalb einer VeranstaltungDas ist schlecht, weil dadurch die Zusammenhänge auf Veranstaltungseben überschätzt werdenMultilevel-CFA („Methode der Wahl“!Wird durchgeführt, um der Tatsache gerecht zu werden, dass wir bei LVE genestete Daten haben•Berücksichtigung der Mehrebenenstruktur•Konstruktion latenter Variablen auf Veranstaltungsebene (Analyseeinheit) unter Verwendung der Erhebungseinheit (Studentenurteile)Entspricht der Annahme, dass:Eigenschaften der Veranstaltung Einfluss auf Studentenratings haben»Ratings derselben Veranstaltung fallen ähnlicher aus,als Ratings verschiedener VeranstaltungenStudenten als Rater beeinflussen das Ergebnis der LVE»(obwohl Ratings sich innerhalb derselben LV ähnlicher sind als zwischen LV)können die Ratings einzelner Studenten sich innerhalb einer LVE unterscheiden
• Was haben Segewald & Vetterlein bei ihrer Studie zur Dimensionalität studentischer LVE gemacht? •Worum ging es?Vergleich von konventioneller (singlelevel-) CFA mit multilevel-CFA am Beispiel des PELVE•Was wurde gemacht?Das postulierte Messmodell wurde mit 3 CFA-Arten überprüft:»Single-Level-CFA: Studentenebene»Single-Level-CFA: Veranstaltungsebene»Multilevel CFA•Die Stichprobe umfasste dabei:Veranstaltungen (Vorlesungen, Seminare, Übungen)DozentenStudierende•Ergebnis:CFA auf Veranstaltungsebene»Modellfit inakzeptabel Verwerfung des MessmodellsCFA auf Studentenebene»Inkonsistenter Modellfit keine eindeutigen Aussagen möglichMultilevel-CFA»Akzeptabler Modellfit»Notwendigkeit einer Multilevel-CFA zeigt sich auch bei den ICC-Werten!ICC-Werte liegen zwischen .16 -.44 Erinnerung:Wenn ICC ≥.15 werden Modellparameter über-und Standardfehler unterschätzt!Single-Level CFA kann damit nicht umgehen!
• Welche Korrelationen haben sich bei der Übereinstimmung von Beurteilern ergeben (konvergente Validität)? Betrachtet wird der Zusammenhang zwischen studentischen Urteilen und denen von…•AbsolventenAuf Veranstaltungsebene sehr hoch (rtt= .83)Auf Individualebene eher hoch (rtt= .58)Deutet auf eine hohe zeitliche Stabilität studentischer Lehrbeurteilungen hin und spricht für die Validität studentischer Urteile•Selbsteinschätzung der LehrendenGesamturteile eher gering (rtt= .29)Streuen hinsichtlich einzelner Dimensionen ziemlich stark (rtt= .15 -.49)Ist darauf zurückzuführen / zeigt, dass verschiedene Dimensionen von Lehrenden und Studierenden unterschiedlich gewichtet werden! (vgl. Folie 7)•FachkollegenEher hohe Zusammenhänge (rtt= .53 -.57)Starker Hinweis auf die Validität studentischer Lehrbeurteilungen•Studierende untereinanderZusammenhänge eher gering (rtt= .20 -.30) Achtung!•Korrelationen basieren auf manifesten StudierendenurteilenMehrebenenstruktur (Studierende geschachtelt in Veranstaltungen) wird vernachlässigtKann zu einer verzerrten Schätzung führen!•Beurteilungen sind anfällig für Verzerrungenunklar, ob Korrelation nur ein Maß für den Konsens zwischen den Beurteilern ist …… oder auch die Akkuratheitder Urteile (und damit die Validität des Urteils) wiederspiegelt
• Was sind Bias-Variablen? Variablen, die„nicht mit dem Lehr-und Lernprozess in Zusammenhang stehen (Bedingung 1),jedoch systematisch mit dem Antwortverhalten der Studierenden kovariieren(Bedingung 2)“ (Spiel, 2001, S. 61). Potenzielle Biasvariablen sindVariablen der Veranstaltung, z. B.Gruppengröße, Zeit, OrtVariablen der Lehrenden, z. B.Geschlecht, LehrerfahrungVariablen der Studierenden, z. B.Interesse, Grund für die Teilnahme Unterschiedliche Vorhersagebeiträge der Prädiktoren („Biasvariablen“) auf die verschiedenen LVE-Dimensionenbelegen die dikriminanteValidität dieser Dimensionen undsprechen für eine differenzierte Studentenbewertung
• Was wird in dem Befund zu Bias-Variablen nach Spinath und Stehle gefunden? •Mögliche Biasvariablen sind:Interesse am ThemaBiasvariablemit durchweg positivem Effekt»In mehreren Studien konnte ein relativ starker Zusammenhang zwischen dem Interesse und der studentischen LVE nachgewiesen werden»Hohes Interesse geht dabei mit besseren Bewertungen einherZeigt sich auch in folgendem Befund:»Pflichtveranstaltungen werden tendenziell negativer bewertet als WahlveranstaltungenSympathie für die LehrpersonWird häufig im Evaluationsalltag genannt, jedoch bisher wenig untersuchtSchwierigkeit der VeranstaltungsinhalteInkonsistente Befundlage hinsichtlich des Einflusses der Anforderungen der LV»Einige Studien zeigen:Niedrige Anforderungen gehen mit besseren Bewertungen der LV einher»Andere Studien zeigen:Je höher die subjektiv empfundene Schwierigkeit, desto besser die Bewertung der LVMilde der Benotung korreliert (leicht) positiv mit studentischen LV-Bewertungen (.10 < r < .30)»Handelt es sich hierbei um einen Verzerrungseffekt?Milde Benotung durch Dozierende wird mit guter Veranstaltungsbewertung „belohnt“?»Validitätshypothese bietet eine mindestens genauso plausible Erklärung!Gute LV führen sowohl zu guten Noten, als auch zu guten Bewertungen durch StudierendeMars & Roche (2000) kommen nach einer Überprüfung der beiden Hypothesen zu dem Ergebnis, dass die Daten eher die Validitätshypothese stützen!Methodenkurse werden allgemein schlechter bewertet als Nicht-MethodenkurseMerkmale der LehrpersonKeine inhaltlich bedeutsamen Zusammenhänge zwischen der Bewertung einer LV und…»Alter, Geschlecht und Lehrerfahrung des DozierendenVan Griffen (1990)»fand positive Korrelationen zwischen der studentischen Beurteilung der Lehreffektivität und den folgenden (ebenfalls von den Studierenden eingeschätzten) Dozentenmerkmalen:Humor (r = . 53)Freundlichkeit (r = .64)Hilfsbereitschaft (r = .79)Sind diese Ergebnisse auf einen Halo-Effekt zurückzuführen?Positiv beurteilte Persönlichkeitseigenschaften verzerren die LV-Bewertung positivLV-Bewertung wäre dann keine Bewertung der LV-Qualität, sondern eher ein Maß für die Beliebtheit eines Dozenten…Befund muss nicht zwangsläufig auf einen Halo-Effekt hinweisen!Es wäre genauso möglich, dass Humor, Freundlichkeit und Hilfsbereitschaft des Dozenten zu einem positiven Lernklima beitragenDies würde dann (zu Recht) mit hoher Zufriedenheit der Studierenden einhergehen (und vermutlich auch den Lernerfolg verbessern)
• Was wurde bei Fondel et al. zum Einfluss von Bias-Variablen gefunden? Ziele der Studie von Fondel, Lischetzke, Weis & Gollwitzer (2015)FaktorielleValidität und Messinvarianz über Veranstaltungsarten (V vs. S/Ü)Grad der Übereinstimmung der StudierendenurteileVorhersage der LVE durch die Studierendenvariablen Interesse, SympathieundSchwierigkeitMethodeStichprobe1823Studierendenurteile (Level-1)geschachtelt in101Veranstaltungen (Level-2; 51 V, 50 S/Ü;pro Lehrperson 1 LV )Durchführungfachbereichsübergreifende standardsierteOnline-Befragung Ende des WS 2012/13,Universität Koblenz-LandauVariablenTRIL (Gollwitzer & Schlotz, 2003) (Trierer Inventar zur Lehrevaluation)Struktur/Didaktik (SD; 6 Items)Anregungsgehalt (AG; 6 Items)Veranstaltungsklima (VK; 2 Items)Anwendungs-& Praxisbezug (AP; 2 Items)Interesse, Sympathie & Schwierigkeit jeweils EinzelitemDatenanalyse FaktorielleValidität und Messinvarianz über Veranstaltungsarten (V vs. S/Ü)Spezifizierung von Multigruppenmodelle der konfirmatorischenFA (CFA) unter Berücksichtigung der Mehrebenenstrukturder Daten;sequentielle Prüfung der MI (konfigural→schwach → stark → strikt)Grad der Übereinstimmung der StudierendenurteileSpezifizierung eines ML-CFA-MTMM-Modell nach (Eid, et al., 2008)Level-1: Modellierung der Studierendenurteile innerhalb von VeranstaltungenLevel-2: Modellierung der mittleren Urteile (Unterschiede zwischen Veranstaltungen)MTMM-Modellogik:Variablen auf Level-1: latente Methodenfaktoren (Studierende als Methoden betrachtet)→ s2der Methodenfaktoren bildet Unterschiedlichkeit der Studentenurteile abVariablen auf Level-2: latente indikatorspezifische TraitvariablenTrue scoresder Veranstaltungen (frei v. Messfehlern & raterspezifischenEffekten)→ s2der Traitvariablenbilden Unterschiedlichkeit in der mittleren Beurteilung abVorhersage der LVE durch die Studierendenvariablen Interesse, Sympathie&SchwierigkeitErweiterung des ML-CFA-MTMM-Modells um die Prädiktoren undRegression der Level-1-Methodenfaktoren auf dieseErgebnisseFaktorielleValidität und Messinvarianz über Veranstaltungsarten (V vs. S/Ü)strikte MI, d. h.gleiche Ladungen (gleiche Diskriminationsfähigkeit der Items)gleiche Intercepts(gleiche Itemschwierigkeiten)&gleiche Fehlervarianzen (gleiche Messfehlerbehaftetheitder Items)über Veranstaltungsarten hinwegGleichsetzung der Mittelwerte der latenten Variablen über Veranstaltungsarten: Fit inakzeptabelAGS/Ü> AGV(p < .05); APS/Ü> APV(p < .05); keine MW-Unterschiede auf VK & SDGrad der Übereinstimmung der StudierendenurteileLevel-2-Traitvariablen derselben Dimension: .88 <r <.97; Methodenfaktoren: .64 <r <.80Konsistenz: 30 -55%; Methodenspezifität: 45 -70%substantielle Übereinstimmung bei gleichzeitig relativ starker Heterogenität der Studierendenurteile innerhalb von Veranstaltungen (raterspezifischeEffekte)Vorhersage der LVE durch die Studierendenvariablen Interesse, Sympathie&SchwierigkeitSchlussfolgerungen FaktorielleValidität und Messinvarianz über Veranstaltungsarten (V vs. S/Ü)Bestätigung der 4-faktoriellen Struktur des TRILMittelwertsvergleichezwischen Veranstaltungsarten mit TRIL zulässigSeminare und Übungen werden im Vergleich zu Vorlesungen nur auf den Dimensionen 1.) Anregungsgehalt sowie 2.) Anwendungs-/ Praxisbezug besser bewertetGrad der Übereinstimmung der StudierendenurteileMethodenspezifität etwas höher ausgeprägt als Konsistenzausreichende Beobachterübereinstimmung gegebenHinweis auf konvergente ValiditätTRIL ermöglicht systematische Unterschiede zwischen Veranstaltungen abzubildenVorhersage der LVE durch die Studierendenvariablen Interesse, Sympathie&SchwierigkeitZusammenhänge zwischen Prädiktoren und LVE über Veranstaltungsarten gleichinterindividuelle (prädiktor-und dimensionsspezifische) Unterschiede zwischen Studierenden bei LVEspezifischer Einfluss der Prädiktoren je nach TRIL-Dimension: Hinweis auf diskriminanteValidität der TRIL-DimensionenStudierende differenzieren bei LVE zwischen QualitätsfacettenSympathiehat durchweg den stärksten Vorhersagebeitragkeine kausalen Schlussfolgerungen möglich
• Was kannst du zu dem Zusammenhang von studentischen LVE mit Lernerfolg sagen? (Kriteriumsvalidität) Gehen bessere studentische Beurteilungen mit besseren Lernerfolgen einher?•Veranstaltungsebene als AnalyseeinheitVergleich von LVs mit gleichen Inhalten……aber unterschiedlichen Lehrenden / Lehrmethoden Multi SectionValidityParadigmaGruppierung von LVs desselben Inhalts, diese LVs werden von unterschiedlichen Personen durchgeführt. Anschließende Bewertung der LVS aller Gruppen mit demselben Lehrbeurteilungsbogen und Prüfung des Lernerfolgs anhand eines einheitlichen LeistungstestsMA Cohen (1981): .40 <r <.50MA Clayson(2009): r = .33Korrelationen variieren stark zwischen den Studien •Multi Section Validitätsstudien weisen einen mittleren Zusammenhang zwischen Lernerfolg und studentischen Lehrveranstaltungsbeurteilungen ausDies ist ein Beleg für die Validität studentischer Lehrveranstaltungsbeurteilungen»Gute Bewertungen gehen mit besserem Lernerfolg einher
• Nenne 3 Funktionen von Evaluation. - Optimierungsgrundlage - Durchsetzungshilfe für Entscheidungen - Strategisches Instrument - Entscheidungshilfe - Leistungs- und Motivationssteigerung der Mitarbeiter
• Nenne 6 Standards der Evaluation. (Klausurfrage) Nützlichkeit: - Klärung der Evaluationszwecke - Glaubwürdigkeit und Kompetenz des Evaluators Durchführbarkeit: -Diplomatisches Vorgehen -Angemessenes Verfahren Fainess: -Formale Vereinbarung -Schutz individueller Rechte Genauigkeit: -Beschreibung des Evaluationsgegenstands -Beschreibung von Zwecken und Vorgehen
• Nenne 4 Entscheidungskriterien um für praktische Anwendung ein Evaluationsmodell auszusuchen. (klausurfrage) - Welche Funktion oder welches Ziel steht im Vordergrund? -Welche Ziel- und Bewertungskriterien haben die Beteiligten? - Welche Evaluationsebenen interessieren? - Welche Daten sind gewünscht? - Welche Ressourcen stehen zur Verfügung?
• Was muss bei der Konstruktvalidität von Lehrveranstaltungsevaluationen beachtet werden? (Klausurfrage) 3 Herangehensweisen: 1)CFA auf Studentenebene•RohdatenanalyseCFA auf Basis der individuellen StudentenurteileDefinition der latenten Variablen auf Personenebene•Problem:Vernachlässigung der Gruppierung von Studenten in Veranstaltungen»Verletzt die Annahme identisch verteilter und unabhängiger BeobachtungenKann mittels Intraklassenkorrelation (ICC) überprüft werdenWenn ICC ≥≥.15 haben wir zwei Probleme:»Überschätzung der Modellparameter»Unterschätzung des StandardfehlersDas ist schlecht, weil das (kurz gesagt) heißt, dass unsere Ergebnisse dann nicht aussagekräftig sind! 2)CFA auf Veranstaltungsebene•MittelwertanalyseCFA auf Basis der veranstaltungsbezogenen Item MittelwerteProblem:Individuelle Studentenurteile gehen nicht ins Messmodell ein»Vernachlässigung der Varianz der Urteile innerhalb einer VeranstaltungDas ist schlecht, weil dadurch die Zusammenhänge auf Veranstaltungseben überschätzt werden 3)Multilevel CFA•Berücksichtigung der Mehrebenenstruktur•Verwendung der Erhebungseinheit (Studentenurteile) zur Konstruktion latenter Variablen aufVeranstaltungsebene (Analyseeinheit)Entspricht der Annahme, dass:Eigenschaften der Veranstaltung Einfluss auf Studentenratings haben»Ratings derselben Veranstaltung fallen ähnlicher aus, als Ratings verschiedener VeranstaltungenStudenten als Rater das Ergebnis der LVE beeinflussen»(obwohl Ratings sich innerhalb derselben LV ähnlicher sind als zwischen LV) können die Ratings einzelner Studenten sich innerhalb einer LVE unterscheiden
• Was muss bei der Konstruktvalidität von Lehrveranstaltungsevaluationen beachtet werden? (Klausurfrage) 3 Herangehensweisen: 1)CFA auf Studentenebene•RohdatenanalyseCFA auf Basis der individuellen StudentenurteileDefinition der latenten Variablen auf Personenebene•Problem:Vernachlässigung der Gruppierung von Studenten in Veranstaltungen»Verletzt die Annahme identisch verteilter und unabhängiger BeobachtungenKann mittels Intraklassenkorrelation (ICC) überprüft werdenWenn ICC ≥≥.15 haben wir zwei Probleme:»Überschätzung der Modellparameter»Unterschätzung des StandardfehlersDas ist schlecht, weil das (kurz gesagt) heißt, dass unsere Ergebnisse dann nicht aussagekräftig sind! 2)CFA auf Veranstaltungsebene•MittelwertanalyseCFA auf Basis der veranstaltungsbezogenen Item MittelwerteProblem:Individuelle Studentenurteile gehen nicht ins Messmodell ein»Vernachlässigung der Varianz der Urteile innerhalb einer VeranstaltungDas ist schlecht, weil dadurch die Zusammenhänge auf Veranstaltungseben überschätzt werden 3)Multilevel CFA•Berücksichtigung der Mehrebenenstruktur•Verwendung der Erhebungseinheit (Studentenurteile) zur Konstruktion latenter Variablen aufVeranstaltungsebene (Analyseeinheit)Entspricht der Annahme, dass:Eigenschaften der Veranstaltung Einfluss auf Studentenratings haben»Ratings derselben Veranstaltung fallen ähnlicher aus, als Ratings verschiedener VeranstaltungenStudenten als Rater das Ergebnis der LVE beeinflussen»(obwohl Ratings sich innerhalb derselben LV ähnlicher sind als zwischen LV) können die Ratings einzelner Studenten sich innerhalb einer LVE unterscheiden
• Was muss bei der Konstruktvalidität von Lehrveranstaltungsevaluationen beachtet werden? (Klausurfrage) 3 Herangehensweisen: 1)CFA auf Studentenebene•RohdatenanalyseCFA auf Basis der individuellen StudentenurteileDefinition der latenten Variablen auf Personenebene•Problem:Vernachlässigung der Gruppierung von Studenten in Veranstaltungen»Verletzt die Annahme identisch verteilter und unabhängiger BeobachtungenKann mittels Intraklassenkorrelation (ICC) überprüft werdenWenn ICC ≥≥.15 haben wir zwei Probleme:»Überschätzung der Modellparameter»Unterschätzung des StandardfehlersDas ist schlecht, weil das (kurz gesagt) heißt, dass unsere Ergebnisse dann nicht aussagekräftig sind! 2)CFA auf Veranstaltungsebene•MittelwertanalyseCFA auf Basis der veranstaltungsbezogenen Item MittelwerteProblem:Individuelle Studentenurteile gehen nicht ins Messmodell ein»Vernachlässigung der Varianz der Urteile innerhalb einer VeranstaltungDas ist schlecht, weil dadurch die Zusammenhänge auf Veranstaltungseben überschätzt werden 3)Multilevel CFA•Berücksichtigung der Mehrebenenstruktur•Verwendung der Erhebungseinheit (Studentenurteile) zur Konstruktion latenter Variablen aufVeranstaltungsebene (Analyseeinheit)Entspricht der Annahme, dass:Eigenschaften der Veranstaltung Einfluss auf Studentenratings haben»Ratings derselben Veranstaltung fallen ähnlicher aus, als Ratings verschiedener VeranstaltungenStudenten als Rater das Ergebnis der LVE beeinflussen»(obwohl Ratings sich innerhalb derselben LV ähnlicher sind als zwischen LV) können die Ratings einzelner Studenten sich innerhalb einer LVE unterscheiden
• Nenne die Gemeinsamkeiten des diagnostischen Prozesses mit der Evaluation. (Klausurfrage) •Prozesshaftes Geschehen Dynamischer ProzessRekursiver Prozess•Ziel-und ZweckorientierungFolgt einem finalen Denkmodell•Wissenschaftliches Arbeiten Arbeiten mit wissenschaftlichen Methoden Multimodales & multimethodales Vorgehen•Nutzen verschiedener Wissensbestände sensu Kaminski •Sind an bestimmten Kriterien orientiert/sollen Gütekriterien gerecht werden •Hypothesengeleitetes Vorgehen Präzisierungsalgorithmus •Entscheidungen erleichtern, kontrollieren und optimieren •Ethische Vertretbarkeit•Durchführung durch qualifizierte Personen (Ausgebildete Evaluatoren bzw. Diagnostiker)•Querschnittsaufgaben

zurück  |  weiter 1 / 1