25
neuotischeEmotion (Subject) / FB_1 (Lesson)
Advertisement
- Neuronale Korrelate des Lernens aus Feedback Zwei Herangehensweisen Die Rolle des Striatums beim Rückmeldungslernen – Einsichten durch Studien mit Parkinson-Patienten Elektrophysiologische Korrelate der Feedbackverarbeitung
- Die Rolle des Striatums beim Feedbacklernen -- Übersicht deklaratives und non-deklaratives Lernen bei Parkinson-Patienten und Amnestikern defizitäres Feedbacklernen bei Parkinson-Patienten intaktes Feedbacklernen bei Parkinson-Patienten Beobachtungslernen mit Feedback Lernen aus verzögertem Feedback deklaratives Feedbacklernen Feedback-induzierte Wissensrepräsentationen bei Parkinson-Patienten und Amnestikern Zusammenspiel von Striatum und Hippocampus beim Feedbacklernen
- Deklaratives Lernen Inhalte sind verbalisierbar, explizit, bewusst; schnelle Akquisition berühmter Fall H.M.: starke anterograde Amnesie nach beidseitiger Entfernung des Hippocampus und angrenzendem medialen Temporallappen (MTL) zeitlich begrenzte retrograde Amnesie vor allem episodisches Gedächtnis betroffen
- Non-Deklaratives Lernen Inhalte sind nicht verbalisierbar, implizit, unbewusst; inkrementelle Akquisition Fertigkeiten, Gewohnheiten (engl. Habits) motorisch und nicht-motorisch erforderlich in Situationen, in denen explizite Strategien versagen viele Alltagssituationen, z.B. komplexe Entscheidungen wie Geldanlagen, Partnerwahl, Wohnungssuche, Einschätzung der Vertrauenswürdigkeit von Mitmenschen ...
- Non-Deklaratives Lernen im Labor Beispiel-Aufgabe „Weather-Prediction Task“ (z.B. Knowlton et al., 1994; Gluck et al., 2002):Aufgabe zum Klassifizierungslernen komplexe Struktur von Hinweisreizen probabilistische Zusammenhänge zwischen Reizen/Entscheidungen und Ergebnis ⇒ non-deklarativ
- Non-Deklaratives Lernen bei Amnestikern --> Weather prediction task Untersuchung von amnestischen Patientinnen und Patienten mit vermuteter Schädigung von Thalamus oder medialem Temporallappen (MTL) verschiedene Versionen der Weather Prediction Task (WPT) ⇒ intakte Akquisition ⇒ Lernen in der WPT unabhängig von deklarativem Wissen?!
- Amnestiker vs. Parkinson-Patienten - non-deklaratives vs. deklaratives Wissen Knowlton et al. (1996): Untersuchung von Patientinnen und Patienten mit amnestischem Syndrom(AMN; MTL oder Thalamus-Schädigung) oder Parkinson (PD; Striatum-Schädigung) Weather Prediction Task (A) Erfassung expliziter Erinnerungen an die Untersuchungssituation (B) ⇒ doppelte Dissoziation ⇒ entscheidende Rolle der Basalganglien für non-deklaratives Lernen ⇒ entscheidende Rolle klassischer Gedächtnis-strukturen für deklaratives Aufgabenwissen
- Die Basalganglien Nucleus Caudatus und Putamen (zusammen als Striatum bezeichnet) Input aus dem gesamten Cortex Globus Pallidus Output - Thalamus Nucleus Subthalamicus bei Parkinson Untergang der dopaminergen Neurone in der Substantia Nigra pars compacta
- Non-deklaratives Lernen unabhängig von den Basalganglien Nicht alle Formen non-deklarativen Wissens basieren auf den Basalganglien „implizite“ Lern-Aufgaben mit hohen motorischen Anforderungen z.B. Spiegelzeichnen klassische Konditionierung beeinträchtigt nach cerebellären Läsionen ⇒ nicht beeinträchtigt bei Parkinson-Patienten nicht-motorische Aufgaben Lernen einer artifiziellen Grammatik Klassifikation von Punktmustern basierend auf Prototypen ⇒ nicht beeinträchtigt bei Parkinson-Patienten
- Non-deklaratives Lernen und die Basalganglien – offene Fragen Unter welchen Umständen tragen die Basalganglien zum non-deklarativen Lernen/Gedächtnis bei? Welche Rolle spielen sie? ⇒ Die meisten Aufgaben zum non-deklarativen Lernen, bei denen Parkinson-Patienten beeinträchtigt sind, beinhalten Verhaltensrückmeldungen („Feedback“)
- Advertisement
- Das Belohnungssystem Basalganglien erhalten dopaminergen Input Dopaminneurone reagieren auf Belohnungsreize ⇒ Aktivität der Dopamin-Neurone spiegelt einen „Prediction Error“ wider dopaminerger Input in das Striatum: Substantia nigra Neurone projizieren vor allem in das dorsale Striatum Neurone des ventralen tegmentalen Areals projizieren vor allem in das ventrale Striatum
- Der Prediction Error beim Menschen Auch Evidenz beim Menschen zur Repräsentation des „Prediction Errors“ im dopaminergen System
- Auch Evidenz beim Menschen zur Repräsentation des „Prediction Errors“ im dopaminergen System (intakte) Dopamin-Neurone (bei Parkinson-Patienten) kodieren positive und negative Abweichungen von der Belohnungserwartung (Zaghloul et al., 2009) funktionelle Bildgebung zeigt Korrelat des „Prediction Errors“ im Mittelhirn auch für „kognitive“ Rückmeldungen im Sinne von „richtig“ oder „falsch“ (Aron et al., 2004) Korrelat des „Prediction Errors“ auch im Striatum und dem medialen Präfrontal-cortex mit anteriorem cingulären Cortex und orbitofrontalem Cortex
- Der Prediction Error Ursprüngliche Formel von Rescorla und Wagner (1972) δ = R t – V t Prediction Error δ = Belohnung R (zum Zeitpunkt t) – Erwartungswert V (Zeitpunkt t)
- „Temporal Difference Learning“ (Sutton & Barto) δ t = R t +γ V(S t+1 ) - V(S t ) Prediction Error δ (zum Zeitpunkt t) Belohnung R (zum Zeitpunkt t) „State value“ V (S): Summenwert Temporal discounting factor γ – Gewichtung zukünftiger Belohnungen „State value“ V (S): Summenwert aller zukünftig erwarteten Belohnungen (Zeitpunkt t)
- Das Actor-Critic Modell Lernen ermöglicht es, Belohnungen vorherzusagen Nur sinnvoll, wenn wir unsere Belohnungen durch Handlungen maximieren können zwei postulierte Prozesse/Komponenten: critic: nutzt den prediction error, um „State Values“ anzupassen actor: Verhaltensanpassung basierend auf den Berechnungen der Critic-Komponente
- Actor-critic-Modell -- zwei Postulierte Prozesse/Komponenten zwei postulierte Prozesse/Komponenten: critic: nutzt den prediction error, um „State Values“ anzupassen actor: Verhaltensanpassung basierend auf den Berechnungen der Critic-Komponente
- Das Actor-Critic Modell und neuronale Repräsentationen im Striatum O‘Doherty et al., 2004 klassische vs. instrumentelle Konditionierung (Handlung erforderlich für das Erhalten einer Belohnung oder nicht) instrumentelle Konditionierung: Auswahl eines Reizes Belohnung klassische Konditionierung: Keine Auswahl erforderlich Belohnung wird mit Reiz assoziiert Neuronale Repräsentationen des Prediction Errors -- Aktivierungen im vS und im dS: ventrales Striatum spiegelt Prediction Error wider für klassische und instrumentelle Konditionierung --> critic dorsales Striatum spiegelt Prediction Error nur für instrumentelle Konditionierung --> actor
- Striatum und Rückmeldungslernen .. Poldrack et al. (2001): Untersuchung mit funktioneller Bildgebung zu neuronalen Korrelaten des Klassifizierungslernen Weather Prediction Task – Standard mit Feedback vs. Kontrollaufgabe (Paar-assoziations-Lernen – „Beobachtungslernen“ Standard-Aufgabe mit Feedback Stimulusset, VP muss per Tastendruck entscheiden, ob Regen oder nicht, dann FB Paarassoziations-Aufgabe Vp muss Button drücken um das Stimulusset zu bestätigen Baseline-Aufgabe wie Paarassoziationsaufgabe, aber nur irrelevantes immergleiches Muster stärkere MTL-Aktivierung für Paar-Assoziations Aufgabe stärkere Striatum-Aktivierung für Aufgabe mit Feedback negative Korrelation zwischen Aktivität in MTL und Nucleus Caudatus für beide Aufgaben Je stärker der MTL aktiv ist, desto weniger aktiv ist das Striatum zu Beginn MTL-Aktivierung, dann „übernimmt“ das Striatum
- Striatum und Rückmeldungslernen Lernen mit und ohne Feedback bei Parkinson-Patienten (PD) ähnliche Aufgabe wie Weather Prediction Task (Vorhersage der Lieblings-Eiscreme verschiedener Figuren) mit und ohne Feedback („Beobachtungslernen“) bei Beobachtungsaufgabe Test-Phase am Ende ohne Feedback Beeinträchtigung der Parkinson-Patienten nur für Feedback-Version--> Striatum wichtig für Feedback-Lernen
- Striatum und Rückmeldungslernen - Mechanismen Algemein: Basalganglienschleife: direkter und indirekter Pfad der Informationsverarbeitung in den Basalganglien direkter Pfad – Förderung der Reaktionsauswahl im Cortex indirekter Pfad – Hemmung der Reaktionsauswahl --> Funktion als Torwächter – Basalganglien entscheiden, welche der aktivierten Handlungen ausgeführt wird
- Striatum und Rückmeldungslernen - Mechanismen Abbildung: Basalganglienschleife: Direkter Pfad: SNc --> aktiviert Striatum --> hemmt GPi/SNr --> hemmt Thalamus ---> aktiviert Cortex indirekter Pfad: SNr --> hemmt Striatum --> hemmt GPe --> hemmt GPi/SNr + --> hemmt STN --> aktiviert GPi/SNr --> hemmt Thalamus --> aktiviert Cortex
- Striatum und Rückmeldungslernen - Mechanismen Frank et al. (2004) hat postuliert: Dopamin aktiviert den direkten und hemmt den indirekten Pfad durch D1 bzw. D2-Rezeptoren Erleichterung der Reaktionsauswahl ---> Lernen aus positivem Feedback Dopaminmangel führt zu Übergewicht in indirektem Pfad Erschwerung der Reaktionsauswahl ---> Lernen aus negativem Feedback
- Positives vs. Negatives Lernen bei Parkinson Untersuchung mit Parkinson-Patienten mit und ohne Medikation (PD On, PD Off) und Senioren als KG „Probabilistic Selection Task“Lernphase – Transferphase ----> Erfassung des Lernens aus pos. vs. neg. Feedback Lernphase:--> drei Paare von Chinesischen Zeichen,-- Auswahl eines Zeichens-- (A=80% : B=20% // C=70:D=30 // E=40:F=60) Transferphaseneue Paarung der StimuliA vs C, E, F --> positives LernenB vs C, E, F -->negatives Lernen Ergebnisse: Parkinson-Patienten mit dopaminerger Medikation lernen besser aus positivem Feedback Parkinson-Patienten ohne dopaminerge Medikation lernen besser aus negativem Feedback gesunde Senioren lernen aus positivem u negativem FB gleichermaßen --->>> Dopamin-Einfluss auf das Striatum bestimmt die Art des Feedback-Lernens
- Striatum und Rückmeldungslernen Zusammenfassung Das Striatum ist involviert, wenn über Rückmeldungen gelernt werden soll Rückmeldungen können Belohnungen oder reine Leistungsrückmeldungen („richtig“ vs. „falsch“) sein Jedoch scheint das Striatum nicht an allen Arten des Feedback-Lernens gleichermaßen beteiligt zu sein Beobachtungslernen mit Feedback Effekte des Feedback-Timings Einfluss der Lernstrategie