22
Klassen und Cluster - Verfahren zur Modellierung heterogener Personengruppen (Fach) / 01 Clusteranalyse (Lektion)
Clusteranalyse - Hierarchische und Partitionierende Verfahren
Diese Lektion wurde von Frena erstellt.
Diese Lektion ist leider nicht zum lernen freigegeben.
Anzeige
- Was versteht man unter Distanzmaße, was unter Ähnlichkeitsmaße? = Grundlage für die Klassifikation von Objekten zu Clustern und damit Ausgangspunkt der Clusteranalyse --> Ähnlichkeitsmaße bestimmen die Ähnlichkeit von 2 Objekten/Clustern --> Distanzmaße bestimmen die Unähnlichkeit - sind abhängig vom Skalenniveau - können nominale, ordinale oder metrische Daten verarbeiten
- Was versteht man unter Euklidische Distanz? Entspricht dem "direkten Weg" zwischen zwei Datenpunkten. Vor der praktischen Durchführung ist die z-Standardisierung erforderlich.
- Was versteht man unter der City-Block- bzw. Manhattan-Metrik? Entspricht dem Weg entlang der Variablenachsen (rechte Winkel, nicht direkter Weg) zwischen zwei Datenpunkten. Vor der Durchführung ist eine z-Standardisierung notwendig.
- Was ist die Grundidee der Clusteranalyse? - systematische Klassifizierung der Objekte einer gegebenen Objektmenge. - Zusammenfassung von Personen zu Clustern aufgrund relevanter Merkmale. - Cluster sollen intern möglichst homogen und extern möglichst heterogen sein. - Cluster zeigen keine Überschneidungen.
- Wie geht man bei einer Clusteranalyse vor? Allgemeines Vorgehen: 1. Finden von Merkmalskombinationen zur Zusammenfassung und Unterscheidung von Gruppen --> statistische Maße für Ähnlichkeit und Distanz von Personen. 2. Zuordnung von Personen zu Clustern aufgrund identifizierter Merkmale --> Clusteralgorithmen 3. Interpretation der Cluster 4. Validierung der Clusterlösung/Modellbewertung --> Bewertungskriterien
- In welche verschiedenen Verfahren lassen sich Clusterverfahren unterteilen? 1. Hierarchische Verfahren 1.a) agglomerativ 1.a.a) Single-Linkage-Verfahren (Minimummethode) 1.a.b) Complete-Linkage-Verfahren (Maximummethode) 1.a.c) Average-Linkage-Verfahren (Mittelwert-Verfahren) 1.a.d) Centroid-Verfahren 1.a.e) Median-Verfahren 1.a.f) Ward-Verfahren 1.b) divisiv 2. Nichthierarchische Verfahren / Partitionierende Verfahren 2.a) k-Means-Verfahren (Clusterzentren)
- Wie funktionieren Agglomerative Hierarchische Verfahren? = heuristische (auf Erfahrung beruhende) Verfahren. Jede Person stellt zu Beginn ein eigenes Cluster dar (Analyse startet mit n Clustern). Diese werden sukzessiv zu Gruppen zusammengefasst (Bottom-Up-Prozess). Schritt für Schritt werden die Distanzen zwischen den Elementen und den gebildeten Gruppen neu berechnet, bis alle Mitglieder einer Gruppe zugehören (--> deshalb v.a. bei kleinem bis mittlerem Stichprobenumfang) Unterschied zwischen einzelnen Verfahren: Distanz, die für Fusionsentscheidung betrachtet wird.
- Wie funktionieren Divisive Hierarchische Verfahren? Ähnlicher Prozess wie bei agglomerativen hierarchischen Verfahren, startet jedoch andersherum: alle Personen in ein Cluster und dann Aufbrechen in kleine Cluster bis hin zur einzelnen Person (Top-Down-Prozess)
- Was ist ein Dendogramm? Stellt den Prozess der Clusteranalyse graphisch dar. Zeigt die einzelnen Fusionsschritte (=Zusammenführung) mit den dazugehörigen Distanzmaßen. Zu Beginn stellen alle Probanden ein eigenes Cluster dar: - in den Clustern ist die Distanz gleich 0 (weil nur eine Person) - deshalb beginnt das Dendogramm bei 0. - Meist werden Distanzen zuvor standardisiert. Sie nehmen dann Werte zwischen 0 und 25 an.
- Wie funktioniert das Single-Linkage-Verfahren? = Minimummethode 1. Jedes Element wird dem Cluster zugeordnet, bei dem es mindestens zu einem enthaltenen Element die geringste Distanz hat (alle gleiche Mindestdistanz zu je einem Element). 2. Cluster werden vereint, bei denen mindestens ein Elementpaar die geringste Distanz hat --> d.h.: nur ein Element des Clusters entscheidet über Fusion. --> Somit: schwache Fusionsanforderungen Chaining Effekt: durch Aneinanderreihen der nächstähnlichen Elemente kommt es zur Kettenbildung. Gut geeignet, um Ausreißer in der Stichprobe zu untersuchen.
- Anzeige
- Wie funktioniert das Complete-Linkage-Verfahren? = Maximummethode Alle Elemente eines Clusters müssen die geringste Distanz zueinander haben --> d.h.: alle Elemente werden berücksichtigt, um Fusion einzuleiten. --> Somit: starke Fusionsanforderungen Führt zu kleinen, sehr homogenen Clustern
- Wie funktioniert das Average-Linkage-Verfahren? = Mittelwert-Verfahren Mittlere Distanzen innerhalb des Clusters werden für die Fusion mit neuen Elementen oder für die Zusammenlegung von Clustern genutzt --> Mittelwert eines Clusters wird berechnet und die Distanz zu außenstehenden Elementen verglichen. --> somit: mittelschwere Anforderungen Will Nachteile der starken/schwachen Anforderungen ausgleichen.
- Erklären Sie das Ward-Verfahren! Cluster, die den geringsten Zuwachs im Varianzkriterium aufweisen, werden fusioniert. Varianzkriterium bildet sich aus der Summe der quadrierten euklidischen Distanzen der Elemente eines Clusters zum Clustermittelwert über alle Cluster. Zielfunktion: Minimierung der Varianz innerhalb der Cluster, verbunden mit einer Maximierung der Varianz zwischen den Clustern. Ergebnis: Clusterzentren, welche durch die Mittelwerte der Personen in den verwendeten Variablen gebildet werden.
- Was ist das Elbow-Kriterium? Beim Elbow-Kriterium werden die Fehlerquadratsummen in ein Diagramm abgetragen. Zeigt sich ein Knick ("Ellbogen") im Kurvenverlauf, kann dies als Entscheidungskriterium zur Clusteranzahl verwendet werden.
- Erklären Sie das k-Means-Verfahren! = Partitionierendes (/Nichthierarchisches) Verfahren Bevorzugt Gruppen mit geringer Varianz (homogen) und einer ähnlichen Größe. Benötigt eine Startpartition (= eine vorgegebene Clusteranzahl K). Der Algorithmus besteht aus mehreren Schritten, die wiederholt werden, bis die Zielfunktion ihr Optimum erreicht: 1. Vorgabe einer Anfangspartition (K) 2. Zufällige Zuordnung der Objekte zu K Clustern 3. Berechnung der Clusterzentren (Mittelwert) 4. Neuzuordnung der Klassifikationsobjekte: die Objekte werden dem Cluster zugeordnet, zu dem die quadrierte euklidische Distanz minimal ist. Dadurch wird die Streuungsquadratsumme innerhalb der Cluster in jedem Iterationszyklus (=Prozess mehrfachen Wiederholens) minimiert. 5. Die Schritte 2 bis 4 werden so lange wiederholt, bis sich die Zordnung der Objekte nicht mehr verändert --> Dann wird der Algorithmus gestoppt.
- Was sind die Voraussetzungen für das k-Means-Verfahren? Optimiert die quadratische Abweichung des Mittelwerts, benötigt somit numerische Attribute (kategoriale Attribute können nicht verwendet werden). Die Anzahl der Cluster K muss im Voraus bekannt sein. Ausreißer und ein starkes Rauschen in den Daten verändern die berechneten Clusterzentren stark.
- Was sind Probleme des k-Means-Verfahrens? Man findet nicht immer die beste Lösung --> die gefundene Lösung hängt stark von der Startpartition ab. K muss im Voraus gewählt werden, wodurch es auch zu nicht sinnvollen Gruppierungen kommen kann. Wenn Gruppen ineinander übergehen oder überlappen, kann keine sinnvolle Zuordnung stattfinden. Keine Möglichkeit, Ausreißer zu erkennen oder Cluster mit Sub-Clustern zu ermitteln. Es werden nur konvexe Cluster gefunden, da der Abstand zum Mittelwert minimiert wird.
- Anhand welcher Parameter kann eine Gültigkeitsprüfung vorgenommen werden? Die Clusterlösung sollte dann statistisch und inhaltlich nach ihrer Gültigkeit geprüft werden. Parameter, die helfen eine Einschätzung zu tätigen, sind z.B.: - Kriterium nach Calinski und Harabasz - Test von Mojena - Silhouettenkoeffizient
- Was versteht man unter einem Silhouettenkoeffizient? Eine Silhouette gibt an, wie gut die Zuordnung einer Beobachtung zu den beiden nächstgelegenen Clustern ist. Gibt eine von der Clusteranzahl unabhängige Maßzahl für die Qualität eines Clusterings (= Zuordnung) an. Die Ergebnisse können in einem Silhouettenplot visualisiert werden (--> visualisiert alle Silhouetten eines Datensatzes sowie den Silhouettenkoeffizienten für die einzelnen Cluster und den Gesamtdatensatz). Ausgewählt wird die Lösung, für die der Silhouettenkoeffizient maximal ist --> starke Struktur: 0,75 < S(o) ≤ 1 ; wobei o = Objekt --> mittlere Struktur: 0,5 < S(o) ≤ 0,75 --> schwache Struktur: 0,25 < S(o) ≤ 0,5 --> keine Struktur: 0 < S(o) ≤ 0,25 Für jedes Objekt wird ein Silhouettenkoeffizient berechnet.
- Erläutern Sie die Vor- und Nacheile Hierarchischer vs. Partitionierender Verfahren! Hierarchische Verfahren Vorteile: + Dendogramm, dadurch Fusionsprozess sehr gut nachvollziehbar + gut bei kleinen Stichproben + Anzahl der Gruppen und Zuordnung der Personen zu Gruppen nicht vorgegeben Nachteile: - Zuordnung von Personen zu Clustern ist nicht revidierbar Partitionierende Verfahren Vorteile: + Zuordnung von Personen zu Clustern ist revidierbar + Untersuchung von Stichprobe mit vorgegebener Gruppenzahl Nachteile: - Immer von Startpartition (=vorgegebene Clusteranzahl) abhängig
- Erläutern Sie die Vor- und Nachteile einzelner Clusterverfahren! Single-Linkage-Verfahren Vorteil: + Gut zur Untersuchung der Ähnlichkeitsstruktur und Ausreißern einer Stichprobe Nachteil: - Schlechter für die Untersuchung von Clustern durch Chaining Effekte (getrennte Gruppen werden schlecht aufgedeckt) Complete-Linkage-Verfahren Vorteil: + Sehr homogene Cluster Nachteile: - Sehr kleine Cluster - leicht Verzerrungen durch Ausreißer Ward-Verfahren Vorteil: + Bildet nicht zu große und nicht zu kleine Cluster Nachteile: - Anwendung nur bei Distanzmaß sinnvoll - tendiert dazu, gleich große Gruppen zu bilden K-Means-Verfahren Vorteil: + Zuordnung der Personen zu Clustern ist im Prozess revidierbar (Austausch) Nachteil: - Ergebnisse sind von der Startpartition abhängig
- Was versteht man unter einem Cluster? = eine Gruppe von Datenobjekten mit ähnlichen Eigenschaften. Verfahren zur Berechnung einer solchen Formulierung bezeichnet man als Clustering. Nicht zu einem Cluster gehörende Datenobjekte bezeichnet man als Ausreißer.