12
Data Mining (Subject) / Text Mining II (Lesson)
Advertisement
- Trainings- und Testdaten - Machine Learning-Verfahren können mit Hilfe von Hyper-Parametern so eingestellt werden, dass die Gefahr einer Überanpassung besteht - Somit können zufällige Störungen in den Daten mit angepasst werden - In Abhängigkeit von der Anzahl der zur Verfügung stehenden Datensätzen sollten die Hyperparameter so gewählt werden, dass die Gefahr der Überanpassung reduziert wird - Das mit den Trainingsdaten Erlernte sollte mit Hilfe von Testdaten überprüft werden. Somit soll geprüft werden, wie das Modell mit unbekannten Testdaten umgeht
- Merkmalsextraktion - Machine-Learning-Verfahren, wie bspw. neuronale Netze oder Random Forest erhalten keine rohen Texte als Inputwerte - Texte werden in Merkmalsvektoren umgewandelt - Bag-of-Words (BOW) ist ein Ansatz zur Erzeugung von Merkmalvektoren -> Aufbau des Vokabulars (Erstellung eines Vokabulars, das alle in den Texten vorkommenden Tokens enthält und in alphabetischer Reihenfolge sortiert ist) -> Kodierung (Für jeden Text wird ein Merkmalvektor erstellt, der die Anzahl der Vorkommen jedes einzelnen Tokens im jeweiligen Text enthält) -> Ergebnis (Dokument-Term-Matrix (DTM), die für jeden Text die Anzahl der Wörte aus dem Vokabular angibt)
- DTM und TF-IDF - Die DTM liefert absolute Werte für das Vorkommen einzelner Wörter und ist in der Regel dünn besetzt - Das TF-IDF-Maß (term frequency-inverse document frequency) bezieht die Anzahl eines Wortes in einem Text, die Anzahl der Texte, in der das Wort vorkommt und die Gesamtanzahl des Wortes in allen Texten mit ein - Das TF-IDF-Maß kann für alle Wörter und alle Texte berechnet werden
- Word2Vec - Ein Text wird in eine Matrix überführt - Zeilen stehen für das jeweilige Wort in dem Text - Spalten geben die einzelnen Wörter des Textes an (bei Wortwiederholungen werden entsprechend weniger Spalten erzeugt)
- Word Embedding - Ziel: Reduzierung des Umfangs des Vokabulars -> Wordvektoren und somit auch die Anzahl der Spalten der Matrix sollen reduziert werden, ohne dass die Bedeutung des Textes verloren geht - Unterscheidung zwischen Context und Target (es soll erkannt werden, dass Computer und Taschenrechner ähnlicher sind als Computer und Bananen) -> Target = ein Wort des Textes-> Context = Wörter, die um das Wort herum stehen - Neuronales Netz bestimmt Context-Wort aus dem Target-Wort
- Modell für Stimmungsanalysen - Lexikonbasierter Ansatz: -> Manuelle Erstellung eines Lexikons (sehr aufwändig, aber gute Abbildung der Problemdomäne)-> Lexikon aus Wörterbuch (gängige Praxis, aber ungeeignet für spezielle Anwendungsgebiete)->Lexikon auf Basis der Texte (Erstellung eines Lexikons für spezielle Probleme, auch Wortgruppen werden berücksichtigt, schlecht auf andere Problemstellungen übertragbar) => Wörterbücher können die emotionale Bedeutung von Wörtern nicht auffassen, aber es gibt ein Lexikon, dass Wörter nach bestimmten Wörtern bewertet (ANEW)
- Affective Norms for Englisch Words (ANEW) Lexika zur Bewertung von Wörtern. Kriterien (für die Attribute werden Zahlen zwischen 1 und 9 vergeben): - Valence: Einordnung der Bedeutung. Je kleiner der Wert ist, desto negativer wird die Bedeutung des Begriffs verwendet. - Arousal: Die Intensität des Begriffs, bezogen auf die Stimmung/Emotion - Dominance: Stärke der Bedeutung für den Inhalt des Textes
- Ansätze für maschinelles Lernen von Stimmungen - Naive Bayes: Berechnung der Wahrscheinlichkeit der Zugehörigkeit eines Textes zu einer Klasse in Abhängigkeit der Merkmale. Unterstellung: Merkmale sind unabhängig voneinander. - Log. Regression: Berechnung der Wahrscheinlichkeit mit Hilfe einer linearen Gleichung -> Merkmale werden linear verknüpft - Support Vector Machines - Random Forest
- Topic Modeling -> Überwachtes Clustern von Texten zu Themen -> Texte beinhalten verschiedene verborgene Themen, die unterschiedlich stark gewichtet sind -> Für jedes Thema wird zu einem Text eine Wahrscheinlichkeit berechnet -> Ähnliche Themen enthalten ähnliche Wortgruppen und werden daher in einem Cluster zusammengefasst
- Latent Dirichlet Allocation -> Bestimmung von x Topics in y Dokumenten -> In den Dokumenten gibt es verborgene Themen, deren Wahrscheinlichkeiten berechnet werden -> als Wahrscheinlichkeitsverteilung wird die Dirichlet-Verteilung genutzt, somit wird die Anzahl der Topics je Dokument und der Wörter je Topic reduziert
- Advertisement
- Confusion-Matrix - Einsatz bei Bewertung einer Klassifikation - Berechnung der Genauigkeit: richtig klassifizierte/(richtig+falsch klassifizierte) - 9 Felder Matrix, siehe Folie 11, Veranstaltung 4 - x-Achse = vorhergesagt - y-Achse = realisiert - Stimmung entweder positiv, neutral oder negativ => 3 Felder mit "Richtig klassifiziert" (positiv vorhergesagt und positiv realisiert etc.) => 6 Felder mit "Falsch klassifiziert" (positiv vorhergesagt und neutral realisiert etc.)
- Bewertungen für Klassifikationen (binärer Fall) - Binärer Fall = 4 Felder Matrix: True Positive (TP), False Positive (FP), True Negative (TN), False Negative (FN) - Sensitivity = True Positive Rate = TP/P (True Positive/Positive; Anzahl der richtig klassifizierten positiven Fälle/Anzahl der insgesamt positiv klassifizierten Fälle) - False-Positive-Rate = FP/N - Specificity = True Negative Rate = TN/N - Precision = TP/(TP+FP) - F1-Score = 2 * (Precision*Sensitivity)/(Precision+Sensitivity)