6
Data Mining (Subject) / Text Mining I (Lesson)
- Besonderheiten Text Mining/Natural Language Processing - Bestandteil des Data Mining - Fokus auf die Extraktion von Informationen aus Texten - NLP ist ein Prozess zur automatischen Analyse der menschlichen Sprache - Beim NLP wird ein Text mit Hilfe unterschiedlicher Verfahren verarbeitet und in einzelne Teile zerlegt - Verfahren beim NLP: Tokenisierung, Lemmatisierung/Stemming, Part-of-Speech Tagging
- Stimmungsanalysen (sentiment analysis) - Ziel: Stimmung innerhalb eines Textes identifizieren - Meinungen zu Produkten, zu Features von Produkten etc. - Unternehmen sind an einer systematischen Analyse von Texten bzgl. ihrer Produkte, vor allem aus sozialen Netzwerken interessiert
- Vorgehen Stimmungsanalyse 1. Datenerfassung -> Texte (zu bestimmten Themen) werden über Schnittstellen gemeinsam mit Meta-Daten eingelesen 2. Datenvorverarbeitung -> Umgang mit Fakedaten?-> Kategorisierung der Texte-> Missing Values-> Verfahren des NLP zur Extraktion strukturierter Daten aus Texten 3. Modellerstellung -> Verarbeitung der extrahierten Daten mit Hilfe von Date-Mining-Methoden -> Berechnung verschiedener Szenarien 4. Modellbewertung
- Tokenization - Text wird in Tokens zerlegt, bspw. Wörter oder Sätze - Wörter meist durch Leerzeichen getrennt, Sätze durch Punkte, Frage- oder Ausrufezeichen - Einsatz von Regeln und Ausnahmeregeln, um Tokenization zu verbessern
- Stoppwörter - Stoppwörter sind Wörter, die in Texten häufig vorkommen, aber den Informationsgehalt der Aussage nicht steigern - Stoppwörter sind bspw. Artikelm oder Konjunktionen - Zur Identifikation der am häufigsten verwendeten Wörter in einer Sprache können Wörterbücher herangezogen werden - Stoppwörter sollten in Abhängigkeit von der Problemstellung ausgewählt werden (so sind bspw. bei einer Stimmungsanalyse bestimmte Adjektive oder Negationen von großer Bedeutung, auch wenn sie häufig vorkommen)
- Stemming und Lemmatization - Ziel: Wörter auf ihren Wortstamm zurückführen, um Anzahl der Tokens zu reduzieren und Wörter mit ähnlicher oder gleicher Bedeutung zusammenzuführen - Beim Stemming wird nach bestimmten Regeln bspw. so lange Affixe entfernt, bis nur noch der Wortstamm übrig ist - auch abgewandelte Verben, bspw. im Partizip Perfekt werden in ihre Urform zurückverwandelt - Beim Lemmatization kommen neben Regeln auch Lexika zum Einsatz, um den Wortstamm zu identifizieren.
Advertisement