9

Computerlinguistik (Fach) / 4. Korpora (Lektion)

Diese Lektion wurde von kaisa erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• 1. Korpora – Korpustypen Textkorpora Sprachkorpora Multimodale Korpora Baumbanken
• Korpora Korpustypen- Textkorpora geschriebene oder transkribierte gesprochene Texte; Grundeinheit Token
• Korpora Korpustypen - Sprachkorpora Audioaufnahmen evtl. mit phonetischen und linguistischen Annotationen
• Korpora Korpustypen - Multimodale Korpora Sprachkorpora mit Annotationen von Prosodien, Mimik, Gestik u.a.
• Korpora Korpustypen - Baumbanken syntaktisch analysierte Sätze; Grundeinheit: Satz
• 2. Korpora - Eigenschaften Maschinenlesbare Textsammlung Ausgewogen und repräsentativ (?) (unterschiedliche ling. Theorien: tatsächliches Vorkommen vs. erdachtes Vorkommen von Sprachbeispielen) Metainformation / Annotation Begrenzte Größe Zusammensetzung: Textsorte / Domäne / Alter; homogen vs. heterogen; fest vs. wechselnd Das Web als Korpus?
• 3. Korpora - Beispiele British National Corpus -http://www.natcorp.ox.ac.uk/ Wortschatz (Uni Leipzig) - http://wortschatz.uni-leipzig.de/ Deutsches Referenzkorpus (IDS Mannheim) - http://www.ids-mannheim.de/kl/projekte/korpora/ Projekt Gutenberg - http://www.gutenberg.org Europarl Parallel Corpora - http://www.statmt.org/europarl/
• 4. Erstellung eines Korpus Struktur ( Eigenschaften von Zeichen wie Absatz, Unterteilungen, Überschrift)- und Metainformationen (Titel, Autor, Verlag, Auflage) erkennen Tokenisierung (Segmentierung des Textes): Aufspaltung des Textes Satzgrenzenerkennung: Disambiguierung von Satztrennzeichen (Prob.: Bindestriche, Abkürzungen Abk. oder Abk . Hinzufügen linguistischer Information (Annotation): Part of speech (POS) tagging – Lemmatisierer (Rückführung auf die Stammform) – Chunking ( NPs oder PPs bennen)– Parsing (vollständige Sätze) Umwandlung in definiertes Format (evtl. Verwendung von Standards wie Standards wie CES, TEI oder zumindest Dublin Core Metadata) (man ist auf der Suche nach einem "universellen" Format)
• 5. Abfrage eines Korpus Konkordanzsuche: KWIC-Format (key word in context) (suche nach "Bartsteuer") Musterbasierte Suche: Abfrage über reguläre Ausdrücke Statistische Analyse: Suche nach wiederholt auftretendenWortformen (Kookkurenzen, Kollokationen), Wortarten (Kolligationen), Wortclustern (wiederholte Folge vonLexemen)

zurück  |  weiter 1 / 1