Daten- & Informationsintegration (Fach) / K2 - Verteilung, Autonomie & Heterogenität (Lektion)

Diese Lektion wurde von tr64x erstellt.

Lektion lernen

zurück  |  weiter 1 / 1

• Komplexitätsursachen der Datenintegration - Verteilung- Autonomie- Heterogenität ➔ Jede zu integrierende Datenquelle bzw. jedes zu integrierende AS besitzt spezifische, i.d.R. unterschiedliche Eigenschaften hinsichtlich dieser drei Dimensionen.➔ Dies ist die wesentliche Ursache der Komplexität der DI
• Datenintegration: Verteilung Ein Datenbestand kann auf mehrere „Orte“ aufgeteilt sein
• Datenintegration: Zwei Arten der Verteilung Physische Verteilung: Daten liegen auf physisch und damit meist auch räumlich getrennten SystemenLogische Verteilung: Inhaltlich identische Daten liegen in einem System an verschiedenen Stellen (Ausfallsicherheit / Verfügbarkeit - Auch wenn logische Verteilung oft mit physischer Verteilung einhergeht, so sind beide Verteilungsarten doch prinzipiell unabhängig voneinander: --> Daten können physisch verteilt sein auch wenn sie logisch nicht verteilt sind und umgekehrt ➔ Verteilung stellt heutzutage kein wirklich ernsthaftes Problem mehr da durch ausgereifte Technologien
• Horizontale & Vertikale Partitionierung (zu Arten der Verteilung) Horizontale Partitionierung („zeilenbasierte“ Verteilung): Verteilung vollständiger „Dateneinheiten“ / Datensätze. Beispiel Kunden-Datensätze: Die Datensätze europäischer Kunden werden vollständig (d.h. pro Datensatz alle seine Werte) in einer Tabelle gehalten, die Datensätze nordamerikanischer Kunden in einer anderen Tabelle usw. Vertikale Partitionierung („spaltenbasierte“ Verteilung): Verteilung durch (gleichartige) Aufteilung der einzelnen „Dateneinheiten“ / Datensätze. Beispiel Kunden-Datensätze: In einer Tabelle werden Kundennummer und sämtliche Adressdaten aller Kunden-Datensatzes gehalten, in einer anderen Tabelle die Kundennummer und alle übrigen Daten einesjeden Kunden Transparenter Zugriff: Zugreifender Anwender bzw. zugreifendes System muss konkrete Adresse des physischen Datenbestandes/Ortes (auf technischer Netzwerk- bzw. Protokollebene) nicht kennen, sondern kann mit logischer Adresse (typischerweise Web-URL) zugreifen (siehe vorher Grundbegriff IAIS)
• Datenintegration: Autonomie Jede Datenquelle kann unabhängig von anderen Quellen über die von ihr kontrollierten / verwalteten Daten, deren Strukturierung und Ablage, sowie Zugriffsmöglichkeiten auf ihre Daten entscheiden. ➔ Primär organisatorische bzw. soziale Problemstellung / Herausforderung
• Verschiedene Arten der Autonomie Designautonomie:- Datenquelle kann die Syntax und Semantik ihrer Daten frei festlegen Schnittstellenautonomie:- Datenquelle kann frei festlegen, mit welchen technischen Verfahren / Technologie auf die von ihr verwalteten Datenbestand zugegriffen werden kann Zugriffsautonomie:- Datenquelle kann frei festlegen, wer auf welche Daten ihres Datenbestandes zugreifen darf (--> Identity Management) Juristische Autonomie:- Freiheit einer Datenquelle die Integration ihrer Daten in ein IAIS juristisch zu verbieten, z.B. bei Verletzung von Urheberrechten
• Datenintegration: Heterogenität liegt vor wenn zwei AS nicht dieselben Methode, Modelle, Sprachen zur Strukturierung und Darstellung von und zum Zugriff auf die von ihnen verwalteten Daten anbieten oder syntaktisch identische Daten im durch das jeweilige AS gegebenen Kontext nicht dieselbe Semantik besitzen. ➔ Heterogenität ist das Hauptproblem der DI
• Zusammenhang der Dim. Verteilung, Autonomie einerseits und Heterogenität andererseits - Verteilung und Heterogenität sind prinzipiell unabhängig voneinander- Autonomie und Heterogenität sind prinzipiell unabhängig voneinander → Heterogenität besteht sowohl zwischen den Datenquellen als auch zwischen einer Datenquelle und einem IAIS
• Arten der Heterogenität und ihre Ebene - Technische Heterogenität (Strukturebene)o Überwunden, wenn die Systeme technisch miteinander kommunizieren können - Datenmodell – Heterogenität (Strukturebene)o Überwunden, wenn dieselben Datenmodelle nutzen oder diese zumindest gegenseitig verstehen - Strukturelle Heterogenität (Strukturebene)o Überwunden, wenn die Systeme dieselben Datenstrukturen nutzen oder diese zumindest gegenseitig verstehen - Semantische Heterogenität (Struktur- & Werteebene)o Überwunden, wenn die Systeme mit gleichen Daten, Datenstrukturen und Begriffen dasselbe meinen, d.h. dieselbe Bedeutung verbinden, oder diese zumindest gegenseitig verstehen - Syntaktische Heterogenität (Werteebene)o Überwunden, wenn die Systeme dieselbe Darstellung der Daten nutzen oder diese zumindest gegenseitig verstehen
• Unterscheidung (zu Arten der Heterogenität) - systeminterner Strukturierung, Darstellung und Bedeutung von Daten („interne Repräsentation“ von Daten) und - systemexterner Strukturierung, Darstellung und Bedeutung von Daten („externe Repräsentation“ von Daten) zu unterscheiden bzw. zu trennen. Diese können, müssen aber nicht identisch sein.Hinsichtlich der Datenintegration ist somit primär die externe Repräsentation im Fokus. Genauer: Die externe Repräsentation, die durch das Daten sendende System festgelegt wird. Bzgl. der obigen Arten von Heterogenität bedeutet dies, dass das empfangende System mit den technischen, strukturellen, syntaktischen und semantischen Eigenschaften der durch das sendende System übermittelten Daten umgehen können muss. (Dies kann natürlich analog auch „spiegelbildlich“ betrachtet werden, d.h. sendendes System stellt sich auf das empfangende System ein.)
• Anzeige
• Technische Heterogenität Zwei Systeme sind technisch heterogen, wenn sie sich hinsichtlich der von ihnen angebotenen bzw. unterstützten Möglichkeiten zum Datenzugriff unterscheiden
• Vier Gesichtspunkte der technischen Heterogenität - AnfragemöglichkeitenMittels Anfragesprache, parametrisierbare Funktionsaufrufe (API, Webservice) oder Web Formularen- Anfragesprachen – z.B.: SQL, XQuery➔ Diese zwei werden auch als Schnittstellen - Heterogenität bezeichnet- Datenaustauschformate - z.B.: Binärdaten, HTML, XML- Kommunikationsprotokolle: HTTP, JDBC
• Datenintegration: Datenmodell – Heterogenität liegt vor, wenn zwei Systeme zur Strukturierung ihrer Daten unterschiedliche Datenmodelle verwenden. Es ist zwischen der Struktur aus fachlich / logischer Sicht, der Struktur aus technischer Sicht und der Struktur zum Datenaustausch mit einem anderen System zu unterscheiden.
• Sprachelemente (Datenmodell – Heterogenität) Unterschiedliche Datenmodelle besitzen unterschiedliche Sprachelemente mit unterschiedlicher Ausdrucksstärke und Bedeutung z. B. ER-Modell, Bereichsspezifische Datenmodell (eher Shemata), proprietäre (z. B. CSV)  ➔ Semantisch schwächeres Modell kann relativ leicht in semantisch stärkeres Modell umgewandelt werden – Wie sieht es umgekehrt aus?➔ Gibt es bei der Modelltransformation nur eine Möglichkeit? Zum Umgang mit Datenmodell – Heterogenität werden Techniken eingesetzt, die auf Metamodellen basieren. Diese werden verwendet um:- Transformationen zwischen den Dantemodellen und damit- Transformationen / Konvertierungen zwischen den konkreten Schemata zu definieren
• Strukturelle Heterogenität liegt dann vor, wenn zwei Schemata verschieden sind, obwohl sie denselben Ausschnitt der realen Welt abbilden /modellieren. Siehe Beispiel: objektorientiert <- transformation -> relational <- transformation -> xml
• Wodurch entsteht strukturelle Heterogenität? Gründe? Durch die Tatsache, dass Quellsysteme hinsichtlich ihrer Entwurfsentscheidungen autonom sind (→ Designautonomie) Typische Gründe aus der Praxis:- Technische Rahmenbedingungen, die zur Wahl eines bestimmten Datenmodells führen- Optimierung eines Schemas für bestimmte Anfragen Wird dasselbe Datenmodell genutzt, so können dennoch unterschiedliche Sprachelemente / Bausteine des Modells verwendet werden, um denselben gegebenen Sachverhalt zu modellieren:➔ Sonderfall der strukturellen Heterogenität: Schematische Heterogenität
• Syntaktische Heterogenität liegt vor wenn derselbe Sachverhalt formal unterschiedlich dargestellt wird Beispiele für unterschiedliche formale Darstellungen:- Untersch. Zahlendarstellungen: Binär, dezimal- Untersch. Zeichendarstellung Syntaktische Heterogenität beschränkt sich rein auf den Aspekt der formalen Darstellung von Daten bzw. Information durch unterschiedliche Zeichen / Formate ➔ Mit syntaktischer Heterogenität im obigen Verständnis kann der DI relativ gut umgegangen werden durch Parsen und Transformieren von Zeichenketten
• Semantische Heterogenität Def.: „Semantische Heterogenität liegt vor, wenn dieselbe Zeichenkette unterschiedlich interpretiert wird“ - Daten in einem AS besitzen keine inhärente Bedeutung- Daten werden durch Interpretation eine Bedeutung zugeordnet. Sie werden dadurch zu Informationen - Beispiel 1998: Kann Produktionsjahr / Verkaufspreis sein Für Interpretation werden weitere Informationen genutzt, wie: Name eines Schemaelements; Die Einordnung des Schemaelements im Schema Semantik im Zusammenhang mit DI: Semantik von- Modellbestandteilen- Bestandteilen eines konkreten Schemas- Daten(werte)
• Ursache für semantische Heterogenität (semantische Konflikte)? Mit der Zeichenkette ist einerseits ein abstrahiertes Konzept in unserer Vorstellung verbunden, und zum anderen eine Menge von Objekten der realen Welt, die durch dieses Konzept beschrieben werden. Siehe Semantisches Dreieck: Zeichen, Extension, Intension
• Semantisches Dreieck Zeichen(kette): Name/Begriff für "Etwas", Bennenung, Bezeichnung Extension: Umfang eines Begriffs, Gesamtheit der Gegenstände, die unter diesem Begriff fallen (Bedeutungsbereich) Intension: Begriffsinhalt (Was ist mit "Etwas" gemeint? Bedeutung bzw. Inhalt...) ➔ Semantische Heterogenität liegt somit vor, wenn zwischen zwei ASen Begriff, Intension und Extension für denselben Sachverhalt (→ Etwas / Ding / Sache) nicht übereinstimmen.o Sie verwenden unterschiedliche Namen bei gleicher Extension / Intension odero Denselben Namen mit unterschiedlicher Extension / Intension
• Häufig semantische Konflikte Synonym: Verschiedene Bezeichnungen / Namen bei gleicher Intension und Extension- Bsp. Auf Strukturebene: Darsteller / Schauspieler- Bsp. Auf Datenebene: EUR und € Homonym: Gleiche Bezeichnung / Namen bei verschiedener Intension und Extension- Bsp auf Strukturebene: Schloss, Bank, Blatt- Bsp auf Werteebene: Müller, Golf ➔ Semantische Konflikte auf Werteebene werden meist als „Datenkonflikte“ bezeichnet.o Zwei „Datenobjekte“ repräsentieren der realen Welt dasselbe Objekt besitzen aber unterschiedliche Attributwerte für semantisch gleiche Attribute
• Was kann bei Auflösung semantischer Konflikte genutzt bzw. herangezogen werden? - Dokumentationen der Datenquellen, Informationen von Entwicklern oder Anwendern- Aber: Datenquellen sind meist autonom → Obige Informationen stehen nicht immer oder im benötigten Umfang bereit → Kein AS kann garantieren, dass z.B. die in einer Tabelle abgelegten Daten wirklich zur Extension des Tabellennamens passen
• Ansätze zum Umgang mit semantischer Heterogenität 1. Vergleiche von Zeichenketten / Mustererkennung / Ableitung von Zusammenhängen aus dem Vorliegen „ähnlicher“ Attributwerte 2. Explizite Berücksichtigung des Kontexts von Daten bzw. Namen beim Umgang mit semantischen Konflikten→ Um den Herausforderungen der semantischen Heterogenität bei der Integration wirksam zu begegnen, ist letztlich eine höhere Abstraktion nötig.

zurück  |  weiter 1 / 1