Daten- & Informationsintegration (Subject) / K3 - Integrationsarchitekturen & -technologien (Lesson)

This lesson was created by tr64x.

Learn lesson

back  |  next 1 / 1

• Drei Aspekte der Integrationsszenarien 1 & 2 a) Die Grundlegende Infrastruktur zur DIb) Die Integrationsarchitekturc) Die eigentliche Handhabung von Heterogenität auf Struktur- und Werteebene
• Zusammenhang zwischen Integrationsinfrastruktur und Integrationsarchitekur Infrastruktur bildet die Grundlage um eine Systemarchitektur umzusetzen
• 2 Philosophien von Integrationsinfrastrukturen bzw. –Architekturen - Prozesszentrierter / prozessorientierter AnsatzFokus: Integration von ASen zur Implementierung eines systemübergreifenden Geschäftsprozesses„Mittel zum Zweck“ um einen Geschäftsprozess systemübergreifend zu realiseren➔ Entspricht Integrationsszenario 1 - Datenzentrierter / datenorientierter AnsatzFokus: Umgang mit Heterogenität auf Struktur und Werteebene, Aufbau eines logisch / physisch integrierten Datenbestands➔ Entspricht Integrationsszenario 2Infrastrukturen zur Daten- und Informationsintegration
• Kernaufgaben einer Infrastruktur zur DI - Ermittlung AS / Quellsystem- Übermittlung (Senden) von Anfragen an AS / Quellsystem- Entgegennahme (Empfang) einer vom AS / Quellsystem bereitgestellten Antwort ➔ Infrastruktur soll die Verbindung eines im Sinne der technischen Heterogenität beliebigen AS mit einem beliebigen anderen AS unterstützen ➔ Implementierung ist unabhängig von den ausgetauschten Daten, d.h. die Infrastruktur ist fach- / anwendungsneutral
• Prozessorientiert - Nachrichtenorientierte Infrastruktur: Grundlage für Realisierung der drei Kernaufgaben Einheitliche Kommunikationsprotokolle (z.B.: http)
• Weitere Ansätze für Infrastrukturen bzw. Architekturen zur DI - Prozessorientierte Ansätze:o Nachrichtenorientierte Infrastruktur (EAI)o Serviceorientierte Infrastruktur (SOA) - Datenorientierte Ansätze:o Klassisches monolithisches Datenbanksystemo Mediator / Wrapper-basierte Systeme
• Prozessorientierte Ansätze: Nachrichtenorientierte Infrastruktur Klassischer Ansatz zur Integration zwischen ASen:Punkt – zu – Punkt Verbindung bzw. Punkt – zu – Punkt – Integration
• Prozessorientiert - Nachrichtenorientierte Infrastruktur: Charakteristika Charakteristika:- Jedes AS ist mit jedem anderen AS über Schnittstellen verbunden- Asynchroner Nachrichtenaustausch zw. ASen über Schnittstellen
• Prozessorientiert - Nachrichtenorientierte Infrastruktur: Nachteile Nachteile:- Komplexität- Technische Heterogenität wird pro Verbindung gelöst- Redundante Implementierung von „Basisfunktionalitäten“, wie z.b. Aufbau XML – Nachricht
• Prozessorientiert - Nachrichtenorientierte Infrastruktur: Vermeidung der Nachteile Vermeidung der Nachteile durch Einführung einer Infrastruktur zum asynchronen Austausch von Nachrichten – genaugenommen eines spezialisierten Systems, dessen Aufgabe es ist:- ASe durch Auflösung der Punkt – zu – Punkt – Verbindungen zu entkoppeln- Integration zwischen diesen zu übernehmen und zu steuern➔ Dieses System übernimmt die Rolle eines Vermittlers (Broker) oder einer Drehscheibe (Hub) zwischen den vormals direkt verbundenen ASen. Siehe Message-Broker Abbildung
• Advertisement
• EAI-System Begriffe für dieses System:Message-Broker, Message-Hub, EAI-System - SW System zur Unterstützung der Prozessintegration über ASe hinweg- Fokus: Verknüpfung bzw. Ablaufunterstützung von Prozessen zur Laufzeit - Ein EAI System muss im Kontext der Prozessintegration auch Datenintegration betreiben, also Fähigkeit zum Umgang mit Datenheterogenität besitzen- Setzen die Prozessintegration auf technischer Ebene durch Austausch von Nachrichten umo Schwerpunkt Nachrichtenverteilungo Zentrale Komponente ist der Message Broker
• Prozessorientiert - Nachrichtenorientierte Infrastruktur: Zentrale Aufgabe eines Message Brokers a) Gewährleistung der Zustellung von Nachrichten auch in Fehlersituationenb) Transformation von Nachrichtenstrukturenc) Typ- oder inhaltsbasierte Weiterleitung von Nachrichten („contend-based routing)d) Unterstützung unterschiedlicher Kommunikationsprotokolle bzw. –technologien→ b) & d) = Überbrückung von Datenheterogenität und technischer Heterogenität Neben Nachrichtenaustausch und – transformation können Message Broker auch Prozesssteuerung bzw. Prozessorchestrierung bereitstellen
• Vorteil EAI- bzw. Middleware-System Stärkere Kapselung der beteiligten ASe - Sendendes ASe muss Datenstrukturen und Werte nicht kennen➔ Handhabung von Datenheterogenität zwischen denverbundenen ASe erfolgt durch den EAI Server
• Prozessorientierte Ansätze: Serviceorientierte Infrastruktur (SOI) Ziel: Prozessintegration und nicht primär die Datenintegration →Ansatz: Verschalung der Implementierung hinter einer „Service – Fassade“ die auf einheitlicher, standardisierter Technologie aufbaut (siehe Bild von oben) Grundlegende Begriffe:- Service: Wiederverwendbare Geschäftsfunktionalität, die über ein Interface von anderen Services ermittelt und aufgerufen werden kann- Zentral für die Nutzung eines Services ist die Beschreibung eines Interfaces mit den zugehörigen Operationen. Diese werden in einem Repository festgehalten. Eine Registry ist ein Verzeichnis aller verfügbaren Services und wird zur Laufzeit zur Service- Findung genutzt. - Typischerweise Nutzung von Web Services, basierend auf standardisierten Technologien, wie:o SOAP: Protokoll zur Nachrichtenübertragungo WSDL: Web Service Description Languageo XML
• Prozessorientiert - SOI: Vor- & Nachteile Vermittlungsschicht / „Integrationsinfrastruktur“ im Kontext SOA Enterprise Service Bus (ESB), Service Backbone Vorteil: Nutzung von in Unternehmen heutzutage bereits vorhandenen / etablierten Standards und Technologien Nachteil: Zustandslosigkeit von Web Services, Aufwände durch Wandlung AS-interner Datenstrukturen in XML Nachrichten und umgekehrt →Handhabung von Datenheterogenität zwischen den verbundenen ASen?➔ Erfolgt in diesem Fall durch AS bzw. ESB
• Prozessorientiert: Objektorientierte Infrastruktur ➔ Handhabung von Datenheterogenität zwischen den verbundenen ASe in objektorientierten Infrastrukturen erfolgt durch objektorientierte Middleware bzw. durch / in Java Entitiy Beans (Anwendungsserver)
• Datenzentrierte Ansätze: Klassische DBs Datenzentrierte Ansätze:- Stellen den Aufbau eines integrierten Datenbestandes in den Vordergrund- Fokussieren meist auf die Architektur eines integrierenden bzw. integrierten AS, nicht auf eine Infrastruktur Prominentester Ansatz:Klassisches monolithisches DBS
• Datenzentriert - Klassische DBs: Charakteristik - Mehrere AS greifen auf gemeinsame Datenbank zu- ASe selbst halten lokal keine Daten➔ Zentralisierte Datenhaltung (logisch / physisch)„Integration über die Datenbank“
• Datenzentrierte Ansätze: Materialisierte und virtuelle DI Materialisierte DI:- Alle zu integrierende Daten werden in das IAIS überführt. Die Anfragebearbeitung kann somit alleine auf dem Datenbestand des IAIS erfolgen, ohne Rückgriff auf die Quellen- Anfragebearbeitung erfolgt wie im klassischen DBMS- Erfordert kontinuierliche Überführung neuer / geänderter Daten aus den Quellen, meist asynchron per Push – Verfahren Virtuelle DI:- Nur die nötigen Daten werden an das IAIS übertragen und nach Erstellung der Antwort wieder gelöscht. Bei jeder Anfrage wird auf die Quellen zugegriffen- Datenüberführung wird ausgelöst durch Anfrage, somit synchrones Pull – Verfahren
• Datenzentriert: Grundprinzipien / Charakteristika von Materialisierte & Virtuelle DI Materialisiert („Push“)- Daten werden extrahiert, transformiert und lokal im IAIS redundant gespeichert- Anfragen werden direkt und allein anhand der materialisierten Daten durch des IAIS beantwortet Virtuell („Pull“)- Anfragen an IAIS werden in lokale Teilanfragen übersetzt- Daten werden nur bei Bedarf aufgrund Anfragen in das IAIS übertragen und dort nur temporär gespeichert- Aufbereitung der Ergebnis Daten durch IAIS zeitaufwändig →Sowohl im Fall von materieller DI, als auch von virtueller DI:Aus Sicht des Nutzers bzw. AS, welches eine Anfrage stellt, vermittelt das IAIS den Eindruck eines homogenen Datenbestandes.
• Datenzentriert - Verteilte Datenbanksysteme: Charakterisitk Verteiltes DBS (bzw. verteilte Datenbanken) Charakteristisch:- Verteilung der Daten ist gewollt und ist zentral koordiniert
• Datenzentriert - Verteilte Datenbanksysteme: Gründe für Verteilung Lastverteilung, Ausfallsicherheit, Schutz vor Datenverlust
• Datenzentriert - Verteilte Datenbanksysteme: Varianten verteilter relationaler DBen Homogene verteilte DB:- Basiert auf DBMS eines einzigen Herstellers, physisch verteilte, miteinander kommunizierende Server – Instanzen, jeweils mit lokaler DB- Typisch für moderne relationale DBSe Heterogene verteilte DB:- Basiert auf DBMS eines Herstellers, über systemspezifische sogenannte Gateways kann auf DBen in DBSen anderer Hersteller zugegriffen werden- Gateway: Schnittstelle, um von DBMS eines Herstellers X auf DBMS eines Herstellers Y zuzugreifen. Gateway stellt Übersetzungsfunktionalität bereit Generisch heterogene verteilte DB:- Analog heterogen, jedoch keine systemspezifischen Gateways- Gibt es keine DBMS – spezifischen Gateways werden meist Gateways wie ODBC / JDBC genutzt Nicht – relationale verteilte DB:- DBMS greift über „Wrapper“ auf Datenbestände zu
• Datenzentriert: Multi – Datenbanksysteme - Sammlung autonomer DBSe, die lose miteinander gekoppelt sindo Lose: DBen behalten volle Designautonomie - Typisch: Es gibt kein globales konzeptionelles Schema, Stattdessen pro lokaler DB ein lokales Exportschema, welches den für externe Anwendungen sichtbaren Teil des lokalen konzeptionellen Schema festlegt - Jede Anwendung kann eigenes externes Schema definieren → Integration auf Anfrageebene, auf die Anwendung verlagert - Zugriffsmöglichkeit für Anwendungen über eine vom MDBS angebotene Multidatenbanksprache, dieo Es ermöglicht in einer Anfrage mehrere DBen anzusprecheno Physische und logische Verteilung der Daten berücksichtigto Umgang mit Heterogenität auf Schemaebene berücksichtigt - Beispiele für solche Sprachen: SchemaSQL, MSQL
• Datenzentriert: Föderierte Datenbanksysteme Föderiertes Datenbanksystem (FDBS)- Aufbau eines globalen Schemas als Bezugspunkt für alle Anwendungen➔ Integration auf Schemaebene, nicht durch Anfrageebene - Globales Schema wird i.d.R nach den lokalen Schemata aufgebaut mit dem Zweck, eine integrierte Sicht auf bereits bestehende, heterogene Datenbestände zu bereitzustellen und Autonomie der Datenquellen bereitzuhalten
• Datenzentriert - Föderierte Datenbanksysteme: 5-Schichten Architektur als Referenzarchitektur Externes Schema <-> Globales konzeptionelles (förderiertes) Schema <-> Lokales Exportschema <-> Komponentenschema <-> konzeptionelles Schema <-> internes Schema
• Datenzentriert - FDBS - Bottom–up: Vorgehensweise bei Aufbau globalen Schemas Bottom–up Vorgehensweise: - Ausgangsschema der lokalen Datenbestände gegeben, feste bzw. relativ stabile Menge an Quellen- Entwickle basierend auf diesen das integrierte Schema → Schemaintegration
• Datenzentriert - FDBS - Top–Down–up: Vorgehensweise bei Aufbau globalen Schemas - Integration einer sich ändernden Menge von Quellen- Erstelle als „Vorgabe“ ein globales Schema und ordne die lokalen Schemata dem globalen Schema durch Schema – Mapping zu
• Datenzentriert: Mediator- / Wrapperbasierte Systeme Mediator = Vermittler ; Wrapper = Aufbau einer Fassade
• Datenzentriert: Wrapper - SW Komponente, die Zugriff auf eine konkrete Quelle ermöglicht- Versteckt quellspezifische Heterogenität auf technischer Ebene- Zugeschnitten auf eine konkrete Quelle- Wrapperschema ist Grundlage für Mediator
• Advertisement
• Datenzentriert: Typische Aufgaben eines Wrappers - …die Überbrückung von Schnittstellen-Heterogenität (z.B. SQL-Anfrage vs. HTML-/Webformular)- …die Verschalung des lokalen Quell-Datenmodells (Erinnerung: Modellierungssprache!)- …den Umgang mit struktureller Heterogenität durch Überführung der offengelegten Teile (=Exportschema)des lokalen Quell-Schemas in das globale (Mediator-) Schema- …Unterstützung der globalen Anfrageoptimierung durch Bereitstellung von Daten zu den Anfragefähigkeiten
• Datenzentriert: Mediator - SW Komponente, die Wissen über bestimmte Daten benutzt, um Informationen für höherwertige Anwendungen zu erzeugen- Greift auf einen oder mehrere Wrapper zu, nutzt Wrapperschema, erzeugt einen Mehrwert durch quellübergreifende strukturelle und semantische Integration- Stellt Mediatorschema Anwendungen zur Verfügung
• Datenzentriert: Aufgaben eines Mediators - Ermittlung /Auswahl relevanter Datenquellen- Bereitstellung Metadaten für Daten-/Anfrageverarbeitung- Datenintegration durch Schlüsselwert-Zuordnung- Ordnung der Anfrageergebnisse
• Datenzentriert: Forderungen an Wrapper und Mediator Wrapper sollen einfach sein, Forderungen hierfür:- Schnelle Implementierbarkeit- Erweiterbarkeit- Wiederverwendbarkeit bei ähnlichen Datenquellen- Wartbarkeit Mediator soll ebenfalls einfach sein:- Architektur soll klein und einfach sein- Durch wenige Experten entwickelt, somit einfaches Mediatorschema- Abdeckung einer überschaubaren Fachdomäne, Angebot einfacher Schnittstellen für Anwendungen
• Datenzentriert: Erweiterte / verallg. Mediator – Wrapper – Architektur Erhöhung der Flexibilität durch:- Schichtung von Mediatoren- Wrapper für mehrere Quellen- Anwendungszugriff auf Wrapper
• Datenzentriert: Mediator -/ Wrapper Ansatz Grundprinzip 1:Klare Trennung der anwendungs-, domänen- und quellspezifischen Funktionalität; dabei nutzen Anwendungen die von Mediatoren angebotenen Integrationsdienste Grundprinzip 2:Architektur aus Wrapper und Mediator als Bausteinen→Idee eines Baukastens zur flexiblen Datenintegration

back  |  next 1 / 1