Integrace dat
MI-DSP – 2013/14 RNDr. Ondřej Zýka,
[email protected]
Požadavky o Očekává se, že integrace nebude jenom spojením systémů, ale že přinese i přidanou hodnotu. o Změny se provádějí pouze na jednom místě. o Minimalizace ruční práce a přepisování (Cut/past). o Nejenom integrace dat, ale podpora pracovních postupů. o Transformace mezi různými formáty.
Požadavky na integrační technologie o o o o o o o o o
Stabilita Udržovatelnost Modifikovatelnost Správa a dohled Škálovatelnost Způsob vývoje Úplnost Otevřenost Podpora
Stabilita o Změna systému (upgrade, náhrada) – nemá vliv na integrační prostředí – změna zasáhne pouze malou část prostředí
o Zatížení jedné části neovlivní dostupnost a rychlost ostatních propojení
Udržovatelnost, modifikovatelnost Systém je modulární Úprava komponent neovlivní provoz ostatních částí systému Je podporováno verzování Je podporován provoz ve více prostředích (vývojové, testovací, akceptační, provozní) o Je podporována dokumentovatelnost implementace o o o o
Správa a dohled o Existují nástroje na dohled systému – – – – –
monitor stavu systému řízení systému a jeho komponent sledování procesů v systému sledování dat v systému možnost ručního zásahu do procesů a dat
o Uživatelské rozhraní – Vlastní GUI – Přizpůsobitelné podle uživatelů a rolí – Interface na standardní rozhraní (SNMP – Simple Network Management Protocol, logger, EventLog, dohledové systém,…)
Škálovatelnost o Dostatečná propustnost o Více možností jak zvyšovat výkonnost – klastrové řešení – podpora více úrovní hardware – možnost dělení systému (geografické, funkční, doménové, …)
o Granularita nastavení bezpečnosti
Způsob vývoje o Vývojové nástroje – Snadnost nasazení – Podpora týmové práce – Verzování
o Podpora pro analýzu – UML - Unified Modeling Language – Designery třetích stran
o Programovací jazyk – Java, C#, VB, C/C++ – „klikací“ – XML
Úplnost o Typy integrace – Data integration Replikace ETL
– Event integration Messagind systems
– Service integration Webové služby
o Transformace – Mezi jednotlivými typy integrace – Mezi formátem a strukturou předávaných dat
o Počet a typy konektorů
Konektory JAVA CAPS
BizTalk Server
SAP ALE SAP BAPI Oracle Applications Siebel EAI PeopleSoft Oracle SQL Server DB2 Universal Database JDBC/ODBC Adapter DB2 Connect Sybase VSAM Informix Lotus Notes/Domino Sun Java System Application Server WebSphere MQ WebLogic Adapter for CICS Adapter for IMS File Adapter Toolkit eWays Development Kit eGate API Kit
WebSphere MQ MSMQ/MSMQT WSE 2.0, HTTP, SMTP, Base EDI, EDIFACT File, FTP, SOAP, POP3 SQL Server 2000 and 2005 SAP SAP R/3 4.X and R/3 6.20 (Enterprise) PeopleSoft Enterprise® 8.17.02, 8.43, and 8.45 J.D. Edwards OneWorld® B7.3.3.3 J.D. Edwards EnterpriseOne® 8.1 Oracle® Database Oracle Siebel® eBusiness Applications Siebel TIBCO® Rendezvous® TIBCO® Enterprise Message Service™ Enterprise Message Service Host Applications IBM mainframe zSeries DB2 Database File systems on IBM mainframe Windows SharePoint Services
Otevřenost o Standardy – – – – – – –
SOA XML SOAP WSDL UDDI BPEL BPMN
o Konfigurovatelnost – API – Administrace – Ovládání jádra
Integrační přístupy Asynchronní
Synchronní
o V jednom okamžiku mají různé systémy různá data o Technologicky jednodušší o Nižší požadavky na průchodnost systému o Messaging
o Zaručuje konzistentní stav ve všech systémech pro všechny uživatele o Výpadek jednoho systému ovlivňuje všechny ostatní o Dvojfázový commit
Integrační přístupy Long-live operation
o V rámci transakcí se vyžaduje interakce uživatelů, například schvalování o V řádu hodin a dnů o Businnes workflow aplication
Short-live operation
o Transakce probíhají tak rychle jak prostředí dovolí o Synchronní i asynchronní transakce o Většinou v řádu sekund o Messaging, ETL
Integrační přístupy Federation
o Systém umožňuje (vynucuje) aby požadavky vznikaly jeho prostřednictvím a rozprostírá je do jednotlivých systémů. o MDM aplikace
Mediation
o Reaguje se na změny v jednotlivých systémech a ty se předávají ostatním systémům o Messaging o Replikace
Integrační přístupy
Point-to-point
Hub and spoke model
Systém A
Systém A
Systém B
Systém B
Systém E
Hub systém
Systém D
Systém C
Integrační přístupy Sender – Receiver (Queue)
Publisher – Subscriber (Topic)
Subsriber A
Sender
Receiver
Publisher Subscriber B
Integrační přístupy
Použití centrálního registru
Nekoordinovaně budované propojení
Systém A Systém A
Systém B
Systém C
Systém B
Systém C
Systém D
Register - Metadata
Úroveň metadat Úroveň technologií
Systém D
Identifikace změny o Indikace změn – Timestamp – Fronta událostí Technologicky (triggery) Aplikačně
o Indikace rozsahu změn – Objekt/záznam – Položka/atribut, sloupec
o Data – Identifikace změny – Nová data – Nová i původní data
Insert
Nový záznam
Neúplný záznam Nekonzistentní záznam Duplicitní záznam Odmítnutí Dočasný zápis Validační proces
Update
Změna záznamu
Porušení konzistence Rozpoznání nezměněné položky Vytvoření duplicity, neúplného záznamu
Delete
Zrušení záznamu
Více typů zrušení záznamu neaktivní dokončený zrušený fyzický delete
Logické zrušení (více typů) Fyzické zrušení Rozsah zrušení Vznik nekonzistencí
Integrační přístupy
o Který systém má pravdu o Proč má pravdu
o Jaké jiné hodnoty jsou/byly v některém systému zadány o Kdy a jak se měnily hodnoty, kdo je měnil (který systém)
Integrační paterny o o o o
Integrace na základě času Použití datové kvality Null hodnoty a jejich význam Opravy a jejich dopad
Příklad použití datové kvality Complete user profile Scheduled time time Scheduled Sep 21 2004 9:05PM Sep 21 2004 9:05PM
DQ 8
DQReal time Real time 2004 8:59PM 8Sep 21 Sep 21 2004 8:58PM
DQ 6
Scheduled DQ DQ Scheduled aircraft type type aircraft 9M84 M84
7
DQReal aircraft Real aircraft type type 7M83 M83
DQ
DQ
5
5
Account information history SRC
Scheduled time
DQ
SC
Sep 21 2004 9:05PM
FO
Real time
DQ
Scheduled aircraft type
DQ
30
99
M83
30
99
Sep 21 2004 9:05PM
20
99
M83
15
99
MD
Sep 21 2004 9:05PM
10
99
M84
7
99
AG
Sep 21 2004 9:05PM
8
Sep 21 2004 9:00PM
20
99
RL
99
Sep 21 2004 9:00PM
12
99
SI
99
Sep 21 2004 8:58PM
9
99
M83
5
MR
99
Sep 21 2004 8:59PM
6
99
M83
6
Zrušení informace v primárním systému
Real aircraft type
M83
DQ
20 99
Použití Null hodnot Definice Zdroj
Kvalita dat
Null hodnota
Datawarehouse
70
Ne
Systém
90
Ne
Druhý systém
80
Ano
Příchozí data Zdroj
Jméno
Datawarehouse
Pavel
Systém
Jirka
Druhý systém
Tomáš
Výsledek
?
Použití Null hodnot Definice Zdroj
Kvalita dat
Null hodnota
Datawarehouse
70
Ne
Systém
90
Ne
Druhý systém
80
Ano
Příchozí data Zdroj
Jméno
Datawarehouse
Pavel
Systém
Jirka
Druhý systém
Tomáš
Výsledek
Jirka
Použití Null hodnot Definice Zdroj
Kvalita dat
Null hodnota
Datawarehouse
70
Ne
Systém
90
Ne
Druhý systém
80
Ano
Příchozí data Zdroj
Jméno
Datawarehouse
Pavel Tomáš
Systém
Druhý systém
Výsledek
Tomáš
Použití Null hodnot Definice Zdroj
Kvalita dat
Null hodnota
Datawarehouse
70
Ne
Systém
90
Ne
Druhý systém
80
Ano
Příchozí data Zdroj
Jméno
Datawarehouse
Pavel
Systém Druhý systém
Výsledek
Master Data Management o Správa klientů – PARTY – Role a vazby (Hausholding, ekonomicky spjaté subjekty, externí informace, scoring, …)
o Správa produktů – Dodavatelé, Obchodní proces, Design, Marketing, Nacenění, Partneři, Interní systémy, Náklady, Reporting, Konsolidace produktů
o Správa centrálních číselníků – Historizace, plánování, různé verze pravdy, propagace do systémů
o o o o
Master Reference Data Master Systém of Records Master Registry Synchronizace
Master Reference Data Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace,…
Zdroj A
Zdroj B
Zdroj C
Data Exceptions Warehouse
Správa výjimek
Master System of Record Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace,…
Zdroj A
Zdroj B
Zdroj C
Master Databáze
Správa výjimek
Nové aplikace
Master Registry Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace,…
Zdroj A
Zdroj B
Registr
vazeb
Zdroj C Správa výjimek
Nové aplikace
Synchronization
Zdroj A
Datová integrace Automatické dávkové nebo realtime zpracování. Čištění, integrace, Standardizace,…
Zdroj B
Správa výjimek
Zdroj C
Integrace o Integrací vzniká nová kvalita. o Nutno uvažovat – – – –
s požadavky na dozor s nutností komunikace se správci jednotlivých systémů údržbu systému vytvoření adekvátní organizační struktury
o Zásah do libovolného systému je zásah se může projevit jako závažný problém v ostatních systémech.
Integrace Testování o Testování je složité až nemožné o Míchání různých testovacích prostředí o Zapojení testerů všech systémů do testování Etapa nasazení o Nemožnost paralelního běhu o Připravenost na výskyt neočekávaných stavů – nepředpokládané interakce – smyčky v přenosu – vzájemné ovlivňování systémů – změna chování uživatelů
Rizika integračních projektů o Bezpečnost – – – – – – – –
ztráta informací neautorizované modifikace právní odpovědnost pravdivost informací původ informací krádež služeb ztráta důvěry zákazníků příležitost pro fraud
Co si zapamatovat o o o o o o o o o o o o o
Jaké jsou nejdůležitější požadavky na integrační technologie Jaký je rozdíl mezi synchronním a asynchronním předáváním dat Jaký je rozdílel mezi Federativním a Mediativním přístupem k integraci dat Jaký je rozdíl mezi Point-to-point a Hub-and-spoke integračním modelem Jaký je rozdíl mezi Send-Reciever a Publisher-Subsciber integračním modelem Jaké techniky se používají při indikaci dat, které je nutno přenášet v rámci integrace Jaké jsou hlavní problémy při vzniku nového záznamu v integračním systému Jaké jsou hlavní problémy při změně záznamu v integračním systému Jaké jsou hlavní problémy při zrušení záznamu v integračním systému Jak se používá datová kvalita při integraci dat z více systémů Co to je Master Data Management (MDM) Jaké architektury MDM se používají Jaká jsou hlavní rizika integračních projektů
www.profinit.eu
Diskuse