一、什么是EAI?

企業(yè)的業(yè)務(wù)流程會同時涉及到多個應(yīng)用系統(tǒng)，因此要求這些系統(tǒng)能夠協(xié)同，但接口、架構(gòu)的不統(tǒng)一往往使得這些本應(yīng)緊密集成的應(yīng)用系統(tǒng)成為了一個個“信息孤島”。于是，企業(yè)應(yīng)用集成（Enterprise Application Integration，EAI）技術(shù)應(yīng)運而生，它可以通過中間件作為粘合劑來連接企業(yè)內(nèi)外各種業(yè)務(wù)相關(guān)的異構(gòu)系統(tǒng)、應(yīng)用以及數(shù)據(jù)源，從而滿足E-Commerce、ERP、CRM、SCM、OA、數(shù)據(jù)庫、數(shù)據(jù)倉庫等重要系統(tǒng)之間無縫共享和交換數(shù)據(jù)的需要。EAI 涉及技術(shù)廣泛，實施復(fù)雜。

基本特征

EAI 的核心是使用中間件連接企業(yè)應(yīng)用。有多種不同類型的中間件可以提供 EAI 的功能。在選擇 EAI 中間件時需注意以下的基本特征：

◆通過中間件將不同的應(yīng)用連接起來，保證應(yīng)用的獨立性，在不需要修改應(yīng)用自身的業(yè)務(wù)邏輯的同時，又解決了數(shù)據(jù)共享問題。

◆對核心共享業(yè)務(wù)數(shù)據(jù)模型的處理與支持。

◆實現(xiàn)業(yè)務(wù)流程自動化。確保各個部門在采用不同的系統(tǒng)的同時可以協(xié)同完成同一個工作。

◆支持應(yīng)用架構(gòu)的不斷變更。可以方便地重新配制以增加或去除系統(tǒng)而不會影響其它系統(tǒng)。

◆能夠提供實時接口和批處理接口，能夠提供同步和異步接口。

◆必須保證數(shù)據(jù)的安全，只有目的應(yīng)用可以讀取。

◆良好的性能和數(shù)據(jù)吞吐量，并且具有靈活的可擴展性以適應(yīng)企業(yè)的發(fā)展。

◆必須具備恢復(fù)機制，當(dāng)數(shù)據(jù)傳輸過程中發(fā)生連接中斷等異常時可以確保數(shù)據(jù)的恢復(fù)。

◆對流程管理提供預(yù)定義的通用模型與行業(yè)模型。

◆既能夠提供實時接口和批處理接口，又能夠提供同步和異步接口。

◆能夠提供實時接口和批處理接口，能夠提供同步和異步接口。

五大層面

一個完整的 EAI 解決方案應(yīng)當(dāng)包含以下五個層面：

◆用戶交互：實現(xiàn)應(yīng)用用戶界面統(tǒng)一的接入與安全機制，利用門戶技術(shù)進行構(gòu)建。

◆應(yīng)用連接：通過 HUB 或總線架構(gòu)，實現(xiàn)應(yīng)用與應(yīng)用之間的連接，完成相關(guān)的數(shù)據(jù)路由與數(shù)據(jù)格式轉(zhuǎn)換。

◆業(yè)務(wù)流程整合：實現(xiàn)業(yè)務(wù)流程管理，包括工作流管理和自動化流程兩個方面。

◆構(gòu)建整合：這個層面包含兩個部分，一部分是構(gòu)建與現(xiàn)有應(yīng)用兼容的新應(yīng)用，另一部分是對現(xiàn)有資源進行重用以適應(yīng)新環(huán)境的需要。

◆信息集成：實現(xiàn)數(shù)據(jù)集成，在異構(gòu)的數(shù)據(jù)源之間實現(xiàn)數(shù)據(jù)層的直接整合。

相關(guān)技術(shù)

EAI 解決方案通常涉及到 JCA、JMS、Web 服務(wù)以及 XML 等多種企業(yè)級技術(shù)。這些技術(shù)都已經(jīng)成為業(yè)界的標(biāo)準(zhǔn)，從而可以***化地保護客戶投資。這些技術(shù)既可以被包含在相關(guān)產(chǎn)品中供用戶透明地使用，也可以由用戶自己在應(yīng)用程序中加以調(diào)用。此外，SOA（面向服務(wù)的架構(gòu)）隨著各大廠商的追捧而變得炙手可熱。雖然 SOA 本身不是一個全新的概念， 但由于 Web 服務(wù)以及網(wǎng)格計算等技術(shù)的成熟，SOA 具備了更好的發(fā)展條件。對于 EAI 來說，基于 SOA 的企業(yè)應(yīng)用系統(tǒng)可以隨著企業(yè)業(yè)務(wù)的變化而逐漸變化，能夠?qū)崿F(xiàn)“柔性化”的軟件系統(tǒng)，從而降低實施EAI 的成本和風(fēng)險，因此我們可以說 SOA 的興起給了 EAI 廠商一個新的機會。

#p#

二、什么是ETL?

ETL即數(shù)據(jù)抽取（Extract）、轉(zhuǎn)換（Transform）、裝載（Load）的過程。它是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的且隨時間不斷變化的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定過程。數(shù)據(jù)倉庫系統(tǒng)中有可能存在著大量的噪聲數(shù)據(jù),引起的主要原因有：濫用縮寫詞、慣用語、數(shù)據(jù)輸入錯誤、重復(fù)記錄、丟失值、拼寫變化等。即便是一個設(shè)計和規(guī)劃良好的數(shù)據(jù)庫系統(tǒng)，如果其中存在著大量的噪聲數(shù)據(jù)，那么這個系統(tǒng)也是沒有任何意義的，因為“垃圾進，垃圾出”（garbage in, garbage out），系統(tǒng)根本就不可能為決策分析系統(tǒng)提供任何支持。為了清除噪聲數(shù)據(jù)，必須在數(shù)據(jù)庫系統(tǒng)中進行數(shù)據(jù)清洗。目前有不少數(shù)據(jù)清洗研究和ETL研究，但是如何在ETL過程中進行有效的數(shù)據(jù)清洗并使這個過程可視化，此方面研究不多。

本文主要從兩個方面闡述ETL和數(shù)據(jù)清洗的實現(xiàn)過程：ETL的處理方式和數(shù)據(jù)清洗的實現(xiàn)方法。

1.ETL的處理方式

本文所采用的ETL方法是數(shù)據(jù)庫段區(qū)域中的ETL處理方式，它不使用外部引擎而是使用數(shù)據(jù)庫作為唯一的控制點。由于源系統(tǒng)SQLserver2000是關(guān)系數(shù)據(jù)庫，它的段表也是典型的關(guān)系型表。成功地將外部未修改數(shù)據(jù)載入數(shù)據(jù)庫后，再在數(shù)據(jù)庫內(nèi)部進行轉(zhuǎn)換。數(shù)據(jù)庫段區(qū)域中的ETL處理方式執(zhí)行的步驟是提取、裝載、轉(zhuǎn)換，即通常所說的ELT。這種方式的優(yōu)點是為抽取出的數(shù)據(jù)首先提供一個緩沖以便于進行復(fù)雜的轉(zhuǎn)換，減輕了ETL進程的復(fù)雜度。

2.ETL過程中實現(xiàn)數(shù)據(jù)清洗的實現(xiàn)方法

首先，在理解源數(shù)據(jù)的基礎(chǔ)上實現(xiàn)數(shù)據(jù)表屬性一致化。為解決源數(shù)據(jù)的同義異名和同名異義的問題，可通過元數(shù)據(jù)管理子系統(tǒng)，在理解源數(shù)據(jù)的同時，對不同表的屬性名根據(jù)其含義重新定義其在數(shù)據(jù)挖掘庫中的名字，并以轉(zhuǎn)換規(guī)則的形式存放在元數(shù)據(jù)庫中，在數(shù)據(jù)集成的時候，系統(tǒng)自動根據(jù)這些轉(zhuǎn)換規(guī)則將源數(shù)據(jù)中的字段名轉(zhuǎn)換成新定義的字段名，從而實現(xiàn)數(shù)據(jù)挖掘庫中的同名同義。

其次，通過數(shù)據(jù)縮減，大幅度縮小數(shù)據(jù)量。由于源數(shù)據(jù)量很大，處理起來非常耗時，所以可以優(yōu)先進行數(shù)據(jù)縮減，以提高后續(xù)數(shù)據(jù)處理分析效率。

***，通過預(yù)先設(shè)定數(shù)據(jù)處理的可視化功能節(jié)點，達(dá)到可視化的進行數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換的目的。針對縮減并集成后的數(shù)據(jù)，通過組合預(yù)處理子系統(tǒng)提供各種數(shù)據(jù)處理功能節(jié)點，能夠以可視化的方式快速有效完成數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換過程。

三、ETL與EAI 之間的關(guān)系

隨著這種集成的增多，企業(yè)信息系統(tǒng)之間需處理的數(shù)據(jù)量也將越來越大，數(shù)據(jù)的傳輸將變得越來越復(fù)雜。ETL越來越適合用于這種數(shù)據(jù)處理的工作，并逐漸挑戰(zhàn)傳統(tǒng) EAI(enterprise application integration)在系統(tǒng)集成中的地位了。

最初 ETL 的設(shè)計是為了方便建立數(shù)據(jù)市場和數(shù)據(jù)倉庫，并將它們升級為批處理方式。而下一代的 ETL 工具則在許多功能上做了擴展，使其能夠適用于企業(yè)的應(yīng)用集成，并且其中的一些工具將能夠起到 EAI 某些工具的作用。

但是 ETL 還不能取代EAI，下一代ETL在應(yīng)用集成領(lǐng)域中還只是EAI的補充。但是隨著ETL技術(shù)的發(fā)展，企業(yè)在建立基于批處理數(shù)據(jù)倉庫的系統(tǒng)集成工具時，將越來越關(guān)注對ETL的選擇，同時EAI和ETL之間的界限也將變得越來越模糊。

四、ETL與EAI 之間的區(qū)別

ETL 工具適合數(shù)據(jù)集成， EAI 工具則適用于流程操作。下一代 ETL 工具更加適用于解決兩個系統(tǒng)間數(shù)據(jù)的批量或者實時同步工作，特別是當(dāng)大量巨大的數(shù)據(jù)在兩個系統(tǒng)間提取、轉(zhuǎn)換和存儲時， ETL 的優(yōu)勢更加明顯。 EAI 則適用于工作流和商業(yè)流程管理的需求，特別是擅長處理大量小事務(wù)。

對于交互式流程，如果它沒有擴展工作流的需求，沒有復(fù)雜數(shù)據(jù)的轉(zhuǎn)換的需求，或者需要批量實時數(shù)據(jù)的合并處理，則ETL工具將是比較好的選擇。

ETL工具比較適合于數(shù)據(jù)集成的工作，如應(yīng)用系統(tǒng)之間的數(shù)據(jù)同步和點對點的單步交互工作；需要實時數(shù)據(jù)處理的工作中包含了大量的數(shù)據(jù)處理、復(fù)雜的數(shù)據(jù)傳輸和數(shù)據(jù)運算，它同樣適合采用 ETL 工具。上面這些工作，即便是有些具體的處理需要通過 EAI 工具編程實現(xiàn)，我們還是可以用 ETL中的工具來處理。因為 ETL工具主要是通過關(guān)系型數(shù)據(jù)庫來實現(xiàn)大量數(shù)據(jù)操作的，所以使用這類工具來傳輸大塊的數(shù)據(jù)將取得更好的效果。

EAI 工具無疑是最適合流程集成的工具，如果流程中包含了大量的傳輸，那么它就必然包含了對業(yè)務(wù)流程的管理和實時交互的流程。

【編輯推薦】

1. 嵌入式數(shù)據(jù)庫的現(xiàn)狀和未來
2. 走近數(shù)據(jù)庫前沿技術(shù)——集群
3. 數(shù)據(jù)倉庫及其體系結(jié)構(gòu)建設(shè)
4. 數(shù)據(jù)倉庫中事實表的水平分區(qū)
5. SQL Server 2008新特性之?dāng)?shù)據(jù)倉庫可擴展性

                                                                                                                     【責(zé)任編輯：夏宗繁 TEL：（010）68476606】