C時代的大數據整合之道
永遠在線,互聯互通,促使著一個新時代的來臨!基于24 小時在線(Connected 24 hours Era)這一直觀特征,我們把這個時代簡稱為C 時代!C時代所帶來的變化,不僅僅是手指在手機屏幕上輕輕滑動的感覺,亦非只是隨時隨地信息實時互動,更多的是帶來了數據的爆炸性增長。可以發現,信息發起已經從原來單純機器產生數據,變成全民參與的時代,開啟了前所未有的信息增長時期——更大容量、更多種類及更快速度。
大數據可為企業提供前所未有的機遇,可以提高營收和績效,并洞察您的業務、市場和客戶。從銀行、保險企業需求來看,大家都在關注非結構化數據,大多數非結構化數據很難發現什么商業價值,那么如何去處理這些數據,辨別出低使用價值的數據,如何抽絲剝繭發現數據所蘊藏的價值,更好地為商業創新和決策服務呢。比如,傳統的交易數據雖然可提供有關客戶狀況的重要視圖,但這一視圖并不完整,金融服務公司紛紛開通企業的微博和博客,在交互過程中希望傾聽到不同客戶對業務的需求或建議,從而開發新業務,發掘新的商機;金融機構還能夠充分利用各種服務交付渠道(如網絡、移動通信等)的海量客戶數據,開發新的預測分析模型,實現對客戶消費行為模式進行分析,提高客戶轉化率……。
雖然大家都認為數據是企業最重要的資產,可將有用的數據與沒有價值的數據進行區分卻是個棘手的問題,很多企業仍然只是將信息簡單地堆砌在一起,無從發現數據的價值。大數據就像一場大洪水,如果能夠有利的疏導可以為我所用,不能疏導則只能白白占用存儲和通道,無任何價值,怎樣才能有利的疏導、快速提取它的價值呢? 必須有一種智能的、透明化的方式來解讀它們,而大數據處理則是從海量數據中獲得有價值信息的基礎。
面對大數據,由于數據量非常巨大,而且數據類型異常復雜,特別是非結構化和半結構數據量遠遠超過傳統的結構化數據,一些傳統的基于關系型數據庫的存儲和分析辦法顯露出不足,同時巨大的成本壓力已成為很多企業難以承受的負重。Hadoop這種可以更容易開發和運行處理大規模以及更多類型數據的軟件平臺,能夠以更經濟的方式、更好的性能來處理數據,從而獲得了很多企業的青睞。但是,在現今的IT環境中,開源的Hadoop不可能作為一個孤島存在。為了讓Hadoop可以跨越不同平臺并成為一種主流技術,用戶需要將Hadoop作為他們IT大環境中的一部分來管理,通過Hadoop重復使用他們的開發技巧、資產及數據,并統籌管理全部數據。
許多人寄希望于Hadoop廠商們能夠開發出一些成熟可靠的工具、功能和創新技術,使他們不用特別學習復雜的編程語言,就能輕松地操作、應用Hadoop。Informatica一直專注于數據集成、數據整合,期望把Hadoop技術通過一種透明的方式呈現給用戶,幫助他們從海量數據中提煉出有價值的數據值,并降低數據操作中的成本。一年半前,Informatica就開始進行Hadoop方面的研究,希望借助統一的環境和方法,讓用戶通過一個易用的單一平臺更好地釋放Hadoop的潛能,幫助金融企業實現大數據最大投資回報。
目前,Informatica 正在迅速執行針對 Hadoop的路線圖。Informatica于2011年6月發布了PowerExchange for Hadoop,解決了與 Hadoop之間輸入、輸出數據的一大難題,讓企業能夠向Hadoop輸送所有數據以便集成和處理大數據,通過與包括大型機、數據庫及應用程序在內的所有數據(無論企業內部還是云中)的統一連接,輕松地以批量或實時方式在Hadoop系統中取送數據。同年11月發布的Hparser是業界第一款Hadoop環境下的數據編譯轉換解決方案,提供了一種可視化的IDE來部署預置解析器或為各種復雜的數據格式(諸如網絡記錄、社交媒體數據、通話詳細記錄以及其他數據格式)設計特定分析器,然后將其部署到Hadoop上,用戶能大大簡化并加快數據分析過程,有效避免處理過程中的風險并削減定制編譯腳本的成本。此外,Informatica繼續大量投資研發活動,以在路線圖中提供更多功能,例如關于Hadoop的數據集成和數據質量,Hadoop上的數據發現和探查,Hadoop的數據攝取(例如包括實時流),以及管理和監控 Hadoop工作負荷。
在Hadoop系統上實施大數據處理可能需要高度專業化且價格昂貴的開發資源。Informatica數據集成平臺所具備的專供Hadoop使用的統一可視化開發環境讓Informatica開發人員能夠在無需專業培訓的情況下,輕松地在Hadoop上大展身手。借助于該技術,開發人員可使用熟悉而直觀的Informatica開發工具定義業務邏輯、轉換和映射規則,從而降低成本、優化資源利用率并充分發揮大數據的潛能。
西太平洋銀行早已清楚地認識到深入了解自身數據資產的必要性,積極探索大數據所帶來的機遇,他們正在利用社交媒體數據來提升市場促銷活動的成功率,以及提高客戶招攬率和維系率。采用Informatica數據集成平臺,西太平洋銀行能夠更好地通過Hadoop管理和處理社交媒體數據來增進對客戶的了解并實現大數據的最大回報。
金融服務機構必須不斷尋找新的、更具創意的方法以保持其競爭優勢,不論是通過目標定位更準確的產品和服務,或是更有效率的業務。作為全球領先的獨立企業數據集成軟件提供商,Informatica幫助全球近5000家企業管理其在本地的、云中和社交網絡上的信息資產,幫助他們通過對數據的利用,發現新的機遇,找到競爭優勢。Hadoop技術改變非常快,與Informatica合作,無論Hadoop怎樣變,Informatica都能提供支持,保證用戶可以充分地利用數據的價值,避免對錯誤的技術下注。