徐正君:實時流式數據處理及應用
原創2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數據全球技術峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數據基礎架構與上層應用的生態系統,解決大規模數據引發的問題,探索大數據基礎的解決方案,激發數據挖掘帶來的競爭力,讓數據發出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數據的盛宴,更多內容請點擊專題:2013大數據全球技術峰會。
在26日下午的NoSQL&NewSQL專場論壇中,SAP高級系統架構師徐正君發表了主題為“實時流式數據處理及應用”的演講。徐正君解析了流計算的定義,并分析了案例。
SAP高級系統架構師徐正君
他談到,現在企業內部存在各種各樣的數據,庫存數據、銷售數據、交易數據、客戶數據、移動端數據等,這讓業務人員想要高效管理大量數據,得到正確而完整的信息,以及面對問題實時獲取答案都非常困難,傳統的數據庫很難解決數據量和速度的問題,而流計算或許是解決問題的方式。
傳統的數據庫,將所有數據存儲起來,計算時用SQL語句查詢,流計算則是讓數據流動起來,數據從內存中流過,截取需要的數據。由此得出數據流所具備的特征:數據連續不斷;數據來源眾多,格式復雜;數據量大,但是不十分關注存儲;注重數據的整體價值,不要過分關注個別數據;數據流順序顛倒,或者不完整。而對應的處理工具則需具備高性能、實時性、分布式、易用性。
企業是否選擇流計算需要自問是否對數據的實時性有迫切需求,是否更關注對當前數據的分析與響應,是否適用于高吞吐量、低延遲事件流處理的場景。接著徐正君還介紹了常用的開源流計算產品(Puma、Storm、S4(Simple Scalable Streaming System))、商業流計算產品、流計算的產品架構、ESP與DataBase的結合等。
最后他以比利時電信和算法交易為實例,說明流計算的相關應用方式。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續我們還有更加精彩的獨家報道,敬請關注。