成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

對比MapReduce 流處理框架沒有所謂的查詢層

云計算
當著手實時大數據時,SPF不失為MapReduce很好的替代。取代對數據進行批處理,它們在數據出現時就會進行處理;如果你處理的是事件流,使用SPF顯然會比MapReduce來的合理。而類似Storm(Twitter)和S4(Yahoo!)這樣的框架,顯然更適合擴展類似(流處理)的計算。

Mikio L. Braun柏林工業大學機器學習學博士后,TWIMPACT聯合創始人兼首席數據科學家。在其個人博客上簡述了主流SPF(Stream Processing Framework)與MapReduce的區別 —— 并沒有查詢層。

以下為譯文:

當著手實時大數據時,SPF不失為MapReduce很好的替代。取代對數據進行批處理,它們在數據出現時就會進行處理;如果你處理的是事件流,使用SPF顯然會比MapReduce來的合理。而類似Storm(Twitter)和S4(Yahoo!)這樣的框架,顯然更適合擴展類似(流處理)的計算。類似于MapReduce作業,你只要指定小的工作線程,然后這線線程會被自動的監視和部署從而提供穩健的擴展性。

所以開始你會覺得“SPF是基于MapReduce的事件版本”,然而這里存在著顯著的差別:在流處理中是沒有查詢層的(最少在Storm和S4中是沒有的)。

查詢層,你可以通過指令查詢出你想要的結果;然而就流處理來說,意味著指令會一直運行,因為你處理的是一個隨時都有新時間加入的事件流。

舉個例子,著眼隨處可見的“單詞計數用例”,絡繹不絕的導入句子(比如說,推特),那么你該如何查詢出在一個指定的時間某個指定單詞的個數。

答案可能與大部分人所想的不同:沒有任何方法可以計算出結果(至少在現有的SPF中)。原因是:每個線程都會被分配數據流的一部分,然而卻沒有方法去訪問這些信息。取而代之的是:結果只能定期的輸出,不管是到屏幕或者是持久化儲存。

 

 

不錯,這只是一個比較業余的例子;然而這同樣意味著現實中的應用程序,你需要一些數據庫后端做結果的儲存。取決于你處理的數據量和你所做的聚合程度(或者是不做),這同樣意味著你的持久化數據庫MySQL可能滿足不了流處理集群。

在MapReduce中也同樣如此,對數據進行一些定期的修改,而區別在于MapReduce需要做兩倍流處理額外后端的儲存方案。

 

 

Mikio L. Braun認為以下的幾個環境適合流處理:

針對高頻度的事件流

每個獨立的事件都需要處理高復雜度的分析

高聚合度,以至于數據的體積會大量的減少

而在以下的情況可能就不會很適用:

每個時間你都需要做許多的持久層修改

在分析進行的同時,可能會去做某些結果的查詢

顯然在IT領域沒有通吃的算法及框架,把握自己的程序及數據類型,為其選擇合適的分析工具才是王道。

責任編輯:王程程 來源: 博客
相關推薦

2013-05-09 09:26:59

軟件開發開發方法

2017-11-21 15:50:09

FlinkStorm性能

2017-11-20 13:54:55

FlinkStorm框架

2014-01-17 09:38:07

Twitter開源流處理

2019-07-05 12:16:26

大數據IT互聯網

2024-12-27 14:45:59

2013-01-21 13:22:56

IBMdW

2022-05-12 09:37:03

測試JUnit開發

2011-12-02 10:58:55

交換機

2012-06-19 09:28:46

Hadoop

2012-06-07 09:20:33

ibmdw

2023-07-10 13:51:45

測試并行計算框架

2016-11-17 14:49:59

云端試驗預期

2024-07-29 08:02:07

Service類型開發

2019-11-08 14:31:45

MapReduce數據集數據結構

2019-08-14 17:13:23

大數據MapReduce框架

2018-11-08 15:30:04

JavaScriptES6異步

2020-06-02 09:56:40

阿里要性

2020-04-14 15:18:16

SparkFlink框架

2021-05-24 10:32:04

鴻蒙HarmonyOS應用
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 亚洲精品九九 | 久久91精品久久久久久9鸭 | 视频一区 亚洲 | 国产精品久久久久久亚洲调教 | 91婷婷韩国欧美一区二区 | 激情五月激情综合网 | 欧美三级成人理伦 | 无码一区二区三区视频 | 精品一区二区三区中文字幕 | 在线一区视频 | 国产福利二区 | 免费在线观看一区二区 | 国产美女自拍视频 | 在线中文字幕亚洲 | 视频在线一区二区 | 亚洲一区视频在线 | av毛片免费 | 亚洲网视频 | 在线免费看91| 欧美精品网站 | 国产精品久久久久久久久久三级 | 视频在线h | 亚洲一区二区三区 | 国产精品国产亚洲精品看不卡15 | 草草草影院| 中文字幕亚洲精品 | 美女久久 | 国产精品久久久久aaaa九色 | 国产日韩视频 | 亚洲另类自拍 | 啪啪毛片 | 国产欧美日韩一区二区三区在线观看 | 成人影视网 | 福利久久 | 色婷婷影院 | 久久久国产一区二区三区四区小说 | 亚洲成人一区二区三区 | 一区二区电影 | 欧美国产精品一区二区三区 | 美女高潮网站 | 中文字幕亚洲一区二区三区 |