成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

為什么說Storm比Hadoop快?

大數據 Hadoop
storm的網絡直傳、內存計算,其時延必然比hadoop的通過hdfs傳輸低得多;當計算模型比較適合流式時,storm的流式處理,省去了批處理的收集數據的時間;因為storm是服務型的作業,也省去了作業調度的時延。所以從時延上來看,storm要快于hadoop。

“快”這個詞是不明確的,專業屬于點有兩個層面:

  1. 時延 , 指數據從產生到運算產生結果的時間,題主的“快”應該主要指這個。
  2. 吞吐, 指系統單位時間處理的數據量。

首先明確一點,在消耗資源相同的情況下,一般來說storm的延時低于mapreduce。但是吞吐也低于mapreduce。

[[178902]]

storm的網絡直傳、內存計算,其時延必然比hadoop的通過hdfs傳輸低得多;當計算模型比較適合流式時,storm的流式處理,省去了批處理的收集數據的時間;因為storm是服務型的作業,也省去了作業調度的時延。所以從時延上來看,storm要快于hadoop。

說一個典型的場景,幾千個日志生產方產生日志文件,需要進行一些ETL操作存入一個數據庫。

假設利用hadoop,則需要先存入hdfs,按每一分鐘切一個文件的粒度來算(這個粒度已經極端的細了,再小的話hdfs上會一堆小文件),hadoop開始計算時,1分鐘已經過去了,然后再開始調度任務又花了一分鐘,然后作業運行起來,假設機器特別多,幾鈔鐘就算完了,然后寫數據庫假設也花了很少的時間,這樣,從數據產生到***可以使用已經過去了至少兩分多鐘。

而流式計算則是數據產生時,則有一個程序去一直監控日志的產生,產生一行就通過一個傳輸系統發給流式計算系統,然后流式計算系統直接處理,處理完之后直接寫入數據庫,每條數據從產生到寫入數據庫,在資源充足時可以在毫秒級別完成。

當然,跑一個大文件的wordcount,本來就是一個批處理計算的模型,你非要把它放到storm上進行流式的處理,然后又非要讓等所有已有數據處理完才讓storm輸出結果,這時候,你再把它和hadoop比較快慢,這時,其實比較的不是時延,而是比較的吞吐了。

storm是典型的流計算系統,mapreduce是典型的批處理系統。下面對流計算和批處理系統流程。

整個數據處理流程來說大致可以分三個階段:

1. 數據采集與準備

2. 數據計算(涉及計算中的中間存儲), 題主中的“那些方面決定”應該主要是指這個階段處理方式。

3. 數據結果展現(反饋)

1)數據采集階段,目前典型的處理處理策略:數據的產生系統一般出自頁面打點和解析DB的log,流計算將數據采集中消息隊列(比如kafaka,metaQ,timetunle)等。批處理系統一般將數據采集進分布式文件系統(比如HDFS),當然也有使用消息隊列的。我們暫且把消息隊列和文件系統稱為預處理存儲。二者在延時和吞吐上沒太大區別,接下來從這個預處理存儲進入到數據計算階段有很大的區別,流計算一般在實時的讀取消息隊列進入流計算系統(storm)的數據進行運算,批處理一系統一般會攢一大批后批量導入到計算系統(hadoop),這里就有了時延的區別。

2)數據計算階段,流計算系統(storm)的時延低主要有一下幾個方面

A: storm 進程是常駐的,有數據就可以進行實時的處理

mapreduce 數據攢一批后由作業管理系統啟動任務,Jobtracker計算任務分配,tasktacker啟動相關的運算進程

B: stom每個計算單元之間數據之間通過網絡(zeromq)直接傳輸。

mapreduce map任務運算的結果要寫入到HDFS,在于reduce任務通過網絡拖過去運算。相對來說多了磁盤讀寫,比較慢

C: 對于復雜運算

storm的運算模型直接支持DAG(有向無環圖)

mapreduce 需要肯多個MR過程組成,有些map操作沒有意義的

3)數據結果展現

流計算一般運算結果直接反饋到最終結果集中(展示頁面,數據庫,搜索引擎的索引)。而mapreduce一般需要整個運算結束后將結果批量導入到結果集中。

實際流計算和批處理系統沒有本質的區別,像storm的trident也有批概念,而mapreduce可以將每次運算的數據集縮小(比如幾分鐘啟動一次),facebook的puma就是基于hadoop做的流計算系統。

責任編輯:未麗燕 來源: 36大數據
相關推薦

2017-02-14 14:20:02

StormHadoop

2017-03-23 14:37:19

WebAssemblyasm.js編程

2021-05-12 08:15:53

HTTPSHTTP安全

2021-01-21 07:53:29

面試官Promis打印e

2023-04-07 08:17:39

fasthttp場景設計HTTP

2022-08-17 12:28:14

vite代碼前端

2019-09-11 09:09:56

++ii++編程語言

2017-12-19 16:24:20

2025-02-04 17:24:22

2024-03-25 02:00:00

Vite開發

2015-08-26 10:37:13

云主機物理機服務器故障

2020-02-24 12:34:21

JuliaPython編程語言

2020-02-27 21:03:30

調度器架構效率

2024-02-26 21:15:20

Kafka緩存參數

2020-02-27 15:44:41

Nginx服務器反向代理

2023-06-08 18:25:40

Doris場景查詢

2021-12-17 22:51:03

5G4G手機

2024-04-03 09:23:31

ES索引分析器

2019-02-24 22:05:12

JuliaPython語言

2020-04-14 15:18:16

SparkFlink框架
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产成人综合久久 | 不卡欧美| 午夜国产 | 亚洲视频免费一区 | 日韩综合在线 | 国产91网站在线观看 | 午夜精品久久久久久久99黑人 | 亚洲免费视频一区 | 亚洲精品欧美一区二区三区 | 黄视频网站免费观看 | www.日本国产 | 久久久国产一区二区三区四区小说 | 男人天堂社区 | 久久99精品久久久久久 | 久久久无码精品亚洲日韩按摩 | 99热在线播放| 免费视频成人国产精品网站 | 久久草在线视频 | www.一级片 | 嫩草黄色影院 | 看一级黄色毛片 | 天天爽一爽 | 亚洲欧美中文日韩在线v日本 | 午夜精品一区二区三区在线观看 | 毛片a级 | 99精品久久久久久中文字幕 | 国产精品久久久久国产a级 欧美日韩国产免费 | 99视频免费在线观看 | 99精品欧美一区二区蜜桃免费 | 国产一级在线 | 国产在线一区二区 | 99成人| 久久aⅴ乱码一区二区三区 亚洲国产成人精品久久久国产成人一区 | 中文精品久久 | 午夜av免费 | 中文字幕高清 | 久久精品国产亚洲夜色av网站 | 日韩第一区 | 国精产品一区二区三区 | 中文字幕在线观看视频一区 | 午夜视频在线免费观看 |