成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

OpenStack大數據項目 Sahara 概念和架構

云計算 OpenStack
Sahara旨在為用戶提供簡單部署Hadoop集群的能力,比如通過簡單的配置:Hadoop版本、集群結構、節點硬件信息等。在用戶提供了這些參數后,Sahara迅速把Hadoop集群部署起來。同時也支持集群的擴容和減容。

Sahara旨在為用戶提供簡單部署Hadoop集群的能力,比如通過簡單的配置:Hadoop版本、集群結構、節點硬件信息等。在用戶提供了這些參數后,Sahara迅速把Hadoop集群部署起來。同時也支持集群的擴容和減容。

其應用場景包括:

1) 提供在OpenStack上快速配置和部署Hadoop集群的能力。

2) 充分利用OpenStack Iaas層的計算能力。

3) 提供分析即服務的數據分析業務,有點像亞馬遜的EMR。

Sahara主要的特性包括:

1) Sahara作為OpenStack的一個組件。

2) 通過OpenStack的Dashboard調用REST API來管理。

3) 支持不同的Hadoop版本

4) 可配置的Hadoop配置模板。

Sahara課OpenStack的Horizon(提供GUI)、Keystone(提供鑒權功能)、Nova(為了創建Hadoop集群虛擬機)、Heat(Sahara可以配置成使用Heat來協調Hadoop集群所需要的服務)、Glance(存放Hadoop虛擬機鏡像)、Swift(可以用于存放Hadoop任務處理的數據)、Cinder(用于提供塊存儲)、Neutron(提供網絡服務)、Ceilometer(用于收集集群的信息來達到計量和監控的目的)有交互。

主要的工作流程介紹:

常見的快速配置集群步驟如下:

1) 選擇Hadoop版本

2) 選擇鏡像(如果鏡像中沒有預安裝Hadoop,Sahara也支持通過可插入的部署引擎)

3) 設置集群的參數:大小、拓撲等。

4) 創建集群:Sahara會進行虛擬機的安裝和Hadoop的配置。

5) 集群管理:包括添加或者刪除節點。

6) 刪除集群

通用的分析服務工作流程:

1) 選擇一個預定義的Hadoop版本

2) 編輯任務

a) 選擇任務類型:pig、hive、jar-file等

b) 提供任務的腳本地址或者jar包的位置

c) 選擇輸入輸出數據的位置

d) 選擇日志的位置

3) 設置集群的大小

4) 執行任務

5) 獲取任務執行結果

Sahara架構包含一下幾個模塊:

鑒權模塊:負責鑒權和授權,和keystone進行交換。

DAL(Data Access Layer):和數據庫訪問相關。

供應引擎(Provisioning Engine):用于和組件Nova, Heat, Cinder、Glance交換

供應商插件:插件形式提供,用于在虛擬機上配置和啟動Hadoop服務。已有的解決方案包括:Apache的Ambari和Cloudera(Hadoop數據管理軟件與服務提供商) Management Console。

EDP(Elastic Data Processing):負責調度和管理Sahara提供的Hadoop集群上的計算任務。

REST API:提供REST使用Sahara功能。

Sahara的Python客戶端:和OpenStack其他組件的CLI一樣。

Sahara的GUI頁面:Horizon上提供Sahara相關的GUI。

本文出自:http://blog.csdn.net/canxinghen/article/details/41833027

責任編輯:Ophira 來源: 華為杭州OpenStack團隊
相關推薦

2016-03-21 18:56:54

物聯網IoTIT基礎架構

2017-03-06 09:40:39

OpenStack SHadoopSpark

2014-08-15 09:09:32

大數據

2013-04-22 10:00:53

云計算大數據

2023-10-13 13:11:26

大數據技術開源

2018-04-15 21:39:04

大數據項目應用

2019-05-23 09:50:46

大數據IT人工智能

2022-06-30 21:08:25

大數據數據湖數據倉庫

2023-05-10 16:04:38

大數據架構

2014-12-10 10:59:16

Openstack云計算安裝部署

2016-01-26 10:02:18

GitHub大數據開源

2016-12-13 19:40:00

大數據

2017-01-20 09:08:28

大數據路線應用

2013-07-26 10:24:32

大數據項目大數據IT

2017-03-14 15:43:39

大數據項目Hadoop

2017-12-11 11:48:56

大數據項目數據集成

2017-04-05 15:32:42

大數據項目問題

2018-04-02 10:58:28

大數據sqoop大數據項目

2018-04-11 09:50:04

大數據

2013-09-24 10:53:39

Gartner大數據項目
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产精品国产精品国产专区不片 | 国产乱精品一区二区三区 | 国产综合av | 亚洲国产一区在线 | 日韩欧美在线一区 | 国产高清在线精品 | 日本欧美大片 | 日韩av成人| 97成人免费 | 日韩高清一区 | www国产成人免费观看视频,深夜成人网 | 久久成人18免费网站 | 不卡一区二区三区四区 | 国产色| 亚洲自拍偷拍免费视频 | 欧美一区二区三区四区五区无卡码 | 天天爱天天操 | 久久婷婷av | 在线 丝袜 欧美 日韩 制服 | japan25hdxxxx日本 做a的各种视频 | 国产欧美在线一区二区 | 日韩2020狼一二三 | 黄色片在线看 | 日韩精品一区二区三区在线观看 | 综合九九 | av一区二区在线观看 | 给我免费的视频在线观看 | 国产精品一区网站 | 国产日韩欧美在线观看 | 精品av天堂毛片久久久借种 | 免费h视频 | 亚洲视频在线观看免费 | 亚洲精品视频网站在线观看 | 日本久久精品视频 | 欧美精品一区二区免费 | 中文字幕日韩专区 | 国产农村妇女精品一区 | www.99热.com | 欧美精品网站 | 日本精品一区二区 | 色本道|