成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

AI.x社區(qū)

軟考社區(qū)

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認證

公眾號矩陣

移動端

視頻課免費課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認證華為認證廠商認證 IT技術(shù)PMP項目管理免費題庫

在線學(xué)習

文章資源問答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營

鴻蒙開發(fā)者社區(qū)訂閱號

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號

51CTO軟考題庫

賬號設(shè)置退出

大數(shù)據(jù)

9238內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉庫、等領(lǐng)域。

文章博文帖子課程

共 226 條

Hadoop運維記錄系列(十七)

上個月通過email，幫朋友的朋友解決了一個Cloudera的Spark-SQL無法訪問HBase做數(shù)據(jù)分析的問題，記錄一下。

2015-11-13 19:00:35

運維 hadoop spark

使用flume替代原有的scribe服務(wù)

以前很多業(yè)務(wù)都是用scribe做日志收集的支撐的，后來fb停止了對scribe的開發(fā)支持。而且scribe在機器上編譯一次的代價太大了，各種坑，正好后來flume從1.3.0開始加入了對scribe的支持。就可以把原來scribe上面接入的數(shù)據(jù)轉(zhuǎn)用flume收集了。雖然我很喜歡scribe，但是失去了官方支持畢竟還是很鬧心的。agent.channels=c1 agent.channels.c1.

2015-07-13 14:50:53

日志收集 hadoop

記錄一則Spark讀寫和Lost Excutor錯誤的分析和解決過程

一、概述上篇blog記錄了些在用spark-sql時遇到的一些問題，今天繼續(xù)記錄用Spark提供的RDD轉(zhuǎn)化方法開發(fā)公司第一期標簽分析系統(tǒng)（一部分scala作業(yè)邏輯代碼后面blog再給大家分享）遇到的一些SPARK作業(yè)錯誤信息。其中有些問題可能一些數(shù)據(jù)量或者shuffle量比較小的作業(yè)時不會遇到的，我們整套標簽系統(tǒng)的初級輸入數(shù)據(jù)大概是8T左右，這里也是個參考。(下面的Spark部署模

2015-02-27 18:10:20

去除Hadoop-Streaming行末多余的TAB

單位有一組業(yè)務(wù)一直都是使用Streaming壓縮文本日志，大體上就是設(shè)置作業(yè)輸出為BZ2格式，怎么輸入就怎么輸出，沒有任何處理功能在里面。但是每行結(jié)尾都多出來一個TAB。終于，有一個業(yè)務(wù)需要使用TAB前的最后一個字段，不去掉不行了。雖然是個小問題，但是網(wǎng)上搜了一圈，也沒有很好的解決。很多人都遇到了，但是單位的業(yè)務(wù)比較特殊，只有map沒有red

2015-01-10 23:45:27

hadoop streaming 去除多余的Tab

hadoop jetty的應(yīng)用

在hadoop中很多地方都用到了servlet，并且使用jetty作為servlet的容器來提供http的服務(wù)，其主要是通過org.apache.hadoop.http.HttpServer類實現(xiàn)的，HttpServer類是對Jetty的簡單封裝，通過調(diào)用HttpServer類的addServlet方法增加可以實現(xiàn)增加servlet到j(luò)etty的功能：publ

2014-12-22 21:57:20

使用shell并發(fā)上傳文件到hdfs

從本地到hdfs的并發(fā)腳本相關(guān)說明及代碼實現(xiàn)。

2014-12-14 16:09:08

shell put hadoop

利用開源日志收集軟件fluentd收集日志到HDFS文件系統(tǒng)中

利用開源的日志收集系統(tǒng)fluentd，把日志寫入到HDFS文件系統(tǒng)中！

2014-12-04 16:27:46

hadoop hdfs 日志收集

DataNode與NameNode交互機制相關(guān)代碼分析

HDFS Federation是為解決HDFS單點故障而提出的NameNode水平擴展方案，該方案允許HDFS創(chuàng)建多個Namespace以提高集群的擴展性和隔離性。在Federation中新增了block-pool的概念，block-pool就是屬于單個Namespace的一組block,每個DataNode為所有的block-pool存儲block

2014-11-25 11:23:18

DataNode文件系統(tǒng)源碼分析

在DataNode的本地存儲空間上，與存儲服務(wù)密切相關(guān)的，比如創(chuàng)建數(shù)據(jù)塊，恢復(fù)數(shù)據(jù)塊，數(shù)據(jù)塊校驗等相關(guān)的代碼都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代碼版本CDH5.1)首先說下org.apache.hadoop.hdfs.server.

2014-11-12 10:36:04

hadoop 源碼分析

利用pig分析cdn訪問日志內(nèi)指定時間段的url訪問次數(shù)

利用pig分析cdn訪問日志，找到指定時間段內(nèi)，各個url訪問次數(shù)，并且按照從大到小的次序排列！

2014-11-03 09:55:03

MRv2內(nèi)存監(jiān)控強殺Container問題解決

線上某個hive job運行失敗,報錯如下Container[pid=28474,containerID=container_1411897705890_0181_01_000012]isrunningbey

2014-10-24 14:27:40

sudo bug導(dǎo)致的zabbix斷圖問題

線上使用zabbix的host update來監(jiān)測監(jiān)控值是否完整（關(guān)于host update的實現(xiàn)請參考：http://caiguangguang.blog.51cto.com/1652935/1345789）一直發(fā)現(xiàn)有機器過一段時間update值就會莫名其妙變低，之前一直沒有找到rc，只是簡單通過重啟agent來進行修復(fù)，最近同事細心地發(fā)現(xiàn)可能是和sudo的bug有關(guān)系。回過頭再來

2014-10-22 23:53:02

sudo bug zabbix丟失值

hadoop插件sqoop使用案例

sqoop是hadoop項目中一個插件，可以把分布式文件系統(tǒng)hdfs中內(nèi)容導(dǎo)入到mysql指定表里面，也可以把mysql中內(nèi)容導(dǎo)入到hdfs文件系統(tǒng)中進行后續(xù)操作。測試環(huán)境說明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特別說明：因為我安裝的是hadoop-0.20.2版本，sqo

2014-10-22 16:41:47

mysql hadoop hdfs

你用pig分析access_log日志中ip訪問次數(shù)

你用pig分析web訪問日志demo

2014-10-14 13:52:43

Hadoop1.x和2.X的HDFS fsimage和edits文件運行機制對比

一、概述之前寫過一篇非常詳細的,利用QJM在HDFS2.0部署HA策略的文章，主要說了利用QJM進行HA部署以及其原理（http://zengzhaozheng.blog.51cto.com/8219051/1441170）。但是，其中沒有詳細描述HADOOP2.x通過QJM部署HA完畢之后，ActiveNamenode和StandbyN

2014-10-09 11:06:28

hadoop edits hadoop Ha

Datax與hadoop2.x兼容部署與實際項目應(yīng)用工作記錄分享

一、概述Hadoop的版本更新挺快的，已經(jīng)到了2.4，但是其周邊工具的更新速度還是比較慢的，一些舊的周邊工具版本對hadoop2.x的兼容性做得還不完善，特別是sqoop。最近，在為hadoop2.2.0找適合的sqoop版本時遇到了很多問題。嘗試了多個sqoop1.4.x版本的直接簡單粗暴的報版本不兼容問題，其中測了sqoop-1.4.4.bin_

2014-08-15 15:51:20

hadoop sqoop datax

利用QJM實現(xiàn)HDFS的HA策略部署與驗證工作記錄分享

1、概述 Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了兩個重要功能，HA和Federation。HA解決了Hadoop1.X Namenode中一直存在的單點故障問題，HA策略通過熱備的方式為主NameNode提供一個備用者，并且這個備用者的狀態(tài)一直和主Namenode的元數(shù)據(jù)保持一致

2014-07-22 09:09:15

HA mapreduce hadoop

hadoop 1.x升級至hadoop-2.2.0記錄

一、概述公司hadoop集群從1.2.1升級到2.2.0已經(jīng)有一段時間，這篇blog將總結(jié)一下我前段時間在升級至hadoop2.2.0版本過程中遇到的一些問題，以及具體的升級步驟。二、升級過程(1)停掉hadoop1.x集群。(2)備份namenode原數(shù)據(jù)，即備份dfs.namenode.name.dir指向的路徑。以免造成由于升級版本帶來的風險。

2014-06-18 15:28:23

hadoop yarn MRv2

Hadoop2的ResourceManager高可用配置

Hadoop 2.2沒怎么關(guān)注過，太新，bug太多。2.4出來以后關(guān)注了一些東西，比如2.4里面直接帶了ResourceManager的高可用，這點比較吸引人。之前2.2沒注意有沒有，貌似是沒有，然后CDH自己出了一個解決方案，這次2.4的更新直接自己帶了，還不錯，這樣就全了，Namenode有HA和Federation，RM也有了HA，而且也可以通過ZKFC自動做故障切換。大概從2.4開始，Ha

2014-06-06 23:04:15

運維 ha hadoop

Hadoop運維記錄系列(十三)

記錄一下在2.x里面不會很常見的報錯。只是在測試集群中發(fā)生，生產(chǎn)集群大概很少有人會去重啟Namenode吧，特別是做了HA的。場景是在2.x里做好了Namenode HA，以Namespace URI方式訪問HDFS時，報錯，然后兩個Namenode貌似都是standby，然后歷史任務(wù)服務(wù)器無法啟動，HBase的Master也無法啟動。其實這個故障很簡單。2014-06-0517:20

2014-06-05 17:57:33

部署開發(fā)運維

namenode gc導(dǎo)致的故障一例

周末處理的一次故障，這里簡單記錄下。故障現(xiàn)象：6點1分左右開始，Hadoop集群異常，所有的hdfs操作都出現(xiàn)問題。幾十個job報以下錯FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException)

2014-05-29 00:10:25

海量數(shù)據(jù)解決思路之BitMap

一、概述本文將講述Bit-Map算法的相關(guān)原理,Bit-Map算法的一些利用場景，例如BitMap解決海量數(shù)據(jù)尋找重復(fù)、判斷個別元素是否在海量數(shù)據(jù)當中等問題.最后說說BitMap的特點已經(jīng)在各個場景的使用性。二、Bit-Map算法先看看這樣的一個場景：給一臺普通PC，2G內(nèi)存，要求處理一個包含40億個不重復(fù)并且沒有排過序的無符號的int整數(shù)，給出一個整數(shù)，問如果快速地判斷這個整數(shù)是

2014-04-28 17:19:38

mapreduce hadoop bitmap

cdh4.6.0升級測試2-distribute cache bug fix

distribute cache purge阻塞task的bug測試。cdh4.2.0:測試方法：local.cache.size=650因為cachedir size和count是存在內(nèi)存中的HashMap中的，把local.cache.size值設(shè)置的足夠小，在每次job運行時都會觸發(fā)delete distribute cache的操作。又因為是private的，是同步刪除，會造成task阻塞

2014-04-23 22:46:17

給剛玩Hadoop的朋友一些建議

隨著兩會中間央視新聞天天說大數(shù)據(jù)，很多人紛紛開始關(guān)注大數(shù)據(jù)和Hadoop以及數(shù)據(jù)挖掘和數(shù)據(jù)可視化了，我現(xiàn)在創(chuàng)業(yè)，遇到很多傳統(tǒng)數(shù)據(jù)行業(yè)往Hadoop上面去轉(zhuǎn)型的公司和個人，提了很多問題，大多數(shù)問題還都是差不多的。所以我想整理一些，也可能是很多人都關(guān)注的問題。關(guān)于Hadoop版本的選擇？目前為止，作為半只腳邁進Hadoop大門的人，我建議大家還是

2014-04-17 17:42:16

部署開發(fā)運維

Ubuntu下利用Myeclipse開發(fā)hadoop程序

開發(fā)的大環(huán)境是Ubuntu11.04，hadoop0.20.2，myeclipse9.1首先要安裝Myeclipse，在Ubuntu下安裝Myeclipse和windows環(huán)境下安裝的方法一樣，下載myeclipse-9.1-offline-installer-linux.run然后雙擊運行就ok了。接下來安裝Myeclipse的Hadoop插件，在hadoop的安裝路徑里找到hadoop的ecl

2014-04-13 21:37:44

hadoop中MapReduce多種join實現(xiàn)實例分析

一、概述對于RDBMS中的join操作大伙一定非常熟悉，寫sql的時候要十分注意細節(jié)，稍有差池就會耗時巨久造成很大的性能瓶頸，而在Hadoop中使用MapReduce框架進行join的操作時同樣耗時，但是由于hadoop的分布式設(shè)計理念的特殊性，因此對于這種join操作同樣也具備了一定的特殊性。本文主要對MapReduce框架對表之間的join操作的

2014-04-09 17:05:55

join mapreduce map join

su And sudo提權(quán)

1.su與sudo命令詳解命令：su功能：切換用戶語法：su [選項]... [-] [USER [ARG]...]選項：-, -l, --login：切換至目標用戶，其用戶權(quán)限，環(huán)境變量都會隨之切換至目標用戶；若無此選項，則只有用戶的權(quán)限切換至目標用戶-c, --command=COMMAND：以指定用戶的身份執(zhí)行一次命令，就立即退出-m, --preserve-environment：-m和-

2014-04-06 21:26:45

su sudo提權(quán)

impala集成kerberos問題一例

最近在折騰hadoop+kerberos，由于線上使用的組件比較多，遇到不少問題，記錄下來，碰到同樣問題的同學(xué)可以參考下。在hdfs+mapred+kerberos運行正常后，開始嘗試集成impala.其中statestore的參數(shù)：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

2014-03-21 23:05:20

hadoop之MapReduce自定義二次排序流程實例詳解

一、概述MapReduce框架對處理結(jié)果的輸出會根據(jù)key值進行默認的排序，這個默認排序可以滿足一部分需求，但是也是十分有限的。在我們實際的需求當中，往往有要對reduce輸出結(jié)果進行二次排序的需求。對于二次排序的實現(xiàn)，網(wǎng)絡(luò)上已經(jīng)有很多人分享過了，但是對二次排序的實現(xiàn)的原理以及整個MapReduce框架的處理流程的分析還是有非常大的出入，而且部分分析

2014-03-18 20:44:45

map端數(shù)據(jù)流向 hadoop二次排序

zabbix value type導(dǎo)致的斷圖一例

最近老畢在加hbase的監(jiān)控，發(fā)現(xiàn)生成的graph有斷圖的情況。。因為之前有次zabbix斷圖定位到了是proxy的性能問題，通過調(diào)整相應(yīng)的參數(shù)解決掉了。。再看這次的情況，發(fā)現(xiàn)有些item的graph是ok的，也就排除了proxy性能問題。。看來還是和item相關(guān)。整個數(shù)據(jù)鏈路是agent---proxy(db)----server(db)，從上游數(shù)據(jù)庫開始入手：1.找出正常的和斷圖

2014-03-15 03:17:15

zabbix 斷圖 v

Hadoop連載系列之四：數(shù)據(jù)收集分析系統(tǒng)Chukwa

系列前三篇文章中介紹了分布式存儲和計算系統(tǒng)Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。當Hadoop集群的數(shù)量達到1000+時，集群自身的信息將會大量增加。Apache開發(fā)出一個開源的數(shù)據(jù)收集和分析系統(tǒng)—Chukwa來處理Hadoop集群的數(shù)據(jù)。Chukwa有幾個非常吸引人的特點：它架構(gòu)清晰，部署簡單；收集的數(shù)據(jù)類型廣泛，

2014-03-14 11:18:27

記一則Hadoop DataNode OOM故障,以及解決方案

一、故障癥狀最近公司一個集群跑大任務(wù)時，datanode日志報DataXceiveServer: Exiting due to:java.lang.OutOfMemoryError: unable to create new native thread異常，然后計算節(jié)點上的DataNode直接掛掉。DataNode異常日志截圖如下：2014-03-06 03:41:05

2014-03-08 02:43:56

hadoop DataNode OO

寫幾個Hadoop部署用到的小腳本

最近拋棄非ssh連接的hadoop集群部署方式了，還是回到了用ssh key 驗證的方式上了。這里面就有些麻煩，每臺機器都要上傳公鑰。恰恰我又是個很懶的人，所以寫幾個小腳本完成，只要在一臺機器上面就可以做公鑰的分發(fā)了。首先是生成ssh key腳本#!/bin/sh ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cp ~/.ssh/id_rsa.pub ~/.ss

2014-03-07 18:44:31

shell hadoop deploy

hadoop 1.X資源管理機制缺陷分析和解決方案

一、概述用hadoop1.x版本已經(jīng)有一年多了，在使用的過程中發(fā)現(xiàn)hadoop1.X的資源管理機制存在諸多缺陷，甚至在這種資源管理機制下會造成服務(wù)器資源的嚴重浪費，負載過高或者過低。本文主要介紹hdaoop1.X的資源管理機制，這種機制的缺點，總結(jié)一下自己在這方面遇到的實際問題，最后是自己對改進hadoop資源管理機制的一些想法。二、hadoop 1.x資源管理機制&n

2014-02-22 16:19:57

slot hadoop 資源管理

hadoop之MapReduce框架JobTracker端心跳機制分析(源碼分析第七篇)

一、小概述JobTracker端的心跳機制主要任務(wù)是處理TaskTracker發(fā)送過來的心跳信息，判斷TaskTrakcer是否存活、及時讓JobTracker獲取到各個節(jié)點上的資源使用情況和任務(wù)運行情況和為TaskTracker下達各種命令等功能。二、心跳處理過程詳解JobTracker端的心跳機制處

2014-02-17 17:20:01

心跳機制 heartbeat mapreduce

hadoop之MapReduce框架TaskTracker端心跳機制分析(源碼分析第六篇)

1、概述 MapReduce框架中的master/slave心跳機制是整個集群運作的基礎(chǔ)，是溝通TaskTracker和JobTracker的橋梁。TaskTracker周期性地調(diào)用心跳RPC函數(shù)，匯報節(jié)點和任務(wù)運行狀態(tài)信息。MapReduce框架中通過心跳機制可以實現(xiàn)給TaskTracker分配任務(wù)、使JobTracker能夠及時獲取各個節(jié)點的資源使用情況和任務(wù)運行狀態(tài)

2014-01-23 17:34:08

mapreduce hadoop heartbeart

hadoop作業(yè)初始化過程詳解（源碼分析第三篇）

（一）概述我們在上一篇blog已經(jīng)詳細的分析了一個作業(yè)從用戶輸入提交命令到到達JobTracker之前的各個過程。在作業(yè)到達JobTracker之后初始化之前，JobTracker會通過submitJob方法，為每個作業(yè)都創(chuàng)建一個JobInProgress對象(本文以后簡稱JIP)，用于維護作業(yè)的運行時信息以及監(jiān)控正在運行作業(yè)的運行狀態(tài)和進度。然后檢查提交作業(yè)的用戶是否

2014-01-09 16:26:22

集群 map hadoop

hadoop1.x作業(yè)提交過程分析（源碼分析第二篇）

（一）概述本文基于Hadoop1.0.0版本的源代進行分析，研究用戶從輸入作業(yè)提交命令到作業(yè)提交到j(luò)obTracker的整個流程，其中涉及到的組件JobClient和JobTracker的具體工作細節(jié)。（二）具體分析從源代碼來看，hadoop作業(yè)的提交過程是比較簡單的，主要包含了幾個過程：運行提交作業(yè)腳本、創(chuàng)建目錄、上傳作業(yè)文件以及產(chǎn)生Input

2014-01-06 21:59:15

作業(yè)提交 hadoop初始化 hadoop運行過程

hadoop作業(yè)分片處理以及任務(wù)本地性分析（源碼分析第一篇）

(一) Map輸入數(shù)據(jù)塊的切分算法（基于hadoop源碼 1.0.1）：（1）分片算法MapTask的個數(shù)據(jù)主要取決于InputFormat通過對輸入數(shù)據(jù)調(diào)用getSplit()方法分割為若干個分片數(shù)據(jù)，即InputSplit數(shù)。hadoop中切片大小主要由以下幾個因素：blockSize:塊大小minSize:最小分片大小，由參數(shù)ma

2014-01-02 17:02:59

hadoop 任務(wù)調(diào)度切片

Hadoop自動化運維之創(chuàng)建deb包

2014第一篇博文，將來也會逐步寫成一個系列，新年新氣象。將hadoop及其周邊生態(tài)系統(tǒng)deb/rpm化對于自動化運維來說意義重大，建立好整個生態(tài)的rpm和deb然后再創(chuàng)建本地yum或者apt的源，可大大簡化hadoop的部署和運維。實際上，cloudera和hortonworks都是這么做的。本來想把rpm和deb都寫了，不過估計篇幅不夠，還是分開吧，先從deb講起。deb創(chuàng)建比較容易一些，不需

2014-01-01 13:27:35

運維自動化 rpm

利用saltstack的api接口和modules實現(xiàn)實時監(jiān)控

前言：其實一說起實時監(jiān)控，我就有很多的感想 ~ 以前也做過幾個類似的全網(wǎng)流量監(jiān)控的項目，用過websocket的模式的，還有就是redis pubsub模式，還有就是從同事的nagios獲取流量數(shù)據(jù)（這個結(jié)果很郁悶，nagios加了Ndoutils插件后可以把數(shù)據(jù)存入到mysql里面，當時水平不到位，獲取的數(shù)據(jù)有斷鏈，原因不明）。這些方法也都

2013-12-27 08:23:02

saltstack m saltstack a saltstack

煮酒品茶：大晚上的，有氣無力的呻吟，讓你深深的感覺聽我的聲音是一種折磨。沒錄好，筆記本聲音也沒錄好，將就著聽吧。哈哈# Install Hadoop Master# DownLoad Hadoop and Jdk packetsOne : stop all hosts Selinux and iptables.# service iptables stop# chkconfig iptables

2013-11-12 11:24:28

Hadoop虛擬化擴展(HVE)之資源擴展技術(shù)

背景在虛擬化的云環(huán)境中，Hadoop可以有更好的“彈性”，這是云計算的一個重要優(yōu)勢，例如亞馬遜的EMR(ElasticMapReduce)服務(wù), 用戶可以迅速的在云中根據(jù)需求部署一個Hadoop集群，運行計算任務(wù)，并且用戶可以向集群動態(tài)的添加或刪除計算節(jié)點。這里存在著一個潛在問題，Haodop的數(shù)據(jù)節(jié)點并非天生的“有彈性”，刪除一個數(shù)據(jù)節(jié)點意味著需要重新復(fù)制存儲在這個節(jié)點的數(shù)據(jù)，這是一個緩慢的過程

2013-11-06 16:38:35

hadoop vSphere 虛擬化擴展;資源管理

深入Hadoop節(jié)點部署的策略

簡介每個Hadoop集群都包括不止一個節(jié)點。這些節(jié)點可以按功能分成幾個組，比如master組，worker組，client組等等。每個組里面的節(jié)點都有不同的資源要求，比如CPU，內(nèi)存，存儲。在虛擬數(shù)據(jù)中心（DataCenter）中有一個或多個虛擬集群（Cluster），每個虛擬集群中有一個或多個主機（Host）。節(jié)點部署是在保證每個節(jié)點資源需求的前提下，按照一定策略將Hadoop集群中的所有節(jié)點部

2013-10-28 14:14:43

hadoop vSphere 大數(shù)據(jù)

0.16版本salt的安裝與日常應(yīng)用

現(xiàn)在分享一下我對0.16版本salt的學(xué)習筆記一、安裝1、在ubuntu系統(tǒng)安裝添加源debhttp://debian.saltstack.com/debian wheezy-saltstack main把這個源放到/etc/apt/sources.list更新源apt-get update安裝服務(wù)端或者客戶端apt-get installsalt-masterapt-get installsal

2013-10-21 10:35:28

salt安裝 salt應(yīng)用 salt日常命令

Hadoop運維記錄系列(十一)

記錄一些Hive的優(yōu)化點，和能夠提升的效率差異。Hive是目前應(yīng)用最多最廣的SQL on Hadoop工具，近期很多專業(yè)的大數(shù)據(jù)公司推出了很多新的，基于列式或者內(nèi)存熱數(shù)據(jù)的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最廣的SQL on Hadoop的工具。在以前淘寶羅李的報告中，淘寶90%的業(yè)務(wù)跑在Hive上面。暴風影音的比例更高一些，大概95%以上

2013-09-12 18:19:35

系統(tǒng)性能調(diào)優(yōu)

Hadoop運維記錄系列(十)

昨天同事遇到一個hadoop故障，找了半天沒看出問題，問到我這里，花了一會解決了一下，估計這是我給暴風的集群解決的最后的故障了，以后就不定給誰解決問題去了。只截下來了Namenode的報錯Log，Datanode的刷屏刷過去了，不過都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

2013-09-04 16:31:43

記錄運維 hadoop

Pig自定義過濾UDF和加載UDF

Pig是一種數(shù)據(jù)流編程語言，由一系列操作和變換構(gòu)成，每一個操作或者變換都對輸入進行處理，然后產(chǎn)生輸出結(jié)果，整體操作表示一個數(shù)據(jù)流。Pig的執(zhí)行環(huán)境將數(shù)據(jù)流翻譯為可執(zhí)行的內(nèi)部表示，在Pig內(nèi)部，這些變換操作被轉(zhuǎn)換為一系列的MapReduce作業(yè)。 Pig自身有許多個方法，有時候需要我們自己定制特定的處

2013-09-04 09:26:02

Pig自定義過濾UDF 加載UDF

MapReduce工作的基本流程

Hadoop0.2之前版本和之后版本在Job中有很大的改進，本次采用的版本是Hadoop1.1.2版本。現(xiàn)在作為作業(yè)驅(qū)動器，可以直接繼承Configured以及實現(xiàn)Tool，這種方式可以很便捷的獲取啟動時候命令行中輸入的作業(yè)配置參數(shù)，常規(guī)的Job啟動如下：public class SortByHash extend

2013-09-02 20:58:46

工作流程 mapreduce hadoop

datanode單塊盤故障導(dǎo)致節(jié)點失效之腳本解決

問題：在hadoop的1.2.0中由于單個磁盤故障導(dǎo)致datanode節(jié)點失效，生產(chǎn)環(huán)境中datanode節(jié)點大多都有多塊磁盤，我們現(xiàn)在需要一種方法，讓datanode不會被單塊磁盤的故障導(dǎo)致整個節(jié)點失效。解決方法及適用場景： 1、修改hadoop源代碼(介個在作者能力之外)2、修改hdfs-site.xml中的dfs.data.dir的值，將故障盤的掛載點刪除并重啟(推薦在手動部署的hadoop

2013-08-29 11:59:16

datanode hadoop.shel

上一頁 1 2 3 4 5 下一頁

51CTO技術(shù)棧公眾號

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營

主站蜘蛛池模板：精品国产黄a∨片高清在线成人区精品一区二区婷婷日本一区二区视频 | 久久九九网站 | 福利片一区二区 | 在线一区观看 | 日韩精品免费视频 | 国产亚洲一区二区三区在线 | 色天堂影院 | 久久久青草婷婷精品综合日韩 | 黄色激情毛片 | 亚洲精品99999 | 国产最新精品视频 | 精品国产乱码久久久久久图片 | www国产成人免费观看视频,深夜成人网 | av在线播放免费 | 高清一区二区三区 | 国产精品资源在线 | 欧美日韩a| 欧美在线一区二区三区 | 免费精品在线视频 | 91影视 | 精品国模一区二区三区欧美 | 久久国产精品亚洲 | 狠狠操你 | 密乳av| 国产精品不卡 | 欧美国产一区二区 | 成人高潮片免费视频欧美 | 欧美日韩在线一区二区 | 一区二区国产精品 | 一级日韩 | 亚洲一区二区三区视频在线 | 男女免费观看在线爽爽爽视频 | 超碰人人91| 亚洲区一区二 | 亚洲a在线观看 | 欧美一区二区免费 | 一区二区三区亚洲精品国 | 手机av在线 | 超碰av在线| 亚洲97| 精品欧美一区二区中文字幕视频 |