本節(jié)和大家一起學(xué)習(xí)一下有關(guān)使用Linux和ApacheHadoop進行云計算的相關(guān)內(nèi)容，主要包括Hadoop集群的概念視圖和MapReduce的流程，歡迎大家一起來學(xué)習(xí)有關(guān)云計算方面的知識。

Hadoop集群的概念視圖和MapReduce的流程

設(shè)置ApacheHadoop

現(xiàn)在在LinuxVM上設(shè)置Hadoop集群，然后就可以在Hadoop集群上運行MapReduce應(yīng)用程序。

ApacheHadoop支持三種部署模式：

單獨模式：在默認情況下，Hadoop以非分布的單獨模式運行。這個模式適合應(yīng)用程序調(diào)試。
偽分布模式：Hadoop還可以以單節(jié)點的偽分布模式運行。在這種情況下，每個Hadoop守護進程作為單獨的Java?進程運行。
全分布模式：Hadoop配置在不同的主機上，作為集群運行。
要想以單獨或偽分布模式設(shè)置Hadoop，請參考Hadoop的網(wǎng)站。在本文中，我們只討論以全分布模式設(shè)置Hadoop。

準備環(huán)境

在本文中，我們需要三臺GNU/Linux服務(wù)器；一個作為主節(jié)點，另外兩個作為從節(jié)點。

表1.服務(wù)器信息
服務(wù)器IP服務(wù)器主機名角色
9.30.210.159Vm-9-30-210-159主節(jié)點（NameNode和JobTracker）
9.30.210.160Vm-9-30-210-160從節(jié)點1（DataNode和TaskTracker）
9.30.210.161Vm-9-30-210-161從節(jié)點2（DataNode和TaskTracker）
每臺機器都需要安裝JavaSE6和Hadoop二進制代碼。更多信息見參考資料。本文使用Hadoopversion0.19.1。
還需要在每臺機器上安裝SSH并運行sshd。SUSE和RedHat等流行的Linux發(fā)行版在默認情況下已經(jīng)安裝了它們。

設(shè)置通信

更新/etc/hosts文件，確保這三臺機器可以使用IP和主機名相互通信。
因為Hadoop主節(jié)點使用SSH與從節(jié)點通信，所以應(yīng)該在主節(jié)點和從節(jié)點之間建立經(jīng)過身份驗證的無密碼的SSH連接。在每臺機器上執(zhí)行以下命令，從而生成RSA公共和私有密鑰。
ssh-keygen–trsa
這會在/root/.ssh目錄中生成id_rsa.pub。重命名主節(jié)點的id_rsa.pub（這里改名為59_rsa.pub）并把它復(fù)制到從節(jié)點。然后執(zhí)行以下命令，把主節(jié)點的公共密鑰添加到從節(jié)點的已授權(quán)密鑰中。
cat/root/.ssh/59_rsa.pub>>/root/.ssh/authorized_keys
現(xiàn)在嘗試使用SSH連接從節(jié)點。應(yīng)該可以成功連接，不需要提供密碼。

設(shè)置主節(jié)點

把Hadoop設(shè)置為全分布模式需要配置<Hadoop_home>/conf/目錄中的配置文件。
在hadoop-site.xml中配置Hadoop部署。這里的配置覆蓋hadoop-default.xml中的配置。

表2.配置屬性
屬性解釋
fs.default.nameNameNodeURI
mapred.job.trackerJobTrackerURI
dfs.replication復(fù)制的數(shù)量
hadoop.tmp.dir臨時目錄

通過配置hadoop-env.sh文件指定JAVA_HOME。注釋掉這一行并指定自己的JAVA_HOME目錄。
exportJAVA_HOME=<JAVA_HOME_DIR>
在master文件中添加主節(jié)點的IP地址。
9.30.210.159
在slave文件中添加從節(jié)點的IP地址。
9.30.210.160
9.30.210.161

設(shè)置從節(jié)點

把hadoop-site.xml、hadoop-env.sh、masters和slaves復(fù)制到每個從節(jié)點；可以使用SCP或其他復(fù)制工具。

對HDFS進行格式化

運行以下命令對HDFS分布式文件系統(tǒng)進行格式化。
<Hadoop_home>/bin/hadoopnamenode-format

 檢查Hadoop集群

現(xiàn)在，可以使用bin/start-all.sh啟動Hadoop集群。命令輸出指出主節(jié)點和從節(jié)點上的一些日志。檢查這些日志，確認一切正常。如果弄亂了什么東西，可以格式化HDFS并清空hadoop-site.xml中指定的臨時目錄，然后重新啟動。
訪問以下URL，確認主節(jié)點和從節(jié)點是正常的。
NameNode:http://9.30.210.159:50070
JobTracker:http://9.30.210.159:50030
現(xiàn)在，已經(jīng)在云中設(shè)置了Hadoop集群，該運行MapReduce應(yīng)用程序了。

建MapReduce應(yīng)用程序

MapReduce應(yīng)用程序必須具備“映射”和“縮減”的性質(zhì)，也就是說任務(wù)或作業(yè)可以分割為小片段以進行并行處理。然后，可以縮減每個子任務(wù)的結(jié)果，得到原任務(wù)的結(jié)果。這種任務(wù)之一是網(wǎng)站關(guān)鍵字搜索。搜索和抓取任務(wù)可以分割為子任務(wù)并分配給從節(jié)點，然后在主節(jié)點上聚合所有結(jié)果并得到最終結(jié)果。

試用示例應(yīng)用程序

Hadoop附帶一些用于測試的示例應(yīng)用程序。其中之一是單詞計數(shù)器，它統(tǒng)計某一單詞在幾個文件中出現(xiàn)的次數(shù)。通過運行這個應(yīng)用程序檢查Hadoop集群。
首先，把輸入文件放在分布式文件系統(tǒng)中（conf/目錄下面）。我們將統(tǒng)計單詞在這些文件中出現(xiàn)的次數(shù)。
$bin/hadoopfs–putconfinput
然后，運行這個示例應(yīng)用程序，以下命令統(tǒng)計以“dfs”開頭的單詞出現(xiàn)的次數(shù)。
$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'

 命令的輸出說明映射和縮減過程：

前兩個命令會在HDFS中生成兩個目錄，“input”和“output”。可以使用以下命令列出它們。
$bin/hadoopfs–ls
查看分布式文件系統(tǒng)中已經(jīng)輸出的文件。它以鍵-值對的形式列出以“dfs*”開頭的單詞出現(xiàn)的次數(shù)。
$bin/hadoopfs-catouput/*
現(xiàn)在，訪問JobTracker站點查看完成的作業(yè)日志。

創(chuàng)建LogAnalyzerMapReduce應(yīng)用程序：

現(xiàn)在創(chuàng)建一個Portal(IBMWebSphere?Portalv6.0)LogAnalyzer應(yīng)用程序，它與Hadoop中的WordCount應(yīng)用程序有許多共同點。這個分析程序搜索所有Portal的SystemOut*.log文件，顯示在特定的時間段內(nèi)應(yīng)用程序在Portal上啟動了多少次。在Portal環(huán)境中，所有日志分割為5MB的片段，很適合由幾個節(jié)點并行地分析。本節(jié)關(guān)于使用Linux和ApacheHadoop進行云計算中Hadoop集群方面的內(nèi)容介紹完畢。

【編輯推薦】

1. Hadoop集群配置中如何寫入和讀取數(shù)據(jù)？
2. 學(xué)習(xí)筆記 Hadoop集群如何搭建
3. Hadoop文件系統(tǒng)如何快速安裝？
4. Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解
5. Hadoop完全分布模式安裝實現(xiàn)詳解