Hadoop配置和啟動(dòng)Hadoop方法詳解
本節(jié)和大家學(xué)習(xí)一下如何進(jìn)行Hadoop配置與啟動(dòng)Hadoop方面的知識(shí)，相信通過(guò)本節(jié)的介紹大家對(duì)Hadoop配置和啟動(dòng)Hadoop方法有一定的認(rèn)識(shí)，希望本節(jié)的介紹對(duì)你的學(xué)習(xí)有所幫助。
Hadoop配置與啟動(dòng)Hadoop
Hadoop三種模式：
StandaloneOperation：只有一個(gè)Java虛擬機(jī)在跑，完全沒(méi)有分布式的成分。
Pseudo-DistributedOperation：在同一臺(tái)機(jī)器上啟動(dòng)獨(dú)立數(shù)個(gè)JVM進(jìn)程，進(jìn)行“分布式”操作。
Fully-DistributedOperation：真正的可以運(yùn)行于多臺(tái)機(jī)器上的分布式模式。(我們按這種方式進(jìn)行配置)
環(huán)境：
***臺(tái)：win7+cygwin
第二臺(tái)：虛擬機(jī)CentOS.5.3
實(shí)現(xiàn)目標(biāo)：
cygwin作為master，部署上NameNode+JobTracker，IP：192.168.220.1
CentOS作為slaver，部署上DataNode+TaskTracker，IP：192.168.14.128
Hadoop配置準(zhǔn)備工作：
1.免密碼SSH登錄，cygwin=》CentOS，見(jiàn)：http://efeil.blog.163.com/blog/static/1189022972010210544494/
2.兩個(gè)系統(tǒng)Hosts配置相同，為：192.168.220.1hadoop-master
192.168.14.128hadoophadoop-slave01
3.Hadoop配置中conf/core-site.xml配置
<configuration>
<!---globalproperties-->
<property>
<name>hadoop.tmp.dir</name>
<!--這是Cygwin下配置，CentOS下為/tmp/hdfs-gaoyanfei-->
<value>e:/tmp/hdfs-gaoyanfei</value>
<description>Abaseforothertemporarydirectories.</description>
</property>
<!--filesystemproperties-->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop-master:9000</value>
</property>
</configuration>
4.Hadoop配置中conf/hdfs-site.xml配置：
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5.Hadoop配置中conf/mapred-site.xml配置：
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
<!--Putsite-specificpropertyoverridesinthisfile.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop-master:9001</value>
</property>
</configuration>
6.masters配置內(nèi)容：hadoop-master
7.slaves配置內(nèi)容：hadoop-slave01
8.在Cygwin下啟動(dòng)：
1.bin/hadoopnamenode-format
2.bin/start-all.sh。本節(jié)關(guān)于Hadoop配置與啟動(dòng)Hadoop介紹到這里
【編輯推薦】
- 輕松實(shí)現(xiàn)Hadoop Hdfs配置
- 專(zhuān)家指導(dǎo) 如何進(jìn)行Hadoop分布式集群配置
- Hadoop配置指導(dǎo)手冊(cè)
- HadoopHBase實(shí)現(xiàn)配置簡(jiǎn)單的單機(jī)環(huán)境
- 深入剖析Hadoop HBase
