Hadoop是IT行業(yè)一個新的熱點，是云計算的一個具體實現、Hadoop本身具有很高的技術含量，是IT工程師學習的首選！下面我們來詳細講講什么是Hadoop。

完整hadoop講解視頻教程下載地址：

1、http://kuai.xunlei.com/d/CLCBYHQKJQNT

2、http://kuai.xunlei.com/d/CSMFERCHAGEE

Hadoop是什么：

Hadoop = The Hadoop projects

Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie

Hadoop要解決的兩個問題：

1、海量數據的存儲 -- HDFS

2、海量數據的分析 -- MapReduce

Hadoop發(fā)展的歷史：

始于2002年的apache項目Nutch

2003年Google發(fā)表了關于GFS的論文

2004年Nutch的開發(fā)者開發(fā)了NDFS

2004年Google發(fā)表了關于MapReduce的論文

2005年MapR被引入了NDFS

2006年改名為Hadoop，NDFS的創(chuàng)始人加入Yahoo，Yahoo成立了一個專門的小組發(fā)展Hadoop

HDFS設計目標：

1、Very large files

2、Streaming data access

write-once, read-many-times

3、Commodity hardware

HDFS架構：

在Hadoop中，一個文件被劃分成大小固定的多個文件塊，分布的存儲在集群中的節(jié)點中

Block：一個文件分塊，默認64M

NameNode：保存整個文件系統(tǒng)的目錄信息，文件信息以及文件相應的分塊信息。

DataNode：用于存儲Blocks

HDFS的HA策略：NameNode一旦宕機，整個文件系統(tǒng)將無法工作。

如果NameNode中的數據丟失，整個文件系統(tǒng)也就丟失了。

2.x開始，HDFS支持NameNode的active-standy模式。