常見Hadoop Shell命令用法詳解
Hadoop命令你是否熟悉,本節就像大家簡單介紹一下常見Hadoop Shell命令方面的知識,歡迎大家一起來學習,希望通過本節的介紹大家對Hadoop Shell命令有更深刻的認識。
Hadoop Shell命令
FSShell
調用文件系統(FS)Shell命令應使用bin/hadoopfs<args>的形式。所有的的FSshell命令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS文件系統,scheme是hdfs,對本地文件系統,scheme是file。其中scheme和authority參數都是可選的,如果未加指定,就會使用配置中指定的默認scheme。一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更簡單的/parent/child(假設你配置文件中的默認值是namenode:namenodeport)。大多數FSShell命令的行為和對應的UnixShell命令類似,不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr,其他信息輸出到stdout。
cat
使用方法:hadoopfs-catURI[URI…]
將路徑指定文件的內容輸出到stdout。
示例:
hadoopfs-cathdfs://host1:port1/file1hdfs://host2:port2/file2
hadoopfs-catfile:///file3/user/hadoop/file4
返回值:
成功返回0,失敗返回-1。
copyFromLocal
使用方法:hadoopfs-copyFromLocal<localsrc>URI除了限定源路徑是一個本地文件外,和put命令相似。
copyToLocal
使用方法:hadoopfs-copyToLocal[-ignorecrc][-crc]URI<localdst>
除了限定目標路徑是一個本地文件外,和get命令類似。
cp
使用方法:hadoopfs-cpURI[URI…]<dest>
將文件從源路徑復制到目標路徑。這個Hadoop Shell命令允許有多個源路徑,此時目標路徑必須是一個目錄。
示例:
hadoopfs-cp/user/hadoop/file1/user/hadoop/file2
hadoopfs-cp/user/hadoop/file1/user/hadoop/file2/user/hadoop/dir
返回值:
成功返回0,失敗返回-1。
du
使用方法:hadoopfs-duURI[URI…]
此Hadoop Shell命令顯示目錄中所有文件的大小,或者當只指定一個文件時,顯示此文件的大小。
示例:
hadoopfs-du/user/hadoop/dir1/user/hadoop/file1hdfs://host:port/user/hadoop/dir1
返回值:
成功返回0,失敗返回-1。
dus
使用方法:hadoopfs-dus<args>
顯示文件的大小。
expunge
使用方法:hadoopfs-expunge
清空回收站。請參考HDFS設計文檔以獲取更多關于回收站特性的信息。
get
使用方法:hadoopfs-get[-ignorecrc][-crc]<src><localdst>
復制文件到本地文件系統。可用-ignorecrc選項復制CRC校驗失敗的文件。使用-crc選項復制文件以及CRC信息。
示例:
hadoopfs-get/user/hadoop/filelocalfile
hadoopfs-gethdfs://host:port/user/hadoop/filelocalfile
返回值:
成功返回0,失敗返回-1。Hadoop Shell命令還有很多,這里只介紹了其中的一部分。
【編輯推薦】
- 輕松實現Hadoop Hdfs配置
- 專家指導 如何進行Hadoop分布式集群配置
- Hadoop集群與Hadoop性能優化
- HadoopHBase實現配置簡單的單機環境
- 深入剖析Hadoop HBase