Hadoop中如何使用Shell命令

本篇文章給大家分享的是有關Hadoop中如何使用Shell命令，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

Hadoop Shell命令

FSShell

調用文件系統(FS)Shell命令應使用bin/hadoopfs<args>的形式。所有的的FSshell命令使用URI路徑作為參數。URI格式是scheme://authority/path。對HDFS文件系統，scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更簡單的/parent/child（假設你配置文件中的默認值是namenode:namenodeport）。大多數FSShell命令的行為和對應的UnixShell命令類似，不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr，其他信息輸出到stdout。

cat
使用方法：hadoopfs-catURI[URI&hellip;]
將路徑指定文件的內容輸出到stdout。
示例：
hadoopfs-cathdfs://host1:port1/file1hdfs://host2:port2/file2
hadoopfs-catfile:///file3/user/hadoop/file4
返回值：
成功返回0，失敗返回-1。

copyFromLocal
使用方法：hadoopfs-copyFromLocal<localsrc>URI除了限定源路徑是一個本地文件外，和put命令相似。

copyToLocal
使用方法：hadoopfs-copyToLocal[-ignorecrc][-crc]URI<localdst>
除了限定目標路徑是一個本地文件外，和get命令類似。

cp
使用方法：hadoopfs-cpURI[URI&hellip;]<dest>
將文件從源路徑復制到目標路徑。這個Hadoop Shell命令允許有多個源路徑，此時目標路徑必須是一個目錄。
示例：
hadoopfs-cp/user/hadoop/file1/user/hadoop/file2
hadoopfs-cp/user/hadoop/file1/user/hadoop/file2/user/hadoop/dir
返回值：
成功返回0，失敗返回-1。

du
使用方法：hadoopfs-duURI[URI&hellip;]
此Hadoop Shell命令顯示目錄中所有文件的大小，或者當只指定一個文件時，顯示此文件的大小。
示例：
hadoopfs-du/user/hadoop/dir1/user/hadoop/file1hdfs://host:port/user/hadoop/dir1
返回值：
成功返回0，失敗返回-1。

dus
使用方法：hadoopfs-dus<args>
顯示文件的大小。

expunge
使用方法：hadoopfs-expunge
清空回收站。請參考HDFS設計文檔以獲取更多關于回收站特性的信息。

get
使用方法：hadoopfs-get[-ignorecrc][-crc]<src><localdst>
復制文件到本地文件系統。可用-ignorecrc選項復制CRC校驗失敗的文件。使用-crc選項復制文件以及CRC信息。
示例：
hadoopfs-get/user/hadoop/filelocalfile
hadoopfs-gethdfs://host:port/user/hadoop/filelocalfile
返回值：
成功返回0，失敗返回-1。Hadoop Shell命令還有很多，這里只介紹了其中的一部分。

以上就是Hadoop中如何使用Shell命令，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。