溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
小編給大家分享一下Apache Hadoop 2.4.1命令有哪些，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
所有的Hadoop命令都是通過bin/hadoop目錄下的腳本所執行，在沒有任何參數的情況下運行Hadoop腳本將打印該命令描述。
Usage：Hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
hadoop有個輸入選項解析框架可以利用在運行class的時候來解析參數。
| COMMAND_OPTION | Description |
| --config confdir | 包含所有的配置目錄，默認目錄是$HADOOP_HOME/conf |
GENERIC_OPTION COMMAND_OPTION | 這個選項的集合被多個命令支持。各個命令和它們的選項描述在下列的段落中。這些命令被分組成用戶命令和管理員命令。 |
dfsadmin, fs, fsck, job and fetchdt都支持下屬選項所有的。應用程序需要實現Tool接口然后才能支持通用選項解析。
| GENERIC_NAME | Description |
| --conf <configuration file> | 指定一個文件的配置文件 |
| -D <property>=<value> | 為屬性指定值 |
| -jt <local> or <jobtracker:port> | 指定一個Job tracker。 僅僅應用于Job。 |
| -files <comma separated list of files> | 用逗號分隔文件并復制到map reduce集群。僅僅應用于job。 |
| -libjars <comma separated list of jars> | 逗號分隔在classpath中的jar文件。僅僅應用于job。 |
| -archives <comma separated list archives> | 用逗號分隔在計算中未歸檔的文件。 僅僅應用于job。 |
hadoop集群用戶基于命令是非常方便的
創建一個Hadoop歸檔，更多信息可以在Hadoop歸檔中查找。
Usage： hadoop archive -archiveName NAME <src>* <dest>
| COMMAND_OPTION | Description |
| -archiveName NAME | 被創建archive的名字 |
| src | 文件系統的工作路徑，通常使用正則表達式 |
| dest | 包含archive文件的目標目錄 |
遞歸拷貝文件或者目錄，更多信息可以通過Hadoop DistCp指南來查看。
Usage：hadoop distcp <srcurl> <desturl>
| COMMAND_OPTION | Description |
| srcurl | URL源 |
| desturl | 目標URL |
Usage：hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]
反對使用，使用hdfs dfs代替使用。
使用客戶端運行一個通用文件系統。
各種COMMAND_OPTIONS都可以通過File System Shell指南找到
運行一個hdfs系統檢查工具，更多信息參考fsck。
Usage： hadoop fsck [GENERIC_OPTION] <path> [-move | -delete | -openforwrite] [-file [-blocks [-locations | racks] ] ]
| COMMAND_OPTION | Description |
| path | 開始檢查這個path |
| -move | 移動錯誤的文件到/lost+found |
| -delete | 刪除錯誤的文件 |
| -openforwrite | 為寫打開文件 |
| -files | 檢查輸出文件 |
| -blocks | 打印快報告 |
| -locations | 打印每個塊的位置 |
| -racks | 為數據節點位置打印網絡拓撲 |
從NameNode獲取委托token，更多信息請參考fetchdt。
Usage： hadoop fetchdt [GENERIC_OPTIONS] [--webservice <namenode_http_addr>] <path>
| COMMAND_OPTION | Description |
| FileName | 文件名字存在的記錄中 |
| --webservice https_address | 使用http協議代替RPC |
運行一個jar文件，用戶可以打包他們的map reduce文件并且可以使用這個命令執行。
Usage： hadoop jar <jar> [mainClass] args ...
流的工作需要通過這個命令。例子可以從Streaming examples中查閱。
單詞統計例子也可以使用jar命令來運行，這個例子我們也可以在Wordcount example中查閱。
與map reduce job命名交互。
Usage： hadoop job [GENERIC_OPTIONS] [-submit <jobfile>] | [status <job-id>] | [counter <job-id> <group_name> <counter-name>] | [-kill <job-id>] | [-events <job-id> <from-event-#>] | [-history [all] [JobOutputDir]] | [-list [all]] | [kill-task<task-id>] | [-fail-task <task-id>] | [-set-priority<job-id> <priority>]
| COMMAND-OPTIONS | Description |
| -submit job-file | 提交一個作業 |
| -status job-id | 打印map reduce完成的百分比和所有作業數量 |
| -counter job-id group name counter-name | 打印統計值 |
| -kill job-id | 殺掉這個作業 |
| -events job-id from-event-# #-of-events | 打印從jobtracker給定范圍接收到的事件細節。 |
| -history [all]jobOutputDir | 打印工作細節,失敗和死亡提示信息。 以通過指定[所有]選項獲取詳細的工作任務和任務成功的嘗試 |
| -list [all] | 顯示已經完成的作業。 list all顯示所有的作業 |
| -kill-task task-id | 殺掉這任務。殺死的任務并不算失敗的嘗試 |
| -fail-task task-id | 失敗的任務。失敗的任務算失敗嘗試 |
| -set-priority job-id priority | 改變job的優先權，允許的有限值是VERY_HIGH, HIGH, NORMAL, LOW, VERY_LOW |
運行一個管道作業。
Usage： hadoop pipes [-conf <path>] [-jobconf <key=value>,[key=value],...] [-input <path>] [-output <path>] [-jar <jarfile>]
[-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]
| COMMANE_OPTION | Description |
| -conf path | Job配置文件 |
| -jobconf key=value,key=value,... | 添加/覆蓋配置文件 |
| -input path | 輸入目錄 |
| -output path | 輸出目錄 |
| -jar jar file | jar文件 |
| -inputformat class | InputFormat 類 |
| -map class | java Map類 |
| -partitioner class | java partitioner |
| -reduce class | java reduce 類 |
| -writer class | Java RecordWriter |
| -program executable | 可執行的URI |
| -reduces num | reduce的數量 |
此命令可以跟hadoop job的隊列交互。
Usage： hadoop queue [-list] | [-info <job-queue-name> [ShowJobs]] | [Showacls]
| COMMAND_OPTION | Description |
| -list | 獲得系統中作業隊列的配置列表，以及與作業相關的隊列調度信息 |
| -info job-queue-name [-showJobs] | 顯示指定作業隊列的隊列信息和相關的調度信息。如果存在 -showJobs選項的列表，則表示作業提交給指定的作業隊列。 |
| -showacls | 顯示隊列名稱和允許當前用戶相關的隊列操作。列表只包含用戶訪問隊列。 |
打印出Hadoop的版本。
Usage： hadoop version
可以使用hadoop腳本去執行任何一個類。
Usage： hadoop CLASSNAME
運行這個類的名字叫著 CLASSNAME
打印hadoop所需jar文件和需求庫的路徑。
Usage： hadoop classpath
hadoop集群管理員可以基于管理員命令很好的管理集群。
運行一個負載均衡工具，管理員可以簡單的執行 Ctrl-C去停止這個操作， 更對細節請參考 Rebalancer 。
Usage： hadoop balancer [-threshold <threshold>]
| COMMAND_OPTION | Description |
| -threshold threshold | 磁盤容量百分比。覆蓋默認的閥值。 |
為每個守護進程設置日志查看或者設置級別
Usage: hadoop daemonlog -getlevel <host:port> <name>
Usage: hadoop daemonlog -setlevel <host:port> <name> <level>
| COMMAND_OPTION | Description |
| -getlevel host:port name | 打印運行在host:port守護進程的日志級別，這個命令內部連接到http://host:port/logLevel?log=name |
| -setlevel host:port name level | 設置運行在host:port守護進程的日志級別，這個命令內部連接到http://host:port/logLevel?log=name |
啟動一個 HDFS datanode。
Usage: hadoop datanode [-rollback]
| COMMAND_OPTION | Description |
| -rollback | 回滾datanode前一個版本，這應該用于停止datanode和hadoop分布式舊版本后 |
啟動一個hdfs 管理客戶端。
Usage： hadoop dfsadmin [GENERIC_OPTIONS] [-report] [safemode enter | leave | wait | get] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname> ... <dirname>] [-restoreFailedStorage true|false | check] [-help [cmd]]
| COMMAND_OPTION | Description |
| -report | 報告基本的文件系統的信息和狀態 |
| -safemode enter / leave / get / wait | 安全模式維護命令。安全模式的Namenode狀態 1.name space不接受改變（只讀） 2.不能復制和刪除塊 NameNode啟動自動進入安全模式，當配置的最小的塊的百分比滿足最小復制狀態自動離開安全模式。安全模式也可以手動進入，但也需要手動退出。 |
| -refreshNodes | 允許連接到namenode和那些應停止或重新啟用集合，重新讀取主機和排除的文件更新到datanode。 |
| -finalizeUpgrade | HDFS完成升級。datanode刪除他們的之前版本的工作目錄,其次是Namenode做同樣的事。這就完成了升級過程。 |
| -upgradeProgress status/details/force | 請求當前分布式的升級狀態。詳細狀態或者強制升級。 |
| -metasave filename | 通過hadoop.log.dir屬性指定的目錄保存NameNode的主要數據結構到文件。如果文件名已經存在將被覆蓋。filename將會包含下列的每一項： 1.DataNode心跳 2.等待復制的塊 3.目前被復制的塊 4.等待被刪除的塊 |
| setQuota quota dirname ... dirname | 為每個dirname目錄設置定額，目錄配額是一個長整數，并且目錄樹名和數量是一個硬限制。最佳工作目錄，錯誤報告 1.用戶不是管理員 2.N不是一個正整數 3.目錄不存在或者是一個文件 4.目錄將會超過新限額 |
| -clrQuota dirname ... dirname | 明白每個dirname目錄的定額，最佳工作目錄，與故障報告 1.目錄不存在或者是一個文件 2.用戶不是管理員，如果目錄沒有配額它沒有錯 |
| -restroreFailedStorage true/false/check | 這個選項將打開/關閉自動試圖恢復失敗的存儲副本。如果要失敗的存儲再次可用，系統將會試圖從checkpoint中恢復edits或(和)fsimage. 'check'將返回當前設置 |
| -help [cmd] | 顯示給定命令的幫助，或如果沒有指定命令，則顯示全部幫助 |
運行一個mr管理客戶端。
Usage： hadoop mradmin [GENERIC_OPTION] [-refreshQueueAcls]
| COMMAND_ OPTION | Description |
| -refreshQueueAcls | 更新hadoop使用的acl隊列 |
運行一個MapReduce job tracker。
Usage：hadoop jobtracker [dumpConfiguration]
| COMMAND_OPTION | Description |
| -dumpconfiguration | 轉儲 JobTracker所使用的配置以及JSON格式的JobTracker和exits使用標準輸出配置。 |
運行namenode。關于升級、回滾、初始化的更多信息請參考Upgrade Rollback 。
Usage： hadoop namenode [-format] [-upgrade] [-rollback] [-finalize] [-importCheckpoint]
| COMMAND_OPTION | Description |
| -format | 格式化namenode,它啟動namenode，格式化它，然后關閉它。 |
| -upgrade | Namenode應該開啟升級新hadoop版本分布式選項。 |
| -rollback | 回滾之前的版本。停止舊版本hadoop分布式集群后才應該被使用。 |
| -finalize | 確定將要刪除先前文件系統的狀態，最近的升級變為永久，回滾選項將不再可用。結束后將namenode關閉 |
| -importCheckpoint | 從一個checkpoint目錄加載image并且將他保存到當前的一個。從屬性fs.checkpoint.dir讀取Checkpoint目錄 |
運行 HDFS secondary namenode， 更多信息請參考 Secondary Namenode 。
Usage：hadoop secondraynamenode [-checkpoint [force]] | [-geteditsize]
| COMMAND_OPTION | Description |
| -checkPoint [force] | 如果EditLog .size >= fs.checkpoint.size，檢查點secondary namenode 。 如果使用了-force，檢查點忽略EditLog .size |
| -geteditsize | 打印Edit Log大小 |
運行一個MapReduce的tasktracker節點。
Usage： hadoop tasktracker
以上是“Apache Hadoop 2.4.1命令有哪些”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
