Hadoop的常用命令以及安全模式屬性說明

這篇文章主要講解了“Hadoop的常用命令以及安全模式屬性說明”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Hadoop的常用命令以及安全模式屬性說明”吧！

namenode（hdfs）+jobtracker（mapreduce）可以放在一臺機器上，datanode+tasktracker可以在一臺機器上，輔助namenode要單獨放一臺機器，jobtracker通常情況下分區跟datanode一樣(目錄最好分布在不同的磁盤上，一個目錄對應一個磁盤)，namenode存儲目錄需要格式化，datanode存儲目錄不需要格式化，啟動時自動創建
同一個datanode上的每個磁盤上的塊不會重復，不同datanode之間的塊才可能重復

一些文件的說明：

1、dfs.hosts 記錄即將作為datanode加入集群的機器列表
2、mapred.hosts 記錄即將作為tasktracker加入集群的機器列表
3、dfs.hosts.exclude mapred.hosts.exclude 分別包含待移除的機器列表
4、master 記錄運行輔助namenode的機器列表
5、slave 記錄運行datanode和tasktracker的機器列表
6、hadoop-env.sh 記錄腳本要用的環境變量，以運行hadoop
7、core-site.xml hadoop core的配置項，例如hdfs和mapreduce常用的i/o設置等
8、hdfs-site.xml hadoop守護進程的配置項，包括namenode、輔助namenode和datanode等
9、mapred-site.xml mapreduce守護進程的配置項，包括jobtracker和tasktracker
10、hadoop-metrics.properties 控制metrics在hadoop上如何發布的屬性
11、log4j.properties 系統日志文件、namenode審計日志、tasktracker子進程的任務日志的屬性

一、hdfs守護進程的關鍵屬性

1、fs.default.name 類型：uri 默認值：file:/// 說明：默認文件系統，uri定義主機名稱和namenode的rpc服務器工作的端口號，默認是8020，在core-site.xml中配置
2、dfs.name.dir 類型：以逗號分隔的目錄名稱 默認值：${hadoop.tmp.dir}/dfs/name 說明：namenode存儲永久性的元數據的目錄列表，namenode在列表上的各個目錄中均存放相同的元數據文件
3、dfs.data.dir 類型：以逗號分隔的目錄名稱 默認值：${hadoop.tmp.dir}/dfs/data 說明：datanode存放數據塊的目錄列表，各個數據塊分別存于某個目錄中
4、fs.checkpoint.dir 類型：以逗號分隔的目錄名稱 默認值：${hadoop.tmp.dir}/dfs/namesecondary 說明：輔助namenode存放檢查點的目錄列表，在所列的各個目錄中分別存放一份檢查點文件副本

二、mapreduce守護進程關鍵屬性

1、mapred.job.tracker 類型：主機名和端口 默認值：local 說明：jobtracker的rpc服務器所在的主機名稱和端口號，如果設為默認值local，則運行一個mapreduce作業時，jobtracker即時以處理時模式運行（換言之，用戶無需啟動jobtracker；實際上試圖在該模式下啟動jobtracker會引發錯誤）
2、mapred.local.dir 類型：逗號分割的目錄名稱 默認值：${hadoop.tmp.dir}/mapred/local 說明：存儲作業中間數據的一個目錄列表，作業終止時，數據被清除
3、mapred.system.dir 類型：uri 默認值：${hadoop.tmp.dir}/mapred/system 說明：在作業運行期間存儲共享文件的目錄，相對于fs.default.name
4、mapred.tasktracker.map.tasks.maximum 類型：int 默認值：2 說明：在任一時刻，運行在tasktracker之上的map任務的最大數
5、mapred.tasktracker.reduce.tasks.maximum 類型：int 默認值：2 說明：在任一時刻，運行在tasktracker之上的reduce任務的最大數
6、mapred.child.java.opts 類型：string 默認值：-xmx200m 說明：jvm選項，用于啟動運行map和reduce任務的tasktracker子進程，該屬性可以針對每個作業進行設置，例如，可以設置jvm的屬性，以支持調試
7、mapred.child.ulimit 限制由tasktracker發起的子進程的最大虛擬內存（單位千字節），該值設置一定要大于6設置項的值

三、rpc服務器屬性

1、dfs.datanode.ipc.address 默認值：0.0.0.0:50020 說明：datanode的rpc服務器的地址和端口
2、mapred.job.tracker 默認值：local 說明：被設為主機名稱和端口號時，該屬性指定jobtracker的rpc服務器地址和端口，常用的端口號時8021
3、mapred.task.tracker.report.address 默認值：127.0.0.1:0 說明：tasktracker的rpc服務器地址和端口號，tasktracker的子jvm利用它和tasktracker通信，在本例中，可以使用任一空閑端口，因為服務器僅對會送地址隱藏，如果本機器沒有會送地址，則需變更默認設置
datanode也運行tcp/ip服務器以支持塊傳輸，默認由dfs.datanode.address設定，默認值是0.0.0.0:50010

四、http服務器屬性

1、mapred.job.tracker.http.address 默認值：0.0.0.0:50030 說明：jobtracker的http服務器地址和端口
2、mapred.task.tracker.http.address 默認值：0.0.0.0:50060 說明：tasktracker的http服務器地址和端口
3、dfs.http.address 默認值：0.0.0.0:50070 說明：namenode的http服務器地址和端口
4、dfs.datanode.http.address 默認值：0.0.0.0:50075 說明：datanode的http服務器地址和端口
5、dfs.secondary.http.address默認值：0.0.0.0:50090 說明：輔助namenode的http服務器地址和端口
可以選擇某一個網絡接口作為各個datanode和tasktracker的ip地址（針對http和rpc服務器）。相關屬性項包括dfs.datanode.dns.interface和mapred.tasktracker.dns.interface，默認值都是default


五、安全模式屬性說明
1、dfs.replication.min 類型：int 默認值：1 說明：設置最小副本級別，成功執行寫操作所需要創建的最少副本數目（也就是最小復本級別）
2、dfs.safemode.threshold.pct 類型：float 默認值：0.999 說明：在namenode退出安全模式之前，系統中滿足最小復本級別（由上一個選項定義）的塊的比例，將這項值設為0或更小的比例會令namenode無法啟動安全模式，設為高于1則永遠不會退出安全模式
3、dfs.safemode.extension 類型：int 默認值：30000 說明：在最小復本條件（由上一個選項定義）滿足之后，namenode還需要處于安全模式的時間（以毫秒為單位），對于小型集群（十幾個節點），這項值可以設為0

 
core-site.xml個別設置說明：

1、io.file.buffer.size 設置緩沖區大小，默認4kb（64kb 128kb）
2、fs.trash.interval 設置回收站中的文件保留多久后刪除，以分鐘為單位，默認值是0，表示回收特性無效。該回收功能是用戶級特性，啟用后，每個用戶都有自己獨立的回收站目錄，即home目錄下的.trash目錄，恢復時只要從該目錄找到被刪除的文件，將其移除就可以了。hdfs會自動刪除回收站中的文件，其它文件系統不具備這個功能，需要使用下列命令自行刪除 hadoop fs -expunge

hdfs-site.xml個別設置說明：

1、dfs.block.size 設置hdfs塊大小，默認64mb （128mb 256mb）
2、dfs.balance.bandwidthPerSec 設置均衡器在不同節點之間復制數據的帶寬

dfs.datanode.du.reserved 設置保留空間的大小，以供其它程序使用,以字節為單位
fs.checkpoint.period 設置輔助namenode每隔多久創建檢查點，以秒為單位
fs.checkpoint.size 設置當編輯日志（edits）大大小達到多少mb時，創建檢查點，系統每5分鐘檢查一次編輯日志大小
dfs.datanode.numblocks 設置datanode一個目錄存放多少個塊時，就重新創建一個子目錄
dfs.datanode.scan.period.hours 設置datanode塊掃描的周期，默認三周（504小時）掃描一次

 
hadoop命令：

1、hadoop fs -mkdir /user/username 創建用戶
2、hadoop fs -chown user:user /user/username 設置權限
3、hadoop dfsadmin -setSpaceQuota 1t /user/username 限制空間容量
4、hadoop dfsadmin -saveNamespace 創建檢查點，將內存中的文件熊映射保存為一個新的fsimage文件，重置edits文件，該操作僅在安全模式下執行
5、hadoop dfsadmin -safemode get 查看namenode是否處于安全模式
6、hadoop dfsadmin -safemode wait 在腳本中執行某條命令前namenode先退出安全模式
7、hadoop dfsadmin -safemode enter 進入安全模式
8、hadoop dfsadmin -safemode leave 離開安全模式
9、hadoop dfsadmin -report 顯示文件系統的統計信息，以及所連接的各個datanode的信息
10、hadoop dfsadmin -metasave 將某些信息存儲到hadoop日志目錄中的一個文件中，包括正在被復制或刪除的塊信息，以及已連接的datanode列表
11、hadoop dfsadmin -refreshNodes 更新允許連接到namenode的datanode列表
12、hadoop dfsadmin -upgradeProgress 獲取有關hdfs升級的進度信息或強制升級
13、hadoop dfsadmin -finalizeUpgrade 移除datanode和namenode的存儲目錄上的舊版數據
14、hadoop dfsadmin -setQuota 設置目錄中包含的文件和子目錄的個數的配額
15、hadoop dfsadmin -clrQuota 清理指定目錄的文件和子目錄個數的配額
16、hadoop dfsadmin -clrSpaceQuota 清理指定的空間大小配額
17、hadoop dfsadmin -refreshServiceAcl 刷新namenode的服務級授權策略文件
18、hadoop fsck / 檢查hdfs中文件的健康狀況，該工具會查找那些所有datanode中均缺失的塊以及過少或過多復本的塊
19、hadoop fsck /user/tom/part-007 -files -blocks -racks files選項顯示文件名稱，大小，塊數量，健康狀況；block選項描述文件中各個塊的信息，每個塊一行；racks選項顯示各個塊的機架位置和datanode的地址
使Datanode節點datanodename退役     bin/hadoop dfsadmin -decommission datanodename

解決主nemenode重啟較慢的方法：（使用 -importCheckpoint選項啟動輔助namenode，可將輔助namenode用作新的主namenode）

1、輔助namenode請求主namenode停止使用edits（記錄操作日志的文件）文件。暫時將新記錄寫操作記錄到一個新文件中
2、輔助namenode從主namenode獲取fsimage（元數據永久檢查點文件）和edits文件（采用http get）
3、輔助namenode將fsimage文件載入內存，逐一執行edits文件中的操作，創建新的fsimage文件
4、輔助namenode將新的fsimage文件發送回主namenode（使用http post）
5、主namenode用從輔助namenode接收的fsimage文件替換舊的fsimage文件，用步驟一所產生的edits文件替換舊的edits文件，同時，還更新fstime文件來記錄檢查點執行的時間

 
均衡器程序：
start-balancer.sh -threshold 參數指定閥值（百分比格式），默認值是10%，任何時刻，集群中都只能運行一個均衡器，均衡器在不同節點之間復制數據是有帶寬限制的，默認值是1mb/s

感謝各位的閱讀，以上就是“Hadoop的常用命令以及安全模式屬性說明”的內容了，經過本文的學習后，相信大家對Hadoop的常用命令以及安全模式屬性說明這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！