大數據中HDFS常用shell和web界面有哪些

這篇文章將為大家詳細講解有關大數據中HDFS常用shell和web界面有哪些，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

大數據教程分享HDFS常用shell和web界面介紹

最后一個:塊刪除的開始時間

HDFS的Shell命令:

ps:無論看到是hdfs dfs 形式還是 hadoop fs這種形式 都可以 完成對HDFS的操作

1.向HDSF上傳文件

put: 從本地文件系統賦值單個或多個原路徑目標文件到HDFS文件系統中

hdfs dfs -put 本地文件路徑 HDFS文件系統路徑

2.將HDFS文件系統中的文件下載回來

get:從HDFS文件系統中將文件復制到本地文件系統中

hdfs dfs -get HDFS文件系統路徑 本地文件系統路徑

ps:HDFS有一個和put和get類似的而方法 copyFromlocal 相當于put 和 copyTolocal 相當于 get 3.查看HDFS文件系統中的文件內容

cat:查看HDFS文件系統中的文件內容

hdfs dfs -cat HDFS文件系統中文件的路徑

ps:不要查看非文件

在查看文件的同時追加文件到本地路徑

4.HDFS文件系統中進行復制操作

cp:將HDFS文件系統中的文件進行復制,復制到HDFS系統中

hdfs dfs -cp 源HDFS文件系統中的文件路徑 目標HDFS文件系統中的路徑

5.HDFS文件系統中的文件進行移動操作

mv:將源文件移動目標路徑,這個命令可允許有多個源路徑,此時目標路徑必須是一個文件夾(目錄)

不允許不同的文件系統互相移動文件

hdfs dfs -mv 源HDFS文件系統中的文件路徑 目標HDFS文件系統中的路徑

相當于剪切

6.查看HDFS文件系統中文件的大小

hdfs dfs -du HDFS文件系統中路徑中的一個文件

7.在HDSF系統中創建文件夾

mkdir 創建文件夾

hdfs dfs -mkdir HDFS文件系統中的路徑

創建多個文件夾 添加 -p 就是多個文件夾

8.查看HDFS文件系統下的所有文件

hdfs dfs -ls HDFS文件系統路徑

9.刪除HDFS文件系統中的目錄或文件

ps:只能是單個文件 或 空目錄

hdfs dfs -rm HDFS文件系統路徑

若參數文件夾中有多個文件 加 -r

hdfs dfs -rm -r HDFS文件系統路徑

10.更改文件的權限

r可讀 w可寫 x可執行

- | ---| --- 1代表有權 0代表沒有權限 所有每三位可以作為一個八進制處理例如 rwx | rwx | rwx

111 | 111 | 111

=========================

7 7 7

hdfs dfs -chmod 權限值 HDFS文件系統路徑若需要更改目錄下權限都需要修改

hdfs dfs -chmod -R 權限值 HDFS文件系統路徑下的文件夾ps:并且文件夾下的所有子文件和文件夾都會被修改

11.回收站

Hadoop回收站trash,默認是關閉的,建議開啟

<property>

<name>fs.trash.interval</name>

<!-- 開啟當前hdfs中的回收站 時長:多長時間清空回收站 單位是分鐘 1440就是1天-->

<value>1440</value>

</property>

ps:默認為是沒有權限操作回收站的,所以操作之前開啟權限 hdfs dfs -chmod -R 777 HDFS文件系統中回收站的路徑例子:hdfs dfs -chmod -R 777 /user

刪除文件后,發現誤刪了,恢復文件

hdfs dfs -mv HDFS文件系統中回收站的路徑下的文件 HDFS文件系統路徑清空回收站 hdfs dfs -rm -r HDFS文件系統中回收站的路徑

例如:hdfs dfs -rm -r /user/root/.Trash

關于“大數據中HDFS常用shell和web界面有哪些”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。