您好,登錄后才能下訂單哦!
本篇文章為大家展示了Hadoop和Spark中怎么設置用戶訪問hdfs,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
1.對于hadoop而言
如果hadoop沒有啟Kerberos或者從Kerberos獲取的用戶為null,那么獲取HADOOP_USER_NAME環境變量,并將它的值作為Hadoop執行用戶。如果我們沒有設置HADOOP_USER_NAME環境變量,那么程序將調用whoami來獲取當前用戶,并用groups來獲取用戶所在組。
所以可以設置環境變量:
export HADOOP_USER_NAME=hdfs
1
或者在程序中設置:
System.setProperty("HADOOP_USER_NAME", "hdfs");
1
2.對于Spark
Spark默認將用戶程序運行所在系統的當前登錄用戶作為用戶程序的關聯用戶。
所以可以采用一下兩種方法:
1.修改當前用戶名為: hdfs
2.代碼中添加:
System.setProperty("user.name", "hdfs");
上述內容就是Hadoop和Spark中怎么設置用戶訪問hdfs,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。