map reduce遇到的問題怎么解決

這篇文章主要講解了“map reduce遇到的問題怎么解決”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“map reduce遇到的問題怎么解決”吧！

問題：mkdir: Permission denied: user=root, access=WRITE

我們在做map reduce的時候遇到這種問題，用他指定的用戶去執行mapreduce就行。比如他要求hdfs，我們就用hdfs用戶執行，代碼如下：

System.setProperty("HADOOP_USER_NAME", "hdfs");

第一步:

解決方法：

　　到服務器上修改hadoop的配置文件：conf/hdfs-core.xml, 找到 dfs.permissions 的配置項 , 將value值改為 false

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

注意，實驗平臺可以這么設置，但是工作中，不能這樣，這樣不安全。

如果還是不行，就是dfs沒有權限

第二步：

產生問題原因：

      環境hadoop2，cdh6創建

      使用hadoop fs -mkdir /usr/xxx創建文件路徑時，出現權限問題

===========================================================

1.hadoop fs -ls /user

      檢查這個路徑下面的用戶權限學習

       drwxrwxrwt   - yarn hadoop          0 2014-09-03 11:58 /user/history

       drwxr-xr-x   - hdfs hadoop          0 2014-09-03 12:00 /user/spark

    其中:yarn--創建人，hadoop ---組，而root用戶屬于訪客類型的

2.使用hdfs這個用戶登錄

   sudo -uhdfs hadoop fs -mkdir /usr/

3.通過hdfs用戶更改所在用戶的權限

  sudo -uhdfs hadoop fs -chown 用戶:用戶組 /usr

比如過我們是root用戶，可以用命令 groups root ，查看root用戶的組，得到組也是root現在更改用戶的權限

sudo -uhdfs hadoop fs -chown root:root /usr

再用命令 hadoop  fs -ls /  可以看到 目錄 /usr，用戶名是root，用戶組是root

就搞定了。

感謝各位的閱讀，以上就是“map reduce遇到的問題怎么解決”的內容了，經過本文的學習后，相信大家對map reduce遇到的問題怎么解決這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！