eclipse debug怎么調試mapreduce程序

這篇文章主要介紹“eclipse debug怎么調試mapreduce程序”，在日常操作中，相信很多人在eclipse debug怎么調試mapreduce程序問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”eclipse debug怎么調試mapreduce程序”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1、將mapred-site.xml文件拷貝一份到項目中

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    <property> 
        <name>mapred.child.java.opts</name> 
        <value>-Xmx800m -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000</value> 
    </property>
    <property>
    <name>mapreduce.jobtracker.staging.root.dir</name>
    <value>/tmp</value>
  </property>
   <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>local</value>
  </property>
  <property>
    <name>mapreduce.jobtracker.address</name>
    <value>local</value>
  </property>
<property>
<name>mapred.job.tracker</name>
<value>local</value>
</property>
</configuration>

2、在項目中加入本地mapred-site.xml配置，從本地項目中讀取配置文件運行，在reduce中debug

 Job job = new Job(conf, "word count");
     conf.addResource("classpath:/Hadoop01/mapred-site.xml");
     conf.set("fs.defaultFS", "hdfs://192.168.1.10:9008");
     conf.set("mapreduce.framework.name", "yarn");
     conf.set("yarn.resourcemanager.address", "192.168.1.10:8032");
     conf.set("mapred.remote.os", "Linux");
     conf.set("hadoop.job.ugi", "hadoop,hadoop");

到此，關于“eclipse debug怎么調試mapreduce程序”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！