您好,登錄后才能下訂單哦!
本篇內容介紹了“hadoop reduce個數控制怎么實現”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
1、參數變更
1.x 參數名 2.x 參數名
mapred.tasktracker.reduce.tasks.maximum mapreduce.tasktracker.reduce.tasks.maximum
mapred.reduce.tasks mapreduce.job.reduces
2、參數設置
2.1、mapred.tasktracker.reduce.tasks.maximum設置為邏輯CPU個數
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>8</value>
<final>true</final>
</property>
2.2.1、 hadoop 服務器端參數設定
mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 單臺 datanode 邏輯cpu個數
2.2.2、應用端調用 job. setNumReduceTasks(int n) 方法指定
“hadoop reduce個數控制怎么實現”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。