溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
MapReduce應該如何應用開發，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
Configuration org.apache.hadoop.conf
不同環境使用不同的配置文件，跟web開發類同
HADOOP_USER_NAME 設置hadoop 用戶名
HADOOP_CONF_DIR 配置信息環境變量
輔助類 Configured Tool ToolRunner
用MRUnit 來寫單元測試
在本地作業運行器上運行作業
測試驅動程序
使用本地作業運行器
使用一個mini集群來運行它
打包作業
分布式環境打包成JAR 文件
啟動作業
作業調試
通過打印語句
計數器 可以衡量問題的嚴重程度
日志
遠程調試
mapper 的數量
reducer 的數量
combiner
中間值的壓縮
自定義序列
調整 shuffle
通常是增加更多的作業，而不是增加作業的復雜度
對于更復雜的問題,可考慮使用Pig, hive, Cascading, Crunch 或Spark
JobControl
Apache Oozie 是一個運行工作流的系統，該工作流由相互依賴的作業組成
看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
