您好,登錄后才能下訂單哦!
本篇內容主要講解“MapReduce映射怎么定義”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“MapReduce映射怎么定義”吧!
定義
map:俗稱--映射,map之后元素個數不變
如:
x --> (x,1)
y --> (y,1)
z --> (z,1)
reduce:俗稱--規約,reduce之后元素個數<=當前個數(把key相同的元素,拉倒一起)
如:
x --> (x,1)
x --> (x,1) -->>(x,1+1+1)
x --> (x,1)
mapReduce架構
MR job提交到Yarn的工作流程==Yarn架構設計==Yarn工作流程
shuffle
map->shuffle->reduce
理解:key相同的元素通過網絡IO放到一起,進行業務計算
常用命令
mapred
到此,相信大家對“MapReduce映射怎么定義”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。