溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章給大家分享的是有關如何用Spark解決一些經典MapReduce問題，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。
Spark是一個Apache項目，它被標榜為“快如閃電的集群計算”。它擁有一個繁榮的開源社區，并且是目前最活躍的Apache項目。Spark提供了一個更快、更通用的數據處理平臺。和Hadoop相比，Spark可以讓你的程序在內存中運行時速度提升100倍，或者在磁盤上運行時速度提升10倍。同時spark也讓傳統的map reduce job開發變得更加簡單快捷。本文將簡單介紹幾個經典hadoop的mr按理用spark實現，來讓大家熟悉spark的開發。
最小值
求最小值一直是Hadoop的經典案例，我們用Spark來實現一下，借此感受一下spark中mr的思想和實現方式。話不多說直接上code：
預期結果：
max: 1001min: 2
思路和hadoop中的mr類似，設定一個key，value為需要求***與最小值的集合，然后再groupBykey聚合在一起處理。第二個方法就更簡單，性能也更好。
平均值問題
求每個key對應的平均值是常見的案例，在spark中處理類似問題常常會用到combineByKey這個函數，詳細介紹請google一下用法，下面看代碼：
我們讓每個partiton先求出單個partition內各個key對應的所有整數的和 sum以及個數count，然后返回一個pair(sum, count)在shuffle后累加各個key對應的所有sum和count,再相除得到均值.
TopN問題
Top n問題同樣也是hadoop種體現mr思想的經典案例,那么在spark中如何方便快捷的解決呢：
思路很簡單，把數據groupBykey以后按key形成分組然后取每個分組的2個。預期結果：
以上就是如何用Spark解決一些經典MapReduce問題，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
