您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關Spark API編程中怎么以本地模式進行Spark API實戰map、filter,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
首先以spark的本地模式測試spark API,以local的方式運行spark-shell:
下面看下 filter操作:
我們用最正宗的scala函數式編程的風格:
從結果 可以看出來,與之前那種分步奏方式結果是一樣的
但采用這種方式,即是復合scala風格的寫法,也是符合spark的應用程序風格的寫法,在spark的編程中,大多數功能的實現都是只要一行代碼即可完成。
以上就是Spark API編程中怎么以本地模式進行Spark API實戰map、filter,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。