Spark算子的轉換操作介紹

這篇文章主要介紹“Spark算子的轉換操作介紹”，在日常操作中，相信很多人在Spark算子的轉換操作介紹問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Spark算子的轉換操作介紹”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

##概述
每一次轉換操作都會產生不同的RDD,供給下一個操作使用。
####算子
解決問題其實是將問題的初始化狀態，通過一系列的操作Operate對問題的狀態進行轉換，然后達到完成解決的狀態
####惰性機制
RDD的轉換過程是惰性求值的，也就是，整個轉換過程只記錄軌跡，并不會發生真正的計算，只有遇到了行動操作時，才會觸發真正的計算。
##filter(func)
過濾出滿足函數func的元素，并返回存入一個新的數據集

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(List(1,2,3,4,5,6))    val result = rdd.filter(_%2==0)    println(result.collect().mkString(","))

##map(func)
將每個元素傳遞到函數func中進行操作，并將結果返回為一個新的數據集。
collect()以數組的形式返回rdd的結果，但列表中每個數乘以2

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(List(1,2,3,4,5,6))    val mapResult = rdd.map(_*2)    println(mapResult.collect().toBuffer)

##flatMap(func)
與map相似，但是每個輸入元素都可以映射到0或多個輸出結果,所以func應該返回一個序列，而不是單一元素

val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")    val sc = new SparkContext(conf)    val arrayRDD: RDD[List[Int]] = sc.makeRDD(Array(List(1,2),List(3,4)))    val listRDD: RDD[Int] = arrayRDD.flatMap(data=>data)    listRDD.collect().foreach(println)

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(Array("a b c","b c d"))    val result = rdd.flatMap(_.split(" "))    println(result.collect().mkString(","))

##sample
參數1 是否抽出的數據放回
參數2 抽樣比例 浮點型
參數3 種子，默認值

val conf = new SparkConf().setAppName("spark").setMaster("local")    val sc = new SparkContext(conf)    val rdd = sc.parallelize(1 to 10)    val result = rdd.sample(false,0.5)    println(result.collect().mkString(","))

##union
求并集

##intersection
求交集

##distinct
去除重復元素

到此，關于“Spark算子的轉換操作介紹”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！