怎么理解spark的計算器與廣播變量

這篇文章給大家介紹怎么理解spark的計算器與廣播變量，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

一.計算器

1.官網

2.解釋

計數器只支持加，計算器字task里面

3.測試

4.結果截圖WEBUI

4.應用場景

數據很多有的數據掛了，做數據質量監控用

二.廣播變量

1.官網

2.join代碼

 def commonJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂蟲"),("G302","森老"),("G303","Gordon"))).map(x=>(x._1, x))
    val peopleDetail = sc.parallelize(Array(("G301","清華大學",18))).map(x=>(x._1,x))
    // TODO... 大表關聯小表  join  key   from a join b on a.id=b.id
    peopleInfo.join(peopleDetail).map(x=>{x._1 + "," + x._2._1._2 + "," + x._2._2._2+ "," + x._2._2._3})
  }

3.結果WEBUI

4.廣播變量使用前提

廣播變量的前提條件是數據量少，一大一小，不能超過內存
數據量大小還要看內存，你內存夠大就可以放
廣播變量放到內存中

5.廣播變量的join代碼

  def broadcastJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂蟲"),("G302","森老"),("G303","Gordon"))).collectAsMap()
    val peopleDetail = sc.parallelize(Array(("G301","清華大學",18))).map(x=>(x._1, x))
    // 通過sc將變量廣播出去
    val peopleBroadcast = sc.broadcast(peopleInfo)
    // mappartition: 取出表中的一條記錄和廣播變量中的對比
    peopleDetail.mapPartitions(x=>{
      val map = peopleBroadcast.value  // 是不是就是內存的東西
      for((key,value)<-x if (map.contains(key)))
        yield (key,map.get(key).getOrElse(""), value._2)
    }).foreach(println)
  }

6.WEBUI結果

7.兩個join對比

廣播變量的沒有了shuffer
有前提數據量不可以多
把小表廣播到內存中，大表每個數據與其對比
有就要，沒有就不要。
廣播變量與join結合工作中常用

關于怎么理解spark的計算器與廣播變量就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。