Scala語言中如何結合demo和spark講實現鏈式計算

Scala語言中如何結合demo和spark講實現鏈式計算，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

一，什么是鏈式計算

1，一般開發習慣把事情封裝到一個方法中；鏈式編程思想是把要做的事情封裝到block中，給外部提供一個返回這個block的方法

2，鏈式編程思想方法特點:方法的返回值必須是block，block的參數是需要操作的內容，block的返回值是返回這個block的方法的調用者

二，舉例說明

比如我們定義個case class Person

case class Person(private val parent: Person = null ,private val name: String = null , private var age: Int = 0 ) {
  def setName(newName: String) = new Person( this,newName, this.age )
  def setAge(newAge: Int) :this.type = {
    this.age = newAge;
    this
  }
  def introduce {parentIntroduce; println( s"Hello, my name is $name and I am $age years old." ) }
  def parentIntroduce { if(parent!=null)parent.introduce }
}

那么，我們可以執行下面操作：

Person(null,"kitty",45) .setName("Peter").setAge(41).setName("Peter1").setAge(21).introduce

執行的結果

Hello, my name is kitty and I am 45 years old.
Hello, my name is Peter and I am 41 years old.
Hello, my name is Peter1 and I am 21 years old.

其實，我這里是有個陷阱，比如我現在換一種順序調用(第一次調用setAge和setName互換)，如下：

Person(null,"kitty",45) .setAge(41).setName("Peter").setName("Peter1").setAge(21).introduce

那么結果就會變成下面的樣子：

Hello, my name is kitty and I am 41 years old.
Hello, my name is Peter and I am 41 years old.
Hello, my name is Peter1 and I am 21 years old.

三，總結

之所以會出現上面兩種結果，是由于我們的setAge操作是執行之后返回的是對象本身，而setName操作又重新new 了一個對象。

由此，我們可以類比到RDD的操作。之前，群友問過這樣一個問題：

RDD.repartiton(12)

RDD的分區為啥不變成12呢？

實際上是由于RDD的所有轉換算子都是新生成了一個RDD，而不是將函數作用于自身。

其實，還有一種鏈式計算的實現方式是執行函數返回的是一個固定的類型，而不一定是調用者自身或者同父類的實現對象。比如，Dataset最終執行的實現函數的返回就是固定類型：RDD[InternalRow]，而不是Dataset。

看完上述內容，你們掌握Scala語言中如何結合demo和spark講實現鏈式計算的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！