spark mllib 預測之LinearRegression的示例分析

這篇文章主要介紹spark mllib 預測之LinearRegression的示例分析，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

商品價格與消費者輸入之間的關系

商品需求(y, 噸),價格(x1, 元),消費者收入(x2, 元)

建立需求函數: y = ax1+bx2

運行代碼如下

package spark.regressionAnalysis

/**
  *　線性回歸, 建立商品價格與消費者輸入之間的關系,
  * 預測價格
  */

import org.apache.log4j.{Level, Logger}
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.{LabeledPoint, LinearRegressionWithSGD}
import org.apache.spark.{SparkConf, SparkContext}

object LinearRegression {
  val conf = new SparkConf()     //創建環境變量
    .setMaster("local")        //設置本地化處理
    .setAppName("LinearRegression")//設定名稱
  val sc = new SparkContext(conf)  //創建環境變量實例

  def main(args: Array[String]) {
    val data = sc.textFile("./src/main/spark/regressionAnalysis/lr.txt")//獲取數據集路徑
    val parsedData = data.map { line =>	 //開始對數據集處理
        val parts = line.split('|') //根據逗號進行分區
        LabeledPoint(parts(0).toDouble, Vectors.dense(parts(1).split(',').map(_.toDouble)))
      }.cache() //轉化數據格式

    //LabeledPoint,　numIterations, stepSize
    val model = LinearRegressionWithSGD.train(parsedData, 2, 0.1) //建立模型

    val result = model.predict(Vectors.dense(1, 3))//通過模型預測模型
    println(model.weights)
    println(model.weights.size)
    println(result)	//打印預測結果
  }
}

lr.txt

5|1,1
8|1,2
7|2,1
13|2,3
18|3,4

結果如圖

以上是“spark mllib 預測之LinearRegression的示例分析”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！