spark mllib中數據降維之如何實現主成分分析

小編給大家分享一下spark mllib中數據降維之如何實現主成分分析，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

運行代碼如下

package spark.DataDimensionReduction

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.linalg.distributed.RowMatrix
import org.apache.spark.{SparkConf, SparkContext}

/**
  * 數據降維
  * 主成分分析PCA
  * 設法將原來具有一定相關行（比如 P個指標）的指標
  * 重新組合成一組新的互相無關的綜合指標來代替原來的指標，從而實現數據降維的目的
  * Created by eric on 16-7-24.
  */
object PCA {
  val conf = new SparkConf()                                     //創建環境變量
    .setMaster("local")                                             //設置本地化處理
    .setAppName("PCA")                              //設定名稱
  val sc = new SparkContext(conf)

  def main(args: Array[String]) {
    val data = sc.textFile("./src/main/spark/DataDimensionReduction/a.txt")
      .map(_.split(" ").map(_.toDouble))
      .map(line => Vectors.dense(line))

    val rm = new RowMatrix(data)
    val pc = rm.computePrincipalComponents(3)//提取主成分，設置主成分個數為３
    val mx = rm.multiply(pc)//創建主成分矩陣

    mx.rows.foreach(println)
  }
}

a.txt

1 2 3 4
5 6 7 8
9 0 8 7
6 4 2 1

結果如下

看完了這篇文章，相信你對“spark mllib中數據降維之如何實現主成分分析”有了一定的了解，如果想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！