溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
spark快的原因
1.內存計算
2.DAG
spark shell已經初始化好了SparkContext，直接用sc調用即可
lineage 血統
RDD wide and narrow dependencies
窄依賴每個 RDD partition最多被一個子RDD partirion依賴
/sbin（system binary)放的都是涉及系統管理的命令。
有些系統里面，普通用戶沒有執行這些命令的權限。
有些系統里面，普通用戶的PATH不包括/sbin
data.cache 數據放到內存中
spark-submit提交任務
scala代碼
package cn.chinahadoop.spark
import org.apache.spark.{SparkContext, SparkConf}
import scala.collection.mutable.ListBuffer
import org.apache.spark.SparkContext._
/**
* Created by chenchao on 14-3-1.
*/
class Analysis {
}
object Analysis{
def main(args : Array[String]){
if(args.length != 2){
println("Usage : java -jar code.jar file_location save_location")
System.exit(0)
}
val conf = new SparkConf()
conf.setSparkHome("/data/software/crazyjvm/spark")
val sc = new SparkContext(conf)
val data = sc.textFile(args(0))
data.cache
println(data.count)
data.filter(_.split(' ').length == 3).map(_.split(' ')(1)).map((_,1)).reduceByKey(_+_)
.map(x => (x._2, x._1)).sortByKey(false).map( x => (x._2, x._1)).saveAsTextFile(args(1))
}
}免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
