溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
docker toolbox
https://www.docker.com/products/docker-toolbox
spark
https://hub.docker.com/r/singularities/spark/~/dockerfile/
# start-hadoop-namenode
# hadoop fs -mkdir /user
# hadoop fs -mkdir /user/root/
# hadoop fs -put ./README.md /user/root
# start-spark
# start-spark worker [master]
# spark-shell
# spark-shell --master spark://a60b8c8f9653:7077
scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")
scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")
lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at <console>:24
scala> lines.count()
res0: Long = 104
scala> lines.saveAsTextFile("hdfs:///user/root/README2.md") // 保存到hdfs
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
