要將數據寫入HDFS文件系統,可以使用Apache Spark中的saveAsTextFile()或saveAsObjectFile()方法。以下是一個示例:
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
object WriteToHDFS {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("WriteToHDFS").setMaster("local")
val sc = new SparkContext(conf)
val data = List(1, 2, 3, 4, 5)
val rdd = sc.parallelize(data)
// 將RDD寫入HDFS文件
rdd.saveAsTextFile("hdfs://<HDFS_URI>/path/to/file")
// 可以使用saveAsObjectFile()方法將RDD保存為對象文件
// rdd.saveAsObjectFile("hdfs://<HDFS_URI>/path/to/file")
sc.stop()
}
}
請確保替換<HDFS_URI>
和/path/to/file
為實際的HDFS文件系統URI和路徑。同時,確保您的Spark應用程序有權限訪問HDFS文件系統。