在Spark中讀取本地文件路徑,可以使用sc.textFile
方法來讀取文本文件,或者使用spark.read.csv
來讀取CSV文件。
下面是一個示例代碼,讀取本地文本文件的路徑:
from pyspark import SparkContext
# 創建SparkContext對象
sc = SparkContext("local", "Read Local File")
# 讀取本地文件路徑
file_path = "file:///path/to/your/file.txt"
rdd = sc.textFile(file_path)
# 打印文件內容
for line in rdd.collect():
print(line)
# 關閉SparkContext
sc.stop()
如果要讀取CSV文件,可以使用以下代碼:
from pyspark.sql import SparkSession
# 創建SparkSession對象
spark = SparkSession.builder.appName("Read Local CSV").getOrCreate()
# 讀取本地CSV文件路徑
file_path = "file:///path/to/your/file.csv"
df = spark.read.csv(file_path, header=True)
# 顯示數據框內容
df.show()
# 停止SparkSession
spark.stop()
請注意,需要替換示例代碼中的文件路徑為您實際文件的路徑。