在pyspark中讀取HDFS數據可以通過以下步驟實現:
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Read HDFS Data") \
.getOrCreate()
df = spark.read.csv("hdfs://<namenode>:<port>/path/to/file.csv")
其中,"hdfs://
df.printSchema()
df.show()
spark.stop()
通過以上步驟,就可以在pyspark中讀取HDFS數據了。