在Spark中,submit
是SparkContext
對象的一個方法,用于提交一個作業到Spark集群運行。具體用法如下:
spark = SparkSession.builder \
.appName("example") \
.getOrCreate()
# 創建一個RDD
data = [1, 2, 3, 4, 5]
rdd = spark.sparkContext.parallelize(data)
# 提交作業到集群
result = rdd.map(lambda x: x * 2).collect()
# 打印結果
print(result)
在上面的例子中,我們首先創建了一個SparkSession
對象,然后通過它的sparkContext
屬性獲取到SparkContext
對象,接著創建了一個RDD并使用map
轉換操作,最后通過collect
方法獲取最終結果。整個作業是通過submit
方法提交到集群并運行的。