溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇文章為大家展示了Spark API編程中spark文件操作和debug是怎樣的，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。
這次 我們以指定executor-memory參數的方式來啟動spark-shell：
從hdfs上讀取文件：
可以看出MappedRDD是從HadoopRDD轉換而來的
再看下textFile的源代碼：
下面進行一個簡單的wordcount操作：
再次使用toDebugString，查看下依賴關系：
HadoopRDD -> MappedRDD -> FlatMappedRDD -> MappedRDD -> ShuffledRDD
上述內容就是Spark API編程中spark文件操作和debug是怎樣的，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
