溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章將為大家詳細講解有關如何分析spark-submit工具參數，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。
執行時需要傳入的參數說明
Usage: spark-submit [options] <app jar | python file> [app options]
參數名稱 | 含義 |
--master MASTER_URL | 可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local |
--deploy-mode DEPLOY_MODE | Driver程序運行的地方，client或者cluster |
--class CLASS_NAME | 主類名稱，含包名 |
--name NAME | Application名稱 |
--jars JARS | Driver依賴的第三方jar包 |
--py-files PY_FILES | 用逗號隔開的放置在Python應用程序PYTHONPATH上的.zip, .egg, .py文件列表 |
--files FILES | 用逗號隔開的要放置在每個executor工作目錄的文件列表 |
--properties-file FILE | 設置應用程序屬性的文件路徑，默認是conf/spark-defaults.conf |
--driver-memory MEM | Driver程序使用內存大小 |
--driver-java-options | |
--driver-library-path | Driver程序的庫路徑 |
--driver-class-path | Driver程序的類路徑 |
--executor-memory MEM | executor內存大小，默認1G |
--driver-cores NUM | Driver程序的使用CPU個數，僅限于Spark Alone模式 |
--supervise | 失敗后是否重啟Driver，僅限于Spark Alone模式 |
--total-executor-cores NUM | executor使用的總核數，僅限于Spark Alone、Spark on Mesos模式 |
--executor-cores NUM | 每個executor使用的內核數，默認為1，僅限于Spark on Yarn模式 |
--queue QUEUE_NAME | 提交應用程序給哪個YARN的隊列，默認是default隊列，僅限于Spark on Yarn模式 |
--num-executors NUM | 啟動的executor數量，默認是2個，僅限于Spark on Yarn模式 |
--archives ARCHIVES | 僅限于Spark on Yarn模式 |
關于如何分析spark-submit工具參數就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
