溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹“spark跑1T數據需要多少內存”，在日常操作中，相信很多人在spark跑1T數據需要多少內存問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”spark跑1T數據需要多少內存”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！
Q1：jobserver 企業使用情況如何？
中國有一家視頻網站已經使用超過JobServer超過半年的時間；
2013年和2014年Spark Summit均大力推薦使用JobServer；
Q2：請問，jobserver是適合企業內部還是供外部客戶使用（可能并發、安全有要求），還是兩者ok?
目前可見的企業使用案例均是用在企業內部；
如果是企業外部可以作為云服務或者大數據資源池使用；
Q3：請問，spark 跑1T數據需要多少內存才能很快跑完
這首先和程序運行時候在每臺Worker上使用的內存和CPU有關，提交程序的時候可以手動配置；
其次是和帶寬有關系，Shuffle的要盡量減少數據；
Driver所在的機器的配置也是極為重要的，一般而言Driver所在的Client的內存和CPU根據實際情況要盡可能的更高的配置，同時，也是至關重要的Driver和Spark集群要在同一個網絡環境，應為Driver要不斷的task給Worker上的Executor，同時接受Driver的數據；
Q4：我目前是解決stackoverflow Error 是用checkPoint解決lineage過長的問題 但是這樣會影響效率 怎樣在效率和error之間均衡呢？
:StackOverflow可以通過配置BlockManager內存管理策略來緩解；
對于checkpoint，要根據實際情況調整，例如對于Spark Streaming 默認是在內存有兩份數據副本，此時如果處理能力無法及時消費實時流數據，就會極為容易產生StackOverflow的情況，此時就要根據實際情況調整時間窗口和進行checkpoint；
到此，關于“spark跑1T數據需要多少內存”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
