sparkStreaming程序的的部署、調優

（1）部署

部署方式：spark standalone集群、yarn集群、meoss集群...
driver的HA：如果希望driver程序在失敗之后自動重啟，那么需要在程序中使用getOrcreate方法重構streamingContext對象，以及在spark-submit中添加參數。
Checkpoint目錄的設置：如果程序使用到checkpoint目錄，就必須配置一個hdfs兼容的文件系統作為checkpoint目錄，因為程序是分布式的，不能將checkpoint單獨的設置在某一個節點
接收數據的方式： Receiver和direct
  Receiver方式：需要給executor分配足夠的資源，因為receiver接受的數據時存儲在executor的內存中，尤其是在做window操作時，必須保證有足夠的內存存儲相應時間內的所有數據。 spark.streaming.receiver.writeAheadLog.enable參數設置為true，用于開啟receive方式的WAL，保證數據不丟失。
  direct方式：對于kafka direct方式，引入了backpressure機制，從而不需要設置spark.streaming.kafka.maxRatePerPartition，spark可以自動的估計receive最合理的接收速度，并根據情況動態調整，只需要設置：spark.streaming.backpressure.enabled設置為true即可

（2）調優

• 設置合理的CPU資源
  • 在streaming程序中，CPU資源的使用可以分成兩大類用于接收數據和用于處理數據，我們需要設置足夠的CPU資源，使得有足夠的CPU資源用于接收數據和處理數據，這樣才能及時高效地處理數據。
• 數據接收的性能優化
  • 通過網絡接收數據時，會將數據反序列化，并存儲在spark的內存中。
  • 數據的并行化接收，就是啟動多個receiver，設置多個DStream輸入源
  • 調節block interval參數，對于大多數的receiver來說，在將接收的數據保存的時候，都會做數據切分成一個一個的block，而block的個數決定了每一個batch的分區個數，而分區個數則決定了transformation啟動的task的個數：batch interval / block interval（spark.streaming.blockInterval，默認為200ms，最小值為50ms）
• Spark數據處理并行度調優
  • 如果在計算的任何stage中使用的并行task的數量沒有足夠多，那么集群的資源不能得到很好的利用，可以使用spark.default.parallelism，調整默認的并行的task個數，也可以在調用有shuffle的算子的時候手動指定numPar個數，調整task的并行度。
• Spark的任務調優
  如果每秒鐘啟動的task過于多，那么發送這些task去worker節點上的executor的性能開銷就會比較大，此時延遲就會變得高了。
  • Task的序列化：使用Kryo序列化機制來序列化task，減少task的大小，從而減少發送到executor的時間
  • 執行模式，使用spark的自帶的standalone運行spark程序，可以達到更少的task啟動時間
• 序列化的調優
  • 輸入數據，在receiver接收的數據時存儲在executor內存中的，需要保證數據的0丟失從而序列化
  • 流式計算操作生成的持久化的RDD：流式計算操作生成的持久化的RDD，以及需要被窗口操作的數據都需要持久化
• batch interval調優
  • 對于流式計算而言，為了使其可以穩定運行以及高效運行，最重要的就是對于batch生成之后，就盡可能快的處理掉。 在構建StreamingContext的時候，需要我們傳進一個參數，用于設置Spark Streaming批處理的時間間隔。Spark會每隔batchDuration時間去提交一次Job，如果你的Job處理的時間超過了batchDuration的設置，那么會導致后面的作業無法按時提交，隨著時間的推移，越來越多的作業被拖延，最后導致整個Streaming作業被阻塞，這就間接地導致無法實時處理數據，最終導致程序崩潰。所以針對自己的業務，設置批處理時間尤為重要。
• Spark內存調優
  • DStream的持久化，將大量的數據持久化為byte數據，減少了數據序列化話后的對象，降低了GC的頻率。當然為了進一步的降低內存的使用率，可以使用壓縮：spark.rdd.compress這是為true即可
  • 清理舊數據，將保存在內存中已經被使用過的數據進行刪除，釋放內存。以window操作為例，如果窗口的時間為10分鐘，spark中會保持這10分鐘的數據，之后在處理完成之后，就會將數據進行清除