#
本期內容：1 解密Spark Streaming運行機制2 解密Spark Streaming架構 一切不能進行實時流處理的數據都是無效的數據。在流處理時代，SparkStreaming有著強大吸引
本期內容： 1、ReceiverTracker的架構設計 2、消息循環系統 3、ReceiverTracker具體實現上節
Spark Streaming寫數據到Redis參考2篇文章：1、Kafka+Spark Streaming+Redis實時系統實踐https://www.iteblog.com/archives/1
Receiver接收到的數據交由ReceiverSupervisorImpl來管理。ReceiverSupervisorImpl接收到數據后，會數據存儲并且將數據的元數據報告給ReceiverTrac
本期內容技術實現解析實現實戰SparkStreaming的DStream提供了一個dstream.foreachRDD方法，該方法是一個功能強大的原始的API，它允許將數據發送到外部系統。然而,重要的
Spark Streaming的事務處理和關系型數據庫的事務的概念有所不同，關系型數據庫事務關注的是語句級別的一致性，例如銀行轉賬。而Spark Streaming的事務關注的是某次jo
本篇博客將詳細探討DStream模板下的RDD是如何被創建，然后被執行的。在開始敘述之前，先來思考幾個問題，本篇文章也就是基于此問題構建的。 1. RDD是誰產生的？ 2. 如何產
本期內容： 1、Receiver啟動方式的設想 2、Receiver啟動源碼徹底分析一：Receiver啟動方式的設想 1. S
