如何使用Twitter Storm處理實時的大數據

這篇文章主要為大家展示了“如何使用Twitter Storm處理實時的大數據”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“如何使用Twitter Storm處理實時的大數據”這篇文章吧。

　　怎樣使用 Twitter Storm 處理實時的大數據

　　Hadoop(大數據分析領域無可爭辯的王者)專注于批處理。這種模型對許多情形(比如為網頁建立索引)已經足夠，但還存在其他一些使用模型，它們 需要來自高度動態的來源的實時信息。為了解決這個問題，就得借助 Nathan Marz 推出的 Storm(現在在 Twitter 中稱為 BackType)。Storm 不處理靜態數據，但它處理預計會連續的流數據。考慮到 Twitter 用戶每天生成 1.4 億條推文 (tweet)，那么就很容易看到此技術的巨大用途。

　　但 Storm 不只是一個傳統的大數據分析系統：它是復雜事件處理 (CEP) 系統的一個示例。CEP 系統通常分類為計算和面向檢測，其中每個系統都可通過用戶定義的算法在 Storm 中實現。舉例而言，CEP 可用于識別事件洪流中有意義的事件，然后實時地處理這些事件。

　　Nathan Marz 提供了在 Twitter 中使用 Storm 的大量示例。一個最有趣的示例是生成趨勢信息。Twitter 從海量的推文中提取所浮現的趨勢，并在本地和國家級別維護它們。這意味著當一個案例開始浮現時，Twitter 的趨勢主題算法就會實時識別該主題。這種實時算法在 Storm 中實現為 Twitter 數據的一種連續分析。

　　什么是 “大數據”?

　　大數據 指的是海量無法通過傳統方式管理的數據。互聯網范圍的數據正在推動能夠處理這類新數據的新架構和應用程序的創建。這些架構高度可擴展，且能夠跨無限多的服務器并行、高效地處理數據。

　　大數據實現

　　Hadoop 的核心是使用 Java? 語言編寫的，但支持使用各種語言編寫的數據分析應用程序。最新的應用程序的實現采用了更加深奧的路線，以充分利用現代語言和它們的特性。例如，位于伯克利 的加利福尼亞大學 (UC) 的 Spark 是使用 Scala 語言實現的，而 Twitter Storm 是使用 Clojure(發音同 closure)語言實現的。

　　Clojure 是 Lisp 語言的一種現代方言。類似于 Lisp，Clojure 支持一種功能性編程風格，但 Clojure 還引入了一些特性來簡化多線程編程(一種對創建 Storm 很有用的特性)。Clojure 是一種基于虛擬機 (VM) 的語言，在 Java 虛擬機上運行。但是，盡管 Storm 是使用 Clojure 語言開發的，您仍然可以在 Storm 中使用幾乎任何語言編寫應用程序。所需的只是一個連接到 Storm 的架構的適配器。已存在針對 Scala、JRuby、Perl 和 PHP 的適配器，但是還有支持流式傳輸到 Storm 拓撲結構中的結構化查詢語言適配器。

　　怎樣使用 Twitter Storm 處理實時的大數據

　　Storm 的關鍵屬性

　　Storm 實現的一些特征決定了它的性能和可靠性的。Storm 使用 ZeroMQ 傳送消息，這就消除了中間的排隊過程，使得消息能夠直接在任務自身之間流動。在消息的背后，是一種用于序列化和反序列化 Storm 的原語類型的自動化且高效的機制。

　　Storm 的一個最有趣的地方是它注重容錯和管理。Storm 實現了有保障的消息處理，所以每個元組都會通過該拓撲結構進行全面處理;如果發現一個元組還未處理，它會自動從噴嘴處重放。Storm 還實現了任務級的故障檢測，在一個任務發生故障時，消息會自動重新分配以快速重新開始處理。Storm 包含比 Hadoop 更智能的處理管理，流程會由監管員來進行管理，以確保資源得到充分使用。

　　Storm 模型

　　Storm 實現了一種數據流模型，其中數據持續地流經一個轉換實體網絡(參見 圖 1)。一個數據流的抽象稱為一個流，這是一個無限的元組序列。元組就像一種使用一些附加的序列化代碼來表示標準數據類型(比如整數、浮點和字節數組)或用戶定義類型的結構。每個流由一個惟一 ID 定義，這個 ID 可用于構建數據源和接收器 (sink) 的拓撲結構。流起源于噴嘴，噴嘴將數據從外部來源流入 Storm 拓撲結構中。

以上是“如何使用Twitter Storm處理實時的大數據”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！