如何進行Spark Streaming框架在 5G 中的應用

本篇文章給大家分享的是有關如何進行Spark Streaming框架在 5G 中的應用，小編覺得挺實用的，因此分享給大家學習，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

這次想分享一下我們關于當前流處理引擎及其在 5G 和 IoT 場景適用性的一些觀點。

在發展 5G 和 IoT 場景的準備階段，愛立信研究了各種可擴展和靈活的流處理框架，以解決數據流水線問題以及提升整體性能。我們通過機器學習流數據進行自適應學習和智能決策從而實現各個領域的自動化。其中使用機器學習算法從流數據中逐步學習模型和獲取信息是一個巨大的挑戰。

我們將討論 AI 在流數據中的挑戰以及如何使用流處理框架（主要是 Spark Streaming 框架）來解決這些問題。

Spark Streaming框架

以下內容分為輸入，處理（ETL 和 ML）和輸出階段。我們還會介紹為了高效的控制和優化，在流處理框架中使用的各種機器學習和數據分析技術。

輸入階段：

盡管有不同的輸入源（如文件、數據庫和各種端點），這個階段重要的是如何在Spark Streaming 框架下高效地使用 Apache Kafka。除了默認的基于接收端的方法之外，還有一種解決了性能和重復問題的 direct 技術。在我們的電信領域中，網絡探測的數據速率可以達到1TB/秒，direct 方式很好的解決了這個問題。除了性能之外，我們還需要一種簡單的方式來維護復雜的電信系統中的分發技術并且滿足 99.9999％ 的準確率，這對故障情況也提出了極大的要求。而 direct 技術可以降低了處理故障的復雜性，并減少了跨系統重復數據的維護數量。

處理階段：

提取，轉化和加載（ETL）：
在過去實踐流處理時，通常討論的是在 executors 上并行運行的 Bolts，我們的主要任務是確定部署拓撲，以獲得均勻的分布和可用資源的最大利用率。然后，我們開始討論 micro-batches 及其與純流處理相比更出色的效率和容錯能力。此外，我們還會經常討論將批處理和流處理結合在一個查詢的 Lambda 架構。目前，由于 Spark Streaming 框架的日益流行，行業已經開始轉向甚至將寬表也被視為流數據并增量處理的 Structured Stream Querying。Structured Stream Querying 允許我們以更高優先級處理新到達的數據以響應查詢。

在電信領域，我們有各種各樣的轉換，比如數字映射、清理、空值替換、變量轉換等等。因為不涉及 micro-batch 操作，我們使用 Apache Flink 以純流方式處理所有這些操作。而對于諸如缺失值替換、最后N個值的平均值等操作（任何需要歷史數據的操作），我們使用Spark Streaming 的 Structural Querying。

機器學習(ML):

在我們的電信領域，我們需要以流的方式創建訓練模型和測試數據。我們嘗試了各種方法在新的數據流入時更新模型，發現分層模型更容易實現模型增量更新。這些分層數據模型可以很容易地使用 Spark Streaming 框架進行部署，因為它內部支持對這些模型準備的 micro-batch 處理。我們也了解到，利用 Apache Flink 的靈活性和純流特性，強化學習的實現很容易完成，而且與其他框架相比，這些實現的性能指標具有很強的競爭力。

Sink 階段：

在數據處理層之后，我們可以將數據存儲到各種選項中，例如永久數據存儲、分布式內存、返回到消息總線或者只是可視化數據點。在我們的內部研究中，我們將已處理的數據存儲在相對 partition tolerance 更重視 availablity 的 Cassandra（No-SQL數據存儲）中。鑒于在通信應用使用 Apache Cassandra 的經驗，我們發現它可以通過微調來滿足一致性和可用性的場景。當你不能提高 hbase 可用性時，可以嘗試使用 Cassandra 并通過調整一致性來實現。

我們還需要將數據存儲在“最佳”站點中。資源可能由存儲 A 中的站點 A 上的執行者創建，但是客戶端應用程序總是從站點 B 查詢它，這將要求我們確定在站點 B 上存儲資源的位置，以確保數據的本地性，這個我們是通過 Sink Level 的內部優化實現的。

以上就是如何進行Spark Streaming框架在 5G 中的應用，小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。