溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
大數據平臺日志存儲分析系統的解決方案是怎樣的，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
大數據平臺日志存儲分析系統是在大數據平臺下，針對業務系統產生的日志記錄進行存儲和分析。日志數據來自ElasticSearch存儲的日志歷史數據，并將需要存儲和分析的日志數據從ElasticSearch中讀取到Kafka中。Kafka的消費者在偵聽到數據消息進入后，以流方式獲取數據寫入到HBase中。存儲在HBase中的數據則是為日志數據的檢索與分析提供服務。Web前端通過調用后端API檢索HBase中的數據，并進行透視表的可視化展現，展現后的數據支持CSV導出功能。
本解決方案包括的系統功能為：
讀取Kafka消息，存儲到HBase
檢索HBase數據，提供API
顯示內容的CSV導出
確定該技術方案的前置條件包括：
推送到Kafka的消息已經準備就緒
HBase的數據結構已經確定
日志檢索條件固定
后端API已經確定，Web前端會調用該API
Web前端開發已經就緒
整個技術架構如下圖所示：
系統分為三個模塊：
LogData Collector：通過Spark Streaming訂閱Kafka的Topic，收集業務需要的日志數據，然后寫入到HBase中。HBase搭建在HDFS的集群中。
LogData Searching：這是一個Spring Boot服務，通過@RestController暴露API接口給前端。其內部則集成Spark，利用Spark SQL查詢HBase數據庫。
Web UI前端：負責調用LogData Searching服務，并將數據呈現到UI上，并在前端實現顯示數據的導出。
說明：導出功能可能有一個變化，倘若前端是分頁顯示，而導出的數據是符合檢索條件的全量數據，則需要在導出時調用LogData Searching服務，獲得導出所需的數據，而非前端已經顯示的數據。
看完上述內容，你們掌握大數據平臺日志存儲分析系統的解決方案是怎樣的的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
