Storm面試題案例分析

本篇內容介紹了“Storm面試題案例分析”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

1、需求分析

平臺在活動促銷日（例如雙 11）要求實時展示當日的一些銷售信息我們從三個維度去統計計算：

平臺運維角度統計指標： 平臺總銷售額、平臺下單人數、平臺商品銷售數量。

商品銷售角度統計指標： 每個商品總銷售額、每個商品購買人數、每個商品銷售數量。

店鋪銷售角度統計指標： 每個店鋪總銷售額、每個店鋪購買人數、每個店鋪銷售數量。

2、確定數據源

數據源：訂單系統與支付系統產生的數據。

3、確定采集方案

訂單系統和支付系統產生的數據 通過 ActiveMQ 到 kafka 中，Storm 集成kafka 獲取數據。（注：為什么用 ActiveMQ?一方面，電商業務系統當中需要用到事務支持，只能用比較嚴謹的 jms 系統來實現，所以考慮到用 ActiveMQ。另一方面，kafka 直接讀取數據庫，會影響數據庫速度。所以訂單系統的數據通過 ActiveMQ 這個中間件來落地到數據庫，kafka從ActiveMQ 中間件中取數據，就可以避免直接讀數據庫的問題。）

4、確定存儲

我們將 Storm 處理后的數據，通過 Redis 來累加計數并存儲在 Redis 中。

5、數據計算

編寫 Storm 代碼：Storm 與 kafka 整合來獲取到數據，將每一條數據信息，利用 Redis 中 incrBy 這個命令來累加計數并存儲在 Redis 中。

6、展現

可以寫一個定時器，定時的去 Redis 中獲取結果數據，展示到 web 界面上。

7、storm 日志監控告警系統

8、需求分析

實現項目中日志監控的功能，需要做到日志監控實時告警，例如系統中出現任何異常，觸發任何的告警規則，都可以實時通過短信或者郵件告知相關系統負責人。

9、確定數據源

每個業務系統（如： 訂單系統，商品管理系統，用戶系統）產生的日志信息。

10、確定采集方案

將日志數據 通過 flume 采集到 kafka 中，Storm 集成 kafka 獲取數據。

11、確定存儲

將觸發告警規則的數據，存儲在MySQL 數據庫中。

12、數據計算

·通過自定義flume 攔截器，給不同系統產生的日志數據前加上一個appId 來做唯一標識(不同系統對應的告警規則和負責人不同，所以這里要加一個唯一標識方便我們查找對應的規則和負責人)。

·Storm 代碼編寫步驟：

（1）、獲取 kafka 中的數據。

（2）、設置定時器，定時讀取在 MySQL 數據庫中的告警規則（數據庫中的告警規則我們可以隨時去修改，所以要采用定時器去讀取，保證拿到是最新的規則）。

（3）、將獲取到的數據，與告警規則進行匹配，得到匹配成功的告警數據信息。

（4）、將告警信息 以郵件，或者短信 方式發送給對應的負責人（對應人的信息，從 MySQL 數據庫中獲取）。

（5）、最后將警告信息存儲到我們的 MySQL 數據庫中（方便以后查詢異常記錄）。

“Storm面試題案例分析”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！