您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關基于akka和data-sketch技術的實時數據統計服務是怎么樣的,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
實時流數據分析服務: 實時提交分析數據,實時獲取分析結果
之前一直在一家公司做埋點的后臺數據處理分析程序,在碰到很多問題后就產生一個想法,能不能直接弄一個數據分析服務,
用戶可以隨時調用分析服務的接口提交分析數據和獲取分析結果
data-sketch對常見的統計需求,如count(distinct), quantiles, topN等 在精確程度,存儲成本,計算成本之間進行了折衷,對每一個計算元素只touch一次的情況下,得到精度相當高的統計結果。
akka是一個實現了actor pattern的異步編程 library。業務功能都被封閉成actor, 相互之間的調用或狀態改變,通過message傳遞完成,無狀態共享.
theta sketch:基數計算,即計算count(distinct)
quantile sketch:分位數計算,即計算一系列數值的分布情況
frequency sketch:頻率計算,即topn計算
提交數據使用wss,獲取數據使用https,數據不會被中途截取
后臺服務不存儲任何原始數據,算后即扔,服務端只有分析后的數據
相關計算參數,比如userid,business,可以hash或混淆后再傳值
由于目前只做authenticate,開發者應注意appid的保密性,建議后臺調用
目前整個服務后臺算是完成了0.5左右吧,由于是試驗性質,目前只用了一臺阿里云的ES,下一步要做的工作有兩方面,
1. 增加統計模型
2. 增加對akka cluster 的支持,使整個后臺服務能力可擴展
以上就是基于akka和data-sketch技術的實時數據統計服務是怎么樣的,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。