溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
ES的聚合是其一大特色。然而出于性能的考慮， ES的聚合是以分片Shard為單位，而非Index為單位， 所以
有些聚合的準確性是需要注意的。 比如： TermAggregations.
es的基數聚合使用到了hyperloglog算法。 出于好奇，了解了一下。
在海量數據場景下， 我們通常會遇到這樣的兩個問題:
數據排重。比如在推送消息場景，消息重復對用戶是打擾， 用戶發券場景， 重復發券就是損失了。
如何高效解決這兩類問題呢？
對于數據排重， 我們可以使用布隆過濾器。java 樣列代碼如下:
BloomFilter<String> bloomFilter = BloomFilter.create(new Funnel<String>() {
private static final long serialVersionUID = 1L;
@Override
public void funnel(String arg0, PrimitiveSink arg1) {
arg1.putString(arg0, Charsets.UTF_8);
}
}, 1024*1024*32);
bloomFilter.put("asdf");
bloomFilter.mightContain("asdf");對于計數， 我們可以使用HyperLogLog算法，ES中已經有相關的實現。
其實封裝一下，布隆過濾器也是能直接實現HyperLogLog算法的功能的。
這里遺留幾個問題，思考清楚后補充:
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
