ES的聚合是其一大特色。然而出於效能的考慮， ES的聚合是以分片Shard為單位，而非Index為單位， 所以
有些聚合的準確性是需要注意的。 比如： TermAggregations.

es的基數聚合使用到了hyperloglog演算法。 出於好奇，瞭解了一下。

在海量資料場景下， 我們通常會遇到這樣的兩個問題:

1. 資料排重。比如在推送訊息場景，訊息重複對使用者是打擾， 使用者發券場景， 重複發券就是損失了。

2. pv/uv統計。這類場景下， 對精確度要求沒必要錙銖必較。

如何高效解決這兩類問題呢？

對於資料排重， 我們可以使用布隆過濾器。java 樣列程式碼如下:

BloomFilter<String> bloomFilter = BloomFilter.create(new Funnel<String>() {

            private static final long serialVersionUID = 1L;

            @Override
            public void funnel(String arg0, PrimitiveSink arg1) {

                arg1.putString(arg0, Charsets.UTF_8);
            }

        }, 1024*1024*32);

        bloomFilter.put("asdf");
        bloomFilter.mightContain("asdf");
 

對於計數， 我們可以使用HyperLogLog演算法，ES中已經有相關的實現。

其實封裝一下，布隆過濾器也是能直接實現HyperLogLog演算法的功能的。

這裡遺留幾個問題，思考清楚後補充:

1. BloomFilter跟HyperLogLog演算法的原理
2. 相同量級資料下的效率及記憶體消耗
3. 各自的適用場景有哪些