怎樣深入理解batched_reduce_size

這期內容當中小編將會給大家帶來有關怎樣深入理解batched_reduce_size，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

在search 流程中，協調節點收到客戶端的查詢請求后，將請求涉及到的轉發到其他數據節點，這個過程中會以 shard 為單位發送 query請求，待所有的請求都收到響應（QuerySearchResult）后進行下一步處理。

batched_reduce_size 參數用于控制在Search過程中，當協調節點收到指定的結果時執行一次 reduce。

官網對他的解釋如下：

(Optional, integer) The number of shard results that should be reduced at once on the coordinating node. This value should be used as a protection mechanism to reduce the memory overhead per search request if the potential number of shards in the request can be large. Defaults to 512.

這個解釋看上去難以理解本質，因此查閱一下代碼，重新解釋一下這個參數的含義：協調節點并行發送完 query 請求后，收到的響應QuerySearchResult達到batched_reduce_size數量時，執行一次 reduce，reduce 執行以下操作：

1. 如果請求中含有聚合，則對這批結果執行聚合

2. 如果請求中需要計算 TopN，則對這批結果執行計算

因此這個參數的主要作用是防止協調節點為了匯總全部結果而占用太多內存。

主要實現代碼如下，bufferSize就是batched_reduce_size設置的值，默認為512

private synchronized void consumeInternal(QuerySearchResult querySearchResult) {
    if (index == bufferSize) {
        if (hasAggs) {
            InternalAggregations reducedAggs = InternalAggregations.reduce(Arrays.asList(aggsBuffer), reduceContext);
            Arrays.fill(aggsBuffer, null);
            aggsBuffer[0] = reducedAggs;
        }
        if (hasTopDocs) {
            TopDocs reducedTopDocs = mergeTopDocs(Arrays.asList(topDocsBuffer),
                    querySearchResult.from() + querySearchResult.size(), 0);
            Arrays.fill(topDocsBuffer, null);
            topDocsBuffer[0] = reducedTopDocs;
        }
        numReducePhases++;
        index = 1;
    }
    final int i = index++;
    if (hasAggs) {
        aggsBuffer[i] = (InternalAggregations) querySearchResult.consumeAggs();
    }
    if (hasTopDocs) {
        topDocsBuffer[i] = topDocs.topDocs;
    }
}

上述就是小編為大家分享的怎樣深入理解batched_reduce_size了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。