大數據報表數據外置計算是怎樣的

大數據報表數據外置計算是怎樣的，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

在報表應用中，針對歷史數據查詢的報表占比很大，這類報表的特點是：第一，數據變化小，查詢的歷史數據幾乎不會發生變化；第二，數據量大，而且還會隨時間不斷增加。如果這些歷史數據始終存放在數據庫中，由于大多數數據庫的 JDBC 性能都很低下（取數過程的數據對象轉換比從文件中讀取數據慢一個數量級），當涉及數據量較大或并發較多的時候，報表的性能會急劇下降。顯然，如果能將這些變化不大的歷史數據移出數據庫，采用文件系統存儲，就可以獲得比數據庫高得多的 IO 性能，從而提高報表的整體性能。

但是，報表并不能直接使用原始數據，都需要運算（比如查詢匯總）之后再進行呈現，而文件本身沒有計算能力，因此無法提供報表需要的結果。此外，使用文件存儲的數據量一般都很大，僅靠報表呈現端很難實現高效的計算。

對于潤乾報表來說，這種需求完全可以在內置集算引擎的幫助下做到，稱為庫外文件計算，或數據外置計算。所支持的文件類型包括：文本、Excel、JSON 格式文件等，還支持效率更高的二進制文件。

通過數據外置計算，將較大數據量的歷史數據從數據庫中剝離，除了可以滿足歷史查詢類報表的性能需求外，還可以實現混合數據源（文件 + 數據庫）的計算，進而實現大數據量的實時數據查詢，比如從文件系統中讀取往期大量的歷史數據，從數據庫中讀取當期較小量的實時數據進行混合計算。由此，一方面可以避免數據庫的 IO 瓶頸，快速提升報表性能，增大數據查詢范圍；另一方面，將歷史數據移出，數據庫可以專注于保證業務系統數據的一致性，而不是耗費資源在大量的歷史查詢任務上，這也是一種數據庫優化的手段。

下面用一個例子說明實現數據外置計算（結合集算器實現）的步驟：

1、 將數據庫中歷史數據導出到文件

用戶可以自行選擇適當的方法將歷史數據導出到文件，當然這個過程也可以使用集算器來做，比如將數據導出到文本。如果希望更高的性能，還可以使用比文本能快 2-5 倍的二進制文件格式。在集算器中使用以下代碼可將文本文件轉換成二進制格式。

file("E:/訂單明細.b").export@b(file(“E:/訂單明細.txt”.cursor())

2、 使用潤乾報表內置的集算引擎讀取數據文件

當數據外置后，潤乾報表可將文件作為數據源來設計報表，比如根據訂單明細按客戶統計訂單數量和訂單金額，由于原始訂單數據非常大，所以讀入文件時采用流式（文件游標）的方式逐步讀入。

腳本中使用的參數及其含義如下：

腳本：

代碼說明：

A1：通過文件游標采用流式處理的方式讀入大文本；

A2：按照指定的多個維度進行數據過濾，結果仍然是游標；

A3：根據選出的結果，按照客戶 ID 匯總訂單數量和訂單金額；

A4：為報表返回結果集。

前面提到，潤乾報表既可以針對單獨的文件（導出的歷史數據）進行查詢計算，還可以進行文件 + 數據庫的混合運算，進行大數據量實時查詢。

代碼說明：

A1-A3：與上一個腳本一樣，匯總歷史數據；

A5：根據指定參數執行 sql，匯總當期數據；

A6：將兩部分匯總數據合并（縱向拼接）；

A8：根據合并后的歷史和當期匯總數據再次匯總，得到各客戶的訂單數量和訂單金額。

3 在潤乾報表中調用集算腳本，編輯報表表達式完成報表制作

數據集配置如下：

報表配置如下：

關于大數據報表數據外置計算是怎樣的問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。