巨杉Tech | SequoiaDB數據域及存儲規劃

1 背景
近年來，企業的各項業務發展迅猛，客戶數目不斷增加，后臺服務系統壓力也越來越大，系統的各項硬件資源也變得非常緊張。因此，在技術風險可控的基礎上，希望引入大數據技術，利用大數據技術優化現有IT系統實現升級改造，搭建一個統一存儲和管理歷史、近線數據的服務平臺，同時能夠對外支持高并發、低延時的數據查詢服務，以提高IT系統的計算能力，降低IT系統的建設成本，優化IT系統的服務體系，為各個業務部門提供更加優質的IT服務。
這類服務平臺在整個IT系統架構中實質上是一個為核心業務系統減負的系統。SequoiaDB 巨杉數據庫支持海量分布式數據存儲，并且支持垂直分區和水平分區，利用這些特性可以將歷史、近線數據存儲到 SequoiaDB 中，并能夠對外支持高并發、低延時的數據查詢服務。本文主要講解如何利用巨杉數據庫域的特性在歷史、近線數據應用場景下進行存儲規劃已滿足業務系統對性能、存儲、維護等方便的要求。

2 相關概念
多維度數據分區
SequoiaDB 支持水平和垂直方式分區。采用散列（hash）或范圍(range)水平分區是將數據分布至多個節點，加大數據吞吐量， 加速數據查詢和寫入；采用范圍（range）垂直分區是在一個節點內將數據邏輯劃分為多個區間，每個區間作為獨立的存儲單元，減少查詢時網絡I/O， 進一步加速查詢。
水平分區
散列水平分區，原理是將選擇的分區鍵進行 hash 運算，根據 hash 值將數據分發至相應分區。范圍水平分區則是直接匹配分區鍵和所對應的范圍，存放到相應的分區。兩種分區方式各有適用的場景，和運行的業務息息相關。一般不建議采用范圍水平分區，除范圍分區鍵（如月）能保證數據均衡（如每月的數據量級一致）。如圖2-1所示。

圖2-1. SequoiaDB 水平分區
垂直分區
垂直分區是指在一個節點內集合數據按某字段，分成成多個數據段。每個范圍代表一個垂直分區。數據查詢、寫入時自動分發至相應分區中。垂直分區極大減少硬盤數據訪問，降低網絡I/O，加速查詢。垂直分區共享資源（同一臺物理機），出發點在于將冷熱數據隔離，如圖2-2所示。

圖2-2. SequoiaDB 垂直分區
復制組和域
分區組又被稱為復制組，一個復制組內可以包含一個或多個數據節點（或編目節點），節點之間的數據使用異步日志復制機制，保持最終一致。
域（Domain）是由若干個復制組（ReplicaGroup）組成的邏輯單元。每個域都可以根據定義好的策略自動管理所屬數據，如數據切片和數據隔離等。
以3臺服務器為例，每臺服務器9塊磁盤。復制組的物理部署和域的邏輯組成如圖2-3所示：

采用3副本，按磁盤部署數據節點，每臺機器部署9個數據節點，3臺機器橫向組成數據組，共9個數據組。如圖域1包括數據組1-3，域2包括數據組5-9，域3包括數據組1-6，因此域在邏輯上由數據組組成，并且組成的數據組可以重疊。

3 業務場景
隨著用戶的增加、業務的發展，大型企業用戶的業務系統的數據量越來越大，而且原有系統絕大部分基于關系型數據構建，表結構復雜，每個查詢都需要關聯若干張大數據表，導致關聯查詢的性能非常低。
因此可以利用 SequoiaDB 存儲海量歷史、近線數據并開發數據查詢統一入口，按照數據生命周期管理的規則對歷史、近線數據進行統一在線存儲。另外平臺提供高并發、實時查詢服務，解決了關系型數據庫海量數據關聯查詢性能慢的問題。
根據業務系統歷史、近線數據的需求，建立歷史、近線數據存儲區用于存儲從源系統直接導入的原始數據，包括超出生產系統保存期限的數據以及需要按時點備份的數據。同時為提供在線、中高并發，小結果集的數據處理能力，可根據源系統不同劃分多個存儲區域，集群內部使用劃分數據域的方式進行分類管理。

4 數據域劃分方式
在業務系統通過接入平臺將結構化數據接入到巨杉數據庫時，需根據數據調研信息對業務系統進行分類，以確定業務系統的存儲量、并發大小、數據生命周期等，為結構化數據在巨杉數據庫中的存儲規劃提供信息支撐。業務系統結構化數據存儲到巨杉數據庫可利用數據域技術對業務系統的數據區域進行功能劃分，具體劃分方式如下：
海量數據或者高并發查詢業務系統
這類業務系統的特點是業務查詢并發較大，數據所占存儲空間較大，對cpu、內存、網絡要求較高，利用域對這類系統進行隔離，可以使數據在寫入、讀取時充分利用集群中域所在機器的物理資源以提升性能。
數據量較小或者查詢并發數較小的業務系統
這類業務系統一般對cpu、內存、網絡要求較低，所占存儲空間較小。因此這類系統可以和其他并發、所占存儲較小的業務系統的數據域共享數據組以節省機器資源。

5 利用數據域水平擴展集群
目前，企業的部分業務系統結構化數據年增長量較大并且數據越來越多。在業務系統投產后，隨著業務量的增加集群可使用容量逐漸變小，因此在業務系統接入集群前需考慮存儲容量耗盡后整個集群的水平擴展。SequoiaDB 是分布式數據庫，因此可以通過集群的擴容實現集群性能的近線性增長。而通過擴容后主要解決兩個問題是數據存儲的容量問題和整個集群的性能問題。因為數據量的不斷增長及上線后的推廣使用，所以需要進行擴容來提升集群性能及增加數據存儲空間。
SequoiaDB 在集群的管理上定義了數據域概念，一個數據域可以將多個數據組包含進來。一個集群可以根據不同的業務系統來劃分不同的數據域，不僅實現將不同業務系統數據在物理層面的隔離存儲，同時也實現了不同業務系統數據的統一調度管理，而且以后的集群擴容也可以根據域的使用需求而只針對此域進行集群擴容。
所以在進行擴容時，我們需要結合 SequoiaDB 數據域和業務系統需求進行擴容規劃及實施。結構化數據在擴容時，可針對結構化數據所在數據域增加數據組再進行數據均衡切分到新擴容的機器上；或者使子表分散在單獨的集合空間中，并使子表對應的集合空間所屬數據組在新擴容機器的數據組上。

6 具體案例
某大型金融用戶的某系統歷史數據量60T，每天有80G左右的增量數據。假設按照3年數據總量做存儲規劃，則三年數據占總存儲約為(60+80G365/1024)3=266T。
假設現在客戶提供的硬件配置信息如下：

具體安裝部署如圖6-1所示：

圖6-1

存儲規則
根據上述業務系統的信息，可將這類系統劃分為高并發海量存儲業務場景。結合數據域劃分方式以及未來擴容需求，該業務系統的結構化數據存儲在接入時數據域劃分規則如下：
1、 海量數據高并發查詢業務系統使用獨立的域進行存儲；
2、 使用主子表按照時間切分，每個子表按照ID散列分布到域所對應的所有機器上；
3、 海量數據高并發查詢業務系統子表單獨使用集合空間；
4、 數據量較小或者并發查詢較小的業務系統可以共用域；
5、 結構化域擴容可使用增加數據組再進行數據均衡切分到新擴容的機器上，或者使子表分散在單獨的集合空間中，并使子表對應的集合空間所屬數據組在新擴容機器的數據組上。

集合空間和集合設計
根據上述存儲規則，該業務場景下的結構化數據和非結構化數據存儲方式如下：
使用主子表按照時間切分，每個子表按照ID或者業務字段散列分布，子表跨度按月進行切分，并且子表分散在單獨的集合空間中。

7 總結

數據域在邏輯上由一個或多個數據組組成，在物理上對應具體的數據節點，并且不同的域之間可以重疊數據組。因此，業務系統可以根據主子表特性以及域包含數據組的靈活性將集群劃分為不同的區域存儲結構化數據，充分利用集群的計算、存儲資源。巨杉數據庫，支持海量數據存儲，SequoiaDB 支持垂直分區和水平分區，提供高并發、低延時數據查詢服務。