分布式數據庫如何玩轉HTAP場景

這篇文章給大家介紹分布式數據庫如何玩轉HTAP場景，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。

傳統數據庫架構面臨的痛點

1. 集群分散不利于整合，數據結構同步工作量大

第一招：數據源的數據同步 

通過開發消費kafka的程序將數據同步到SequoiaDB數據中，保持和生產實時同步。以下為數據同步加載架構圖：

第二招：彈性擴容

第三招：多模數據引擎使用

MySQL 實例適用于比較熟悉 MySQL 的操作人員，適合精準查詢、業務數據寫入、柜面查詢、OLTP場景。增刪查改操作和 MySQL 完全一致，底層數據保存在 SequoiaDB。

• PostgreSQL 實例適用于比較熟悉 PostgreSQL 的操作人員，適合精準查詢和OLAP場景。支持增刪查改等功能和 PostgreSQL 使用完全一致，采用外表的方式將數據保存在 SequoiaDB 中。

• Spark 實例為分布式集群，SparkSQL 適合報表分析、大表關聯查詢和 OLAP 場景。跨庫關聯查詢比較友好，支持標準 SQL、支持 JDBC 訪問、支持 Python 對接查詢。

第四招：多種 SQL 引擎關聯使用方法 

4.1 MySQL 創建表

• 創建 temp.test 這張表 ，其中字段信息如下所示 ：

create  table temp.test
  (    
    numcode smallint,    
    agentcode char(12),    
    bankname varchar(120),    
    flag decimal(8,4),    
    timecode datetime
  );

•  給 temp.test 這個表插入下面的4條記錄：

insert into  temp.test (numcode,agentcode,bankname,flag,timecode)values(1,'test1','beijingbank1',10.1,'2019-06-21 10:07:52’);
insert into  temp.test (numcode,agentcode,bankname,flag,timecode)values(2,'test2','beijingbank2',10.2,'2019-06-22 10:07:52’);
insert into  temp.test (numcode,agentcode,bankname,flag,timecode)values(3,'test3','beijingbank3',10.3,'2019-06-23 10:07:52’);
insert into  temp.test (numcode,agentcode,bankname,flag,timecode)values(4,'test4','beijingbank4',10.4,'2019-06-24 10:07:52');

更新 temp.test 中 numcode=1 的記錄中 bankname 為 "guangzhoubank" 

  mysql> update  temp.test  set  bankname="guangzhoubank"  where  numcode=1;                    
  Query OK, 0 rows affected (0.00 sec)Rows matched: 0  Changed: 0  Warnings: 0

• 更新后再次查詢，顯示更新已經成功

 mysql> select * from   temp.test;

刪除 temp.test 表中 numcode=1 的這條記錄

  mysql> delete  from  temp.test where  numcode=1;
  Query OK, 0 rows affected (0.01 sec)
  mysql> select * from   temp.test;

在 PostgreSQL 客戶端創建映射表，能夠查詢出數據

  temp=# create foreign table test
  temp-# (
  temp(# numcode int,
  temp(# agentcode text,
  temp(# bankname  text,
  temp(# flag decimal(8,4),
  temp(# timecode  text
  temp(# )
  temp-# server sdb_server
  temp-# options ( collectionspace 'temp', collection 'test', decimal 'on' );

連接 SparkSQL 客戶端創建映射表，能夠查詢出數據

  create table temp.test (    
    numcode int,    
    agentcode string,    
    bankname string,    
    flag decimal(8,4),    
    timecode string
  )USING com.sequoiadb.spark OPTIONS ( host '10.139.***.***:11810', collectionspace 'temp', collection 'test') ;

以上證明 MySQL 、PostgreSQL 和Spark 三者之間數據是通的，數據可以共用。

4.2 使用Spark生成子表

• 連接 Spark 客戶端，使用 create table as 的方式創建新表 test2

 create table temp.test2 USING com.sequoiadb.spark OPTIONS ( 
    host '10.139.***.***:11810’,
    domain 'allDomain’, 
    collectionspace 'temp’, 
    collection 'test2’, 
    ignoreduplicatekey 'true'  , 
    shardingkey '{"_id":1}’, 
    shardingType 'hash’ , 
    compressiontype 'lzw’ , 
    autosplit 'true’
  )as select * from temp.test ;

連接 MySQL 客戶端，映射 Spark 創建的新表能夠查詢出同步的數據

mysql> create  table temp.test2    
     -> (    
     ->     numcode smallint,    
     ->     agentcode char(12),    
     ->     bankname varchar(120),    
     ->     flag decimal(8,4),    
     ->     timecode datetime    
     -> ); 
  mysql> select * from temp.test2;

第五招：多副本機制的應用 

5.1 同城三副本高可用架構

其中有主備兩個機房，其中主機房部署兩個節點，備機房部署一個節點。三臺機器共同組成一個數據組，其中選舉邏輯遵循 Raft 協議。

5.2 主備一致性設置

在分布式系統中，一致性是指數據在多個副本之間數據保持一致的特性。SequoiaDB 巨杉數據庫支持不同級別的主備一致性策略，以適配不同的應用場景。用戶可根據業務對數據安全性和服務可用性的要求，選擇不同的一致性策略。

1）強一致性

寫所有節點當發生寫操作時，數據庫會確保所有復制組節點都同步完成才返回。寫操作處理成功后，后續讀到的數據一定是當前復制組內最新的。優勢是能夠有效的保證數據的完整性和安全性，劣勢則是會降低復制組的寫入性能，并且當集群內有一個節點故障或者異常時，無法寫入數據，降低高可用性。

             在核心交易型業務中，為了保證數據安全性，同時可以犧牲一定的寫入性能時，推薦使用強一致性策略。

2）最終一致性

為了提升數據庫的高可用性，以及實現數據的讀寫分離，SequoiaDB 默認采用“最終一致性”策略。在讀寫分離時，讀取的數據在某一段時間內可能不是最新的，但副本間的數據最終是一致的。

寫主節點在主節點執行寫操作成功后，寫操作即可返回。對數據查詢一致性要求不高的業務，如歷史數據查詢平臺，夜間批量導入數據以及白天提供查詢業務，推薦使用寫主節點的最終一致性策略。

其中強一致還是最終一致創建集合時由 ReplSize 這個參數來指定，創建集合時如設置 ReplSize 為-1表示強一致，默認為 ReplSize 值為1表示最終一致。根據使用場景來選擇使用強一致還是最終一致，用戶可以通過 db.setAttributes() 修改 ReplSize 屬性。

第六招：多樣化的監控工具

SequoiaPerf 工具除了能夠協助用戶對慢查詢快速定位分析，還能夠幫助用戶全面監控 SequoiaDB 數據集群。在 SequoiaPerf 的首頁上，用戶可以對 SequoiaDB 數據庫集群運行情況做一個宏觀的瀏覽，快速查閱當前集群的運行情況。

在 SequoiaPerf 的服務器資源頁面上，用戶可以了解服務器更加詳細的信息。

例如服務器磁盤的I/O使用情況，可以通過放大圖表獲得更加詳細的數據。同時用戶也可以通過頁面右上角的時間欄，選擇查看近期一段時間的資源使用情況。

小結

1. 數據庫在數據管理中的突出能力

SequoiaDB 巨杉數據庫是一款金融級分布式關系型數據庫，產品引擎采用原生分布式架構，100%兼容 MySQL 語法和協議，支持完整的 ACID 和分布式事務。同時 SequoiaDB 還提供多模（multi-model）數據庫存儲引擎，原生支持多數據中心容災機制，是新一代分布式數據庫的首選。SequoiaDB 巨杉數據庫可以為用戶帶來如下價值：

• 完全兼容傳統關系型數據，數據分片對應用程序完全透明

• 高性能與無限水平彈性擴展能力

• 分布式事務與 ACID 能力

• 同時支持結構化、半結構化與非結構化數據

• 金融級安全特性，多數據中心間容災做到 RPO = 0

• HTAP 混合負載，同時運行聯機交易與批處理任務且互不干擾

• 多租戶能力，云環境下支持多種級別的物理與邏輯隔離 

2. 實踐成果

數據庫完美解決目前傳統數據庫面臨的痛點，降低了IT成本、提高運維效率，使數據能夠有效給企業提供服務。其優勢如下：

• 提高查詢效率，使用 Spark 大表查詢效率提高20倍。

• 容量多，合并同步了多個生產庫、歷史庫的全部數據。

• 模式新，支持多種數據類型、結構化和非結構化。

• 擴容簡單，支持快速擴容和縮容，基本有機器就能擴容。

• 上手簡單，一鍵部署使用，降低dba學習成本。

• 查詢引擎豐富，支持多種 SQL 查詢引擎，豐富業務使用。

• 接口豐富，除了 SQL 還支持 JDBC、ODBC 和 API 多種接口，靈活使用。

• 系統完備，有新的業務系統隨時可以接入。

關于分布式數據庫如何玩轉HTAP場景就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。