使用DataSync遷移數據到Gaussdb T

原文鏈接： https://www.modb.pro/db/22926?cyn

一、DataSync遷移數據簡介

DataSync支持GaussDB 100(GaussDB T)在線遷移和Sybase、Oracle、MySQL、 GaussDB 100 V100R003C10、SQL Server離線遷移兩種數據遷移方式。配置好源庫以及目標庫相關配置信息后，啟動遷移工具即可，運行過程中會生成相關的日志文件和報告，便于用戶進行日常的管理及維護。

DataSync實現功能如下所示：
數據導出：只支持離線遷移方式。
數據導入：只支持離線遷移方式。
數據導出+導入：支持離線遷移和在線遷移兩種方式。
表結構校驗：離線遷移和在線遷移時均需要進行表結構校驗。用戶可在執行數據 遷移之前單獨進行表結構校驗，也可以在執行數據遷移過程中由DataSync工具自 動進行表結構校驗。

使用DataSync的限制條件如下：
1、使用時必須確保遷移數據庫的服務器和被遷移數據庫的服務器可以正常連接。
2、使用時需保證通過配置的IP、端口、用戶名、密碼能夠正確連接數據庫。
3、使用時用戶需要評估目標數據庫占用空間和割接過程中使用的空間是否滿足。
4、 使用時確保已在運行遷移工具的設備安裝JAVA，版本須為1.8及以上。
5、使用時確保當前運行遷移工具設備的IP已配置在源數據庫和目標數據庫的白名單。
6用戶需要將需要導出的源數據庫JDBC驅動放置在dependency-jars中且驅動包名需
要跟規定的一致，否則會導致連接數據庫失敗，或采用指定jar包路徑的方式調用工具，
示例：

java -Xbootclasspath/a:/sybaseDriver/jconn4_sybase.jar:/sybaseDriver/bcprov-jdk16-1.46.jar jar DSS.jar

7、數據庫密碼不支持" “(空格)和”;"(分號)，否則工具無法使用 zsql命令連接數據庫。詳情可查詢GaussDB 100 V300R001用戶手冊密碼相關章 節。 確保配置用戶有權限執行相關操作，否則會導致運行工具達不到預期結果。配置 用戶所需權限請參見表2-1。

8、data_path配置項中所有路徑均需遵循遷移工具路徑白名單規則：路徑只允許包含 大小寫字母、數字、’’, ‘/’, ‘:’, ‘-’, ‘_’，不能以’-'打頭，不能同時包含 / 和 \

二、在線遷移示例

下面以MySQL在線遷移到gaussdb100為示例，oracle數據庫同樣可以實現在線遷移

源庫是mysql示例：
可以在源數據庫端執行，無需在目標端創建表結構，自動在目標庫創建表結構，數據同步過去
請在配置cfg.ini流程前需要分別生成數據庫服務器密文、數據庫用戶密文、目標端服務器密文
生成cfg.ini文件中需要配置的密碼的密文。

在DSS.jar當前目錄執行java -jar DSS.jar -pwd | -password password_type命令，然 后按提示輸入明文密碼，即可得到加密的密碼。

其中password_type表示cfg.ini文件中要生成密文的密碼類型。取值范圍是：整數， [1，9]。具體含義如下：

– 1：導出數據庫密碼；

– 2：導入數據庫密碼；

– 3：導入服務器密碼；

– 4：導出操作所使用數據文件所在的遠程服務器密碼；

– 5：導入操作所使用數據文件所在的遠程服務器密碼；

– 6：導出數據庫生成truststore文件設置的密碼；

– 7：導出數據庫生成keystore文件設置的密碼；

– 8：導入數據庫生成truststore文件設置的密碼；

– 9：導入數據庫生成keystore文件設置的密碼。 密碼需根據類型逐個加密，不可重復復用。例如，如果導出數據庫和導入數據庫 密碼相同，需要使用“java -jar DSS.jar -pwd | -password 1”和“java -jar DSS.jar -pwd | -password 2”命令分別對其進行加密。 示例：

dbuser@plat:~/gppTest/verf0603/DataSync> java -jar DSS.jar -password 1 
DataSync (1.1.0), From Huawei !
Copyright ? Huawei Technologies Co , Ltd 2019 All Rights Reserved.

1、配置在線遷移流程

[root@192-168-188-155 config]# more cfg.ini{        "flow_type":3, -->  1：導出  2：導入  3：在線遷移        "export_db":{                "database_type":3, --> 2：Oracle。3：MySQL。6：GaussDB 100                "db":{                        "ip":"192.168.188.155",                        "username":"root",                        "password":"mfkoBUgy1NgfG51rZUlYmg==",
/*java -jar DSS.jar -password 1--export database，這里使用命令生成數據庫用戶密文密碼*/                        "port":3306,                        "db_name":"yf",                        "server_name":"",                        "trust_store":"",                        "trust_store_password":"",                        "key_store":"",                        "key_store_password":""
                }
        },        "import_db":{                "database_type":6,                "db":{                        "ip":"192.168.212.221",                        "username":"TEMPTEST",                        "password":"AMeijynMP4OvdRzZeA/Tiw==",
/*java -jar DSS.jar -password 2--import database，這里是生成gaussdb密文用戶密碼*/                        "port":1888,                        "trust_store":"",                        "trust_store_password":"",                        "key_store":"",                        "key_store_password":"",                        "table_space":"",                        "index_table_space":""
                },                "server":{                        "ip":"192.168.212.221",                        "username":"omm",                        "password":"u9ijn15bju6i2YJIXYU46w==",
/*java -jar DSS.jar -password 3--import server-->這里是生成omm用戶密文密碼*/                        "pub_key_file":"",                        "port":22
                }
        },
--->online在線遷移下面的路徑全都不用填        "data_path":{                "export_local_path":"",                "export_remote_path":{                        "ip":"",                        "username":"",                        "password":"",                        "pub_key_file":"",                        "port":22,                        "path":""
                },                "import_local_path":"",                "import_remote_path":{                        "ip":"",                        "username":"",                        "password":"",                        "pub_key_file":"",                        "port":22,                        "path":""
                }
        },        "option":{                "column_separator":"|",                "row_separator":"\n",                "data_check_type":1,                "compression_before_translate":false,                "compress_with_zstd_mode":false,                "disable_foreign_key":true,                "check_ddl":true,                "nls_lang":"utf8",                "delete_file":true,                "ignore_lost_table":3,   
/*注意下要使用在線遷移，這里需要改為3，自動在目標庫創建表結構*/                "disable_trigger":true,                "check_obj_exists":true,                "ignore_sync_ddl":false,                "ignore_case_in_exc":false,                "multiple_schema":false,                "fetch_size":2000,                "disable_index":false,                "enlarge_charater_length":false,                "create_pk_and_index_after_import":false,                "max_table_in_ddl_file":0,

2、選擇要遷移的源數據庫和源表，映射到目標庫

[root@192-168-188-155 config]# more exp_obj.ini yf.frame_att:TEMPTEST.FRAME_ATT
---------------------------------------    --------------------------------------
源數據庫表結構                                              gaussdb 100表結構
MySQL庫名和表名用小寫                              gaussdb 100用戶名和表名用大寫

3、源端以root用戶執行
執行在線遷移命令：

[root@192-168-188-155 DataSync]# java -jar DSS.jar -i config/exp_obj.ini                   DataSync (1.1.1), From Huawei !
Copyright ? Huawei Technologies Co , Ltd 2019 All Rights Reserved. 
Start checking config.............................[ok]
Start syncing DDL.................................[ok]
Start converting environment......................[ok]
Start syncing data................................[ok]
Data syncing......................................[0/1]
Data sync completed...............................[1/1]
Start recovering envrionment......................[ok]
Start collecting results..........................[ok]
Task start time...................................[2019-12-31 13:51:19]
Task end time.....................................[2019-12-31 13:57:13]
Total spent time..................................[354.075s]
Export successful data (rows).....................[217]
Export failed data (rows).........................[0]
Export data failed table count....................[0]
Import successful data (rows).....................[217]
Import failed data (rows).........................[196389]
Import failed table(tables).......................[1]
Report details path...............................[./logs/reports_2019-12-31/13h-51m-19s/]
[root@192-168-188-155 DataSync]#

4、查看遷移報告，驗證數據一致性
DataSync工具運行過程中會生成以下日志：
dss_error_log.log：記錄工具運行時出現的異常以及錯誤日志，供維護人員定位分 析問題。
DDLReport.csv：遷移過程中如果失敗可查看，此為表結構創建失敗的表對象
dss_info_log.log：會記錄遷移失敗的表、問題sql可在此log排查

三、遷移過程中注意點

1、datasync是通過load方式遷移數據，只遷移表數據

2、在遷移前datasync會檢查表結構信息，如有錯誤會中斷遷移，有關表結構錯誤信息可查看DDLReport.csv

3、dss_info_log.log ---->遷移失敗的表、問題sql可在此log排查

4、datasync在導入之前會做ddl表結構檢查，如果有表ddl創建失敗，導入過程就會被中斷，這步比較關鍵，所以要排除掉有問題的表，再去導入，可通過命令
grep -E ‘,ERROR,|,FAILED,’ ./logs/reports_2020-01-02/13h-51m-15s/CreateTblReport.csv，過濾出失敗的表（有時候需要注意下源表的表名大小寫問題）并在exp_obj.ini排除掉即可。詳細創建失敗的原因在dss_error_log.log

5、如果之前因為ddl問題導入失敗需要重新導入，可在gaussdb刪除之前的schema，再重新datasync導入

6、遷移時某些源表有自增列，會創建失敗

ERROR:[TEMPTEST.FRA_R Missing table creation Task] Build Table Errors,sql:CREATE TABLE TEMPTEST.FRA_R ( ROW_ID FLOAT AUTO_INCREMENT not null ,OUGUID VARCHAR(200 )    ,ROL
     EGUID VARCHAR(200 )    ,UPDATETIME CHAR(40 )    , PRIMARY KEY(ROW_ID) );reason:com.huawei.gauss.exception.GaussException: [errorCode=GS-00601, SQLState='28000', reason='errLine = 1, errC
     olumn = 52, errMsg=Sql syntax error: auto increment column ROW_ID only support int type,ioClient:@4082ba93', sql=CREATE TABLE TEMPTEST.FRAME_ROLE4OU ( ROW_ID FLOAT AUTO_INCREMENT not nul
     l ,OUGUID VARCHAR(200 )    ,ROLEGUID VARCHAR(200 )    ,UPDATETIME CHAR(40 )    , PRIMARY KEY(ROW_ID) ), sessionId=73]

7、如果mysql跟gaussdb在一臺，需要以omm用戶運行，文件目錄要授權

2020-01-02 11:01:33 AM [Thread: synctask:8851 ][ Class:com.huawei.dss.syncmgr.importtask.LoadImportCommon >> Method: com.huawei.dss.syncmgr.importtask.LoadI
mportCommon.setSourceCount(LoadImportCommon.java:810) ]
ERROR:[.workflow_attac load import task]awk read data file lines failed, failed result : awk: fatal: cannot open file `/root
/dataMigration/yf1b_stdzwfw9_7_11/workflow_attachstorageconfig.dat' for reading (Permission denied)
2020-01-02 11:01:33 AM [Thread: synctask:8852 ][ Class:com.huawei.dss.syncmgr.importtask.LoadImportCommon >> Method: com.huawei.dss.syncmgr.importtask.LoadI
mportCommon.setSourceCount(LoadImportCommon.java:813) ]
ERROR:statusCode=-1;result=awk: fatal: cannot open file `/root/dataMigration/yf/workflow_at.dat' for reading (Permission de
nied)
2020-01-02 11:01:33 AM [Thread: synctask:8852 ][ Class:com.huawei.dss.syncmgr.importtask.LoadImportCommon >> Method: com.huawei.dss.syncmgr.importtask.LoadI
mportCommon.doImport(LoadImportCommon.java:160) ]
ERROR:[yf1b_stdzwfw9_7_11.workflow_attachstorageconfig load import task] task init failed
[root@database DataSync]# chown -R omm:dbgrp /opt/DataSync[omm@database 11h-18m-20s]$ java -jar DSS.jar -i config/exp_obj.ini

8、mysql在線遷移創建表的時候，gaussdb表字段大小會比源表略大

9、含有系統保留字會創建失敗

2020-01-02 13:51:32 PM [Thread: main:17745 ][ Class:com.huawei.dss.envconvert.ddlvalidator.impl.DdlValidatorImpl >> Method: com.huawei.dss.envconvert.ddlval
idator.impl.DdlValidatorImpl.createHandler(DdlValidatorImpl.java:1806) ]
ERROR:[ADMIN.AUDIT_ONLINE_REGISTER Missing table creation Task] Build Table Errors,sql:CREATE TABLE ADMIN.AUDIT_ONLINE_REGISTER ( BelongXiaQuCode VARCHAR(200 )    ,OperateUserName VARCHAR(200 )    ,OperateDate DATE    ,Row_ID INTEGER    ,YearFlag VARCHAR(16 )    ,RowGuid VARCHAR(200 )  not null ,ACCOUNTGUID VARCHAR(200 )    ,ACCOUNTSTATUS INTEGER    ,LASTLOGINDATE DATE    ,LOGINID VARCHAR(200 )    ,PASSWORD VARCHAR(2000 )    ,IS_FIRSTLOGIN INTEGER    ,MOBILE VARCH
AR(200 )    ,PWDLEVEL VARCHAR(8 )    ,USERTYPE VARCHAR(40 )    ,USERNAME VARCHAR(200 )    ,IDNUMBER VARCHAR(200 )    ,AUTHETYPE VARCHAR(200 )    ,ISREALNAME VARCHAR(200 )    ,USERSOURCE VARCHAR(200 )    ,ISQYFR VARCHAR(200 )    ,QYISACTIVE VARCHAR(200 )    ,WXID VARCHAR(400 )    ,WBID VARCHAR(400 )    ,QQID VARCHAR(400 )    ,LOCK VARCHAR(4 )    ,YPTOKEN VARCHAR(200 )    ,openid VARCHAR(200 )    ,refreshtoken VARCHAR(200 )    ,PROFILEPIC VARCHAR(200 )    ,failedtim
es INTEGER    ,faileddate DATE    ,islock VARCHAR(200 )    ,COMPANYIDNUMBER VARCHAR(200 )    , PRIMARY KEY(RowGuid) );reason:com.huawei.gauss.exception.Gaus
sException: [errorCode=GS-00601, SQLState='28000', reason='errLine = 1, errColumn = 709, errMsg=Sql syntax error: invalid column name 'LOCK',ioClient:@38cee
291', sql=CREATE TABLE ADMIN.AUDIT_ONLINE_REGISTER ( BelongXiaQuCode VARCHAR(200 )    ,OperateUserName VARCHAR(200 )    ,OperateDate DATE    ,Row_ID INTEGER
    ,YearFlag VARCHAR(16 )    ,RowGuid VARCHAR(200 )  not null ,ACCOUNTGUID VARCHAR(200 )    ,ACCOUNTSTATUS INTEGER    ,LASTLOGINDATE DATE    ,LOGINID VARCH
AR(200 )    ,PASSWORD VARCHAR(2000 )    ,IS_FIRSTLOGIN INTEGER    ,MOBILE VARCHAR(200 )    ,PWDLEVEL VARCHAR(8 )    ,USERTYPE VARCHAR(40 )    ,USERNAME VARC
HAR(200 )    ,IDNUMBER VARCHAR(200 )    ,AUTHETYPE VARCHAR(200 )    ,ISREALNAME VARCHAR(200 )    ,USERSOURCE VARCHAR(200 )    ,ISQYFR VARCHAR(200 )    ,QYIS
ACTIVE VARCHAR(200 )    ,WXID VARCHAR(400 )    ,WBID VARCHAR(400 )    ,QQID VARCHAR(400 )    ,LOCK VARCHAR(4 )    ,YPTOKEN VARCHAR(200 )    ,openid VARCHAR(200 )    ,refreshtoken VARCHAR(200 )    ,PROFILEPIC VARCHAR(200 )    ,failedtimes INTEGER    ,faileddate DATE    ,islock VARCHAR(200 )    ,COMPANYIDNUMBER V
ARCHAR(200 )    , PRIMARY KEY(RowGuid) ), sessionId=59]

10、不在datasync 轉換規則內的字段信息，也會失敗

如下bit類型的字段在gaussdb里沒有，可嘗試改為BOOLEAN（以字符串'0'或者'1'形式輸入）或者int類型
yf,portal_item,ADMIN,PORTAL_ITEM,ERROR,--,--,--,--,--

2020-01-02 13:51:32 PM [Thread: main:17243 ][ Class:com.huawei.dss.envconvert.ddlvalidator.impl.DdlValidatorImpl >> Method: com.huawei.dss.envconvert.ddlval
idator.impl.DdlValidatorImpl.getColStr(DdlValidatorImpl.java:1692) ]
ERROR:[ADMIN.PORTAL_ITEM Missing table creation Task] AUTOLOADSCRIPT column type:bit not in a type mapping file

11、CompleteReport.csv是導入完成之后的報告，用于顯示導出與導入失敗的表、失敗的行數

[omm@database DataSync]$ java -jar DSS.jar -i config/exp_obj.ini                                        
DataSync (1.1.1), From Huawei !
Copyright ? Huawei Technologies Co , Ltd 2019 All Rights Reserved. 
Start checking config.............................[ok]
Start syncing DDL.................................[ok]
Start converting environment......................[ok]
Start syncing data................................[ok]
Data syncing......................................[0/935]
Data syncing......................................[86/935]
Data syncing......................................[165/935]
Data syncing......................................[276/935]
Data syncing......................................[377/935]
Data syncing......................................[470/935]
Data syncing......................................[586/935]
Data syncing......................................[684/935]
Data syncing......................................[844/935]
Data sync completed...............................[935/935]
Start recovering envrionment......................[ok]
Start collecting results..........................[ok]
Task start time...................................[2020-01-02 15:02:15]
Task end time.....................................[2020-01-02 15:03:21]
Total spent time..................................[66.245s]
Export successful data (rows).....................[159689]
Export failed data (rows).........................[0]
Export data failed table count....................[0]
Import successful data (rows).....................[134979]
Import failed data (rows).........................[224956]
Import failed table(tables).......................[26]  
Report details path...............................[./logs/reports_2020-01-02/15h-02m-15s/]
[omm@database DataSync]$ pwd/opt/DataSync
[omm@database DataSync]$

其中Import failed table(tables).......................[26]  
 ---->來源于文件CompleteReport.csv中的 ",FAILED,"字段，表名在CompleteReport.csv中有26個有導入錯誤的表
例如：
實際報告導出、導入的行數有報錯，實際導入失敗行數不符合，源表明明沒有那么多行數據，但是datasync生成的報告里有很多行
REPORTTYPE,SOURCEDB,TARGETDB,SOURCETBL,TARGETTBL,EXPORTSTART,EXPORTEND,EXPORTCOST(MS),EXPORTEDROWS,EXPORTFAILEDROWS,EXPORTRESULT,IMPORTSTART,IMPORTEND,IMPORTCOST(MS),IMPORTEDROWS,IMPORTFAILEDROWS,IMPORTRESULT,ALLCOSTS(MS),ISFKENABLED
dump&load,yf1b_stdzwfw9_7_11,ADMIN,cert_metadata_lyg,CERT_METADATA_LYG,2020-01-02 15:02:57,2020-01-02 15:02:57,95ms,4072,0,SUCCESSED,2020-01-02 15:02:57,2020-01-02 15:02:57,248ms,0,4072,FAILED,343ms,No ForeignKey

12、查看導入失敗的一些表在

[omm@database ~]$ ll /home/omm/dataMigration/import_error_files/
total 28
-rw------- 1 omm dbgrp 195 Jan  2 15:02 cert_metadata_lyg.dat
-rw------- 1 omm dbgrp 201 Jan  2 15:03 cert_metadata_rd.dat
-rw------- 1 omm dbgrp 193 Jan  2 15:03 cert_metadata_rg.dat
-rw------- 1 omm dbgrp 193 Jan  2 15:02 cert_metadata_xy.dat
-rw------- 1 omm dbgrp 192 Jan  2 15:02 cert_metadata_yz.dat
-rw------- 1 omm dbgrp  69 Jan  2 15:03 jgzf_yearsj.dat
-rw------- 1 omm dbgrp 119 Jan  2 15:02 table_struct.dat
[omm@database ~]$ ll /home/omm/dataMigration/yf/
total 63168
-rw------- 1 omm dbgrp     2111 Jan  2 15:03 asudit_online_evaluat.dat
-rw------- 1 omm dbgrp   101454 Jan  2 15:02 asudit_project_docsnap.dat
-rw------- 1 omm dbgrp     3158 Jan  2 15:02 asudit_sp_business.dat
-rw------- 1 omm dbgrp    40147 Jan  2 15:03 asudit_task.dat

13、失敗的表數據可通過load方式手動導入

[omm@database yf]$ zsql admin/admin_123@172.16.4.81:1888 -q -c "LOAD DATA INFILE '/home/omm/dataMigration/yf/table_struct.dat' INTO TABLE \"ADMIN\".\"TABLE_STRUCT2\"  FIELDS TERMINATED BY '|' LINES TERMINATED BY '\n'   columns enclosed by '\"' optionally ignore CHARSET=utf8 THREADS 10 ERRORS 0 "connected.
SQL> 6231 rows have been committed.
Complete the data load.
totally read rows: 6231
     ignored rows: 0
      loaded rows: 6231
   committed rows: 6231
       error rows: 0
        skip rows: 0