Sqoop架構和常用命令是什么

這篇文章將為大家詳細講解有關Sqoop架構和常用命令是什么，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Sqoop簡介
Sqoop是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具，可以將一個關系型數據庫（例如 ： MySQL ,Oracle 等）中的數據導入到Hadoop的HDFS中，也可以將HDFS的數據導入到關系型數據庫中。

Sqoop架構圖:


常用命令介紹
MySQL=> Hive (MySQL數據導入進Hive)
1.將指定的mysql表遷移到Hive中
sqoop import --hive-import --connect jdbc:mysql://192.168.1.1/dbname --table ${tablename} --username ${username} --password ${password} --hive-database${dbname} -m 1 --as-parquetfile

例如:
sqoop import --hive-import --connect jdbc:mysql://172.16.16.15/test --table person --username mdba --password dsf0723 --hive-database test -m 1 --as-parquetfile

2.將mysql指定庫中的所有表遷移到Hive中
sqoop import-all-tables --hive-import --connect jdbc:mysql://192.168.1.1/dbname --username ${username} --password ${password} --hive-database ${dbname} -m 1  --hive-database anhui --as-parquetfile
-Oracle => Hbase  將上述命令中的jdbc:mysql:改為jdbc:oracle:thin
例如:
sqoop import --hive-import --connect jdbc:oracle:thin:@172.16.16.16:1523:orcl --table test --username cq2017 --password cq2017 --hive-database chongqing_2017 --hive-table test_20170505 -m 1 --as-parquetfile


從Hive(HDFS)=>MySQL  (從Hive導入進MySQL)
sqoop export --connect jdbc:mysql://192.168.1.1:3306/dbname --username root
--password 123 --export-dir ‘hive表hdfs文件文件存放路徑’ --table mysqltablename  -m 1 --fields-termianted-by '\t'
--MysqlTableName 必須是提前創建好的，且數據字段和字段類型,分隔符的設定與Hive中一致
--Hive中沒有特殊的分隔符要求的話，默認分隔符是/u0001 不用加命令項 --fields-termianted-by ‘\t’ 
-- hive表hdfs文件文件存放路徑  /user/hive/warehouse/庫名/表名


其他命令:
第一類：數據庫中的數據導入到HDFS上
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123
--table user --columns ‘id, name, incoam, expenses‘  指定mysql數據庫表中的某幾個字段的數據遷移
這里的列名 嚴格區分大小寫

指定輸出路徑、指定數據分隔符
sqoop import --connect jdbc:mysql://lishiyu06:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td' --fields-terminated-by '\t'

指定Map數量 -m 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2


增加where條件, 注意：條件必須用引號引起來====》用于追加導入
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123  
--table user --where 'id>3' --target-dir '/sqoop/td2' 


增加query語句(使用 \ 將語句換行) 
sqoop import --connect jdbc:mysql://lishiyu06.10:3306/web_log --username root --password 123 \
--query 'SELECT * FROM user where id > 2 AND $CONDITIONS' --split-by user.id --target-dir '/sqoop/td3'

注意：如果使用--query這個命令的時候，需要注意的是where后面的參數，AND $CONDITIONS這個參數必須加上，
而且存在單引號與雙引號的區別，如果--query后面使用的是雙引號，那么需要在$CONDITIONS前加上\即\$CONDITIONS
如果設置map數量為1個時即-m  1 ，不用加上--split-by ${tablename.column}

關于“Sqoop架構和常用命令是什么”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。