91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

如何使用Python構造hive insert語句

發布時間:2020-07-18 10:41:16 來源:億速云 閱讀:613 作者:小豬 欄目:開發技術

這篇文章主要為大家展示了如何使用Python構造hive insert語句,內容簡而易懂,希望大家可以學習一下,學習完之后肯定會有收獲的,下面讓小編帶大家一起來看看吧。

mysql可以使用nevicat導出insert語句用于數據構造,但是hive無法直接導出insert語句。我們可以先打印在hive命令行,然后使用腳本拼裝成insert語句,進行數據構造。

如何使用Python構造hive insert語句

手動copy到python腳本進行sql語句構造:

def transformString(s):  list_s = s.split('\t')  print(len(list_s))  s_new = ''  for item in list_s:    s_new += '\"' + item.strip(' ') + '\"' + ','  return str(s_new.rstrip(','))# 為手動copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)

結果:

insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");

補充知識:python向hive插入數據遇到的坑

因項目需求,應用python建模需要通過hive取數,并將結果寫入hive表。

嘗試了以下幾條坑爹路,僅做記錄如下:

通過impyla庫搭建hive與python橋梁

1.1 環境配置的坑(回頭放連接)

注: 遠程訪問hive一定要記得配置賬號密碼!!!報錯:。。。-4.。。

1.2 一定不要用impyla中的executemany去批量插入數據,也不要用其他的方式向hive插入數據,都是坑!奇慢無比!找資料也都是說不建議這么做。

長途跋涉hdfs法

2.1 先用python的pyhdfs庫將結果寫成hdfs文件,然后。。。尼瑪!!根本沒成功連上服務器的hdfs,本地hdfs到是可以的

2.2 那既然寫hdfs,我就直接將模型結果通過hadoop/hdfs命令上傳至hdfs。然后, 通過hive命令load data將hdfs中的結果再導入hive。雖然有點繞,但是成功了!!!BUT!!!小兄弟,這個直接操作HDFS風險太高了,要不你還是另尋他法吧,不可以拒絕哦!!!

2.3 好吧,根據建議,使用kafka,抱歉這個坑后面再來踩。

2.4 臨時處理方案:先將結果寫入mysql,再轉入hive,這個沒有坑,具體我也只是寫到mysql,無坑。。就是有點繞。。。

以上就是關于如何使用Python構造hive insert語句的內容,如果你們有學習到知識或者技能,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

鄂托克前旗| 上林县| 隆回县| 沙坪坝区| 静海县| 开远市| 高密市| 清流县| 瑞丽市| 明溪县| 沾益县| 云和县| 得荣县| 澳门| 云霄县| 邹平县| 烟台市| 东方市| 天峨县| 贡觉县| 平远县| 湖北省| 庆安县| 霸州市| 德庆县| 通州区| 乡城县| 白城市| 鄂伦春自治旗| 三河市| 当雄县| 成武县| 万源市| 闻喜县| 纳雍县| 黄平县| 疏勒县| 德化县| 琼海市| 德钦县| 阆中市|