您好,登錄后才能下訂單哦!
本篇內容主要講解“Fayson使用impala-shell命令導出數據存在中文異常問題怎么解決”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Fayson使用impala-shell命令導出數據存在中文異常問題怎么解決”吧!
Fayson在使用impala-shell -i hosts -d default -f test.sql -o test.txt, 導出結果數據時,發現執行SQL 報錯,提示錯誤信息如下Unknown Exception : 'ascii' codec can't encode characters in position 61-62: ordinal not in range(128),看到這個異常,想必熟悉python的朋友知道這是python中文亂碼的問題,Fayson下面會詳細描述該問題和解決辦法
測試環境:
1.RedHat7.4
2.CDH5.16.1
首先我們使用impala-shell 創建一張表并插入一條數據包含中文字符,然后進行查看
[hadoop2.macro.com:21000] > create table testimpala_shell (s1 string,s2 string);
[hadoop2.macro.com:21000] > insert into testimpala_shell values ("hello","你好");
[hadoop2.macro.com:21000] > select * from testimpala_shell;
然后執行下列命令,并查看日志,發現異常如下:
impala-shell -i hadoop2.macro.com -d default -f test.sql -o test1.log
或者
impala-shell -i hadoop2.macro.com -d default -f test.sql > test.log 2>&1
或者
impala-shell -i hadoop2.macro.com -d default -q “select * from testimpala_shell” -o test1.log
同樣的語句在沒有中文字符的情況下可以正常執行和導出結果數據
由于查詢在impala-shell 中沒有問題,在導出數據的時候才有問題,這是impala-shell的客戶端是由python編寫的,而Python無法自動將unicode對象寫入沒有設置默認編碼的輸出流,所以導致該異常。對于該問題,修改impala-shell默認編碼為utf-8即可解決該問題
vim /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py
#添加如下代碼:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
然后重新執行,發現已經可以正常執行
到此,相信大家對“Fayson使用impala-shell命令導出數據存在中文異常問題怎么解決”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。