Python編碼的知識點有哪些

這篇文章主要介紹“Python編碼的知識點有哪些”，在日常操作中，相信很多人在Python編碼的知識點有哪些問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Python編碼的知識點有哪些”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

1. Python 3 中 str 與 bytes

在 Python3中，字符串有兩種類型 ，str 和 bytes。

今天就來說一說這二者的區別：

• unicode string(str 類型)：以 Unicode code points 形式存儲，人類認識的形式

• byte string(bytes 類型)：以 byte 形式存儲，機器認識的形式

在 Python 3 中你定義的所有字符串，都是 unicode string類型，使用 type 和 isinstance 可以判別：

# python3  >>> str_obj = "你好" >>>  >>> type(str_obj) <class 'str'> >>>  >>> isinstance("你好", str) True >>>  >>> isinstance("你好", bytes) False >>>

而 bytes 是一個二進制序列對象，你只要你在定義字符串時前面加一個 b，就表示你要定義一個 bytes 類型的字符串對象。

# python3 >>> byte_obj = b"Hello World!" >>> type(byte_obj) <class 'bytes'> >>>  >>> isinstance(byte_obj, str) False >>>  >>> isinstance(byte_obj, bytes) True >>>

但是在定義中文字符串時，你就不能直接在前面加 b 了，而應該使用 encode 轉一下。

>>> byte_obj=b"你好"   File "<stdin>", line 1 SyntaxError: bytes can only contain ASCII literal characters. >>>  >>> str_obj="你好" >>>  >>> str_obj.encode("utf-8") b'\xe4\xbd\xa0\xe5\xa5\xbd' >>>

2. Python 2 中 str 與 unicode

而在 Python2 中，字符串的類型又與 Python3 不一樣，需要仔細區分。

在 Python2 里，字符串也只有兩種類型，unicode 和 str 。

只有 unicode object 和 非unicode object(其實應該叫 str object) 的區別：

• unicode string(unicode類型)：以 Unicode code points 形式存儲，人類認識的形式

• byte string(str 類型)：以 byte 形式存儲，機器認識的形式

當我們直接使用雙引號或單引號包含字符的方式來定義字符串時，就是 str 字符串對象，比如這樣：

# python2  >>> str_obj="你好" >>> >>> type(str_obj) <type 'str'> >>> >>> isinstance(str_obj, bytes) True >>> isinstance(str_obj, str) True >>>

而當我們在雙引號或單引號前面加個 u，就表明我們定義的是 unicode 字符串對象，比如這樣：

# python2  >>> unicode_obj = u"你好" >>> >>> type(unicode_obj) <type 'unicode'> >>> >>> isinstance(unicode_obj, bytes) False >>> isinstance(unicode_obj, str) False >>>

3. 如何檢測對象的編碼

所有的字符，在 unicode 字符集中都有對應的編碼值(英文叫做：code point)。

而把這些編碼值按照一定的規則保存成二進制字節碼，就是我們說的編碼方式，常見的有：UTF-8，GB2312 等。

也就是說，當我們要將內存中的字符串持久化到硬盤中的時候，都要指定編碼方法，而反過來，讀取的時候，也要指定正確的編碼方法(這個過程叫解碼)，不然會出現亂碼。

那問題就來了，當我們知道了其對應的編碼方法，我們就可以正常解碼，但并不是所有時候我們都能知道應該用什么編碼方式去解碼?

這時候就要介紹到一個 python 的庫 -- chardet ，使用它之前 需要先安裝：

python3 -m pip install chardet

chardet 有一個 detect 方法，可以 預測其其編碼格式：

>>> import chardet >>> chardet.detect('微信公眾號：Python編程時光'.encode('gbk')) {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}

為什么說是預測呢，通過上面的輸出來看，你會看到有一個 confidence 字段，其表示預測的可信度，或者說成功率。

但是使用它時，若你的字符數較少，就有可能 “誤診”)，比如只有 中文 兩個字，就像下面這樣，我們是 使用 gbk 編碼的，使用 chardet 卻識別成  KOI8-R 編碼。

>>> str_obj = "中文" >>> byte_obj = bytes(a, encoding='gbk')  # 先得到一個 gbk 編碼的 bytes >>> >>> chardet.detect(byte_obj) {'encoding': 'KOI8-R', 'confidence': 0.682639754276994, 'language': 'Russian'} >>>  >>> strstr_obj2 = str(byte_obj, encoding='KOI8-R') >>> str_obj2 'жпнд'

所以為了編碼診斷的準確，要盡量使用足夠多的字符。

chardet  支持多國的語言，從官方文檔中可以看到支持如下這些語言

4. 編碼與解碼的區別

編碼和解碼，其實就是 str 與 bytes 的相互轉化的過程(Python 2 已經遠去，這里以及后面都只用 Python 3  舉例)

• 編碼：encode 方法，把字符串對象轉化為二進制字節序列

• 解碼：decode 方法，把二進制字節序列轉化為字符串對象

Unicode & Character  Encodings in Python

那么假如我們真知道了其編碼格式，如何來轉成 unicode 呢?

有兩種方法：

第一種是，直接使用 decode 方法

>>> byte_obj.decode('gbk') '中文' >>>

第二種是，使用 str 類來轉

>>> strstr_obj = str(byte_obj, encoding='gbk') >>> str_obj '中文' >>>

5. 如何設置文件編碼

在 Python 2 中，默認使用的是 ASCII 編碼來讀取的，因此，我們在使用 Python 2 的時候，如果你的 python  文件里有中文，運行是會報錯的。

SyntaxError: Non-ASCII character '\xe4' in file demo.py

原因就是 ASCII 編碼表太小，無法解釋中文。

而在 Python 3 中，默認使用的是 uft-8 來讀取，所以省了不少的事。

對于這個問題，通常解決方法有兩種：

(1) 第一種方法

在 python2 中，可以使用在頭部指定

可以這樣寫，雖然很好看

# -*- coding: utf-8 -*-

但這樣寫太麻煩了，我通常使用下面兩種寫法

# coding:utf-8 # coding=utf-8

(2) 第二種方法

import sys   reload(sys)  sys.setdefaultencoding('utf-8')

這里在調用sys.setdefaultencoding(‘utf-8’)  設置默認的解碼方式之前，執行了reload(sys)，這是必須的，因為python在加載完sys之后，會刪除 sys.setdefaultencoding  這個方法，我們需要重新載入sys，才能調用 sys.setdefaultencoding 這個方法。

到此，關于“Python編碼的知識點有哪些”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！