Python：一圖看懂Python2還是Python3的編碼

無論是Python2還是Python3，都使用unicode作為內存編碼，簡稱內碼。保存在python解釋器內存中的文本，輸出到屏幕、編輯器，或者保存成文件的時候，都要將內碼轉換成utf8或者gbk等編碼格式；同樣，python解釋器從輸入設備接收文本，或者從文件讀取文本的時候，都要將utf8或者gbk等編碼轉換成unicode編碼格式。因此，無論是Python2還是Python3，想要在unicode、utf8、gbk等編碼格式之間轉換的話，下圖是通用的：

我們之所以會產生困惑，是因為py2和Python3給這些編碼格式指定了令人困惑的名字。Python2的字符串有兩種類型：unicode類型和str類型。Python2的unicode類型就是unicode編碼，Python2的str類型泛指除unicode編碼之外的所有編碼，包括ascii編碼、utf8編碼、gbk編碼、cp936編碼等。Python3的字符串也有兩種類型：bytes類型和str類型。Python3的str類型就是unicode編碼，Python3的bytes類型泛指除unicode編碼之外的所有編碼，包括ascii編碼、utf8編碼、gbk編碼、cp936編碼等。同樣是str類型，在Python2和Python3中完全顛倒了！下圖稍微補充了一點內容，更有助于理解編碼問題。

接下來，我們實戰演練一下。

>>> s = 'abc天圓地方'
>>> type(s)
<class 'str'>
>>> len(s)
7
>>> s
'abc天圓地方'
>>> print(s)
abc天圓地方
>>> s.encode('unicode-escape')
b'abc\\\u5929\\\u5706\\\u5730\\\u65b9'

不管是否在字符串前面加了u，只要不在字符串前面使用b，在IDLE中定義的字符串都是unicode編碼，也就是py3的<class ‘str’>，其長度就是字符數量，不是字節數。我們把unicode字符串’abc天圓地方’轉成utf8編碼：

>>> s_utf8 = s.encode('utf8')
>>> type(s_utf8)
<class 'bytes'>
>>> len(s_utf8)
15
>>> s_utf8
b'abc\\xe5\\xa4\\xa9\\xe5\\x9c\\x86\\xe5\\x9c\\xb0\\xe6\\x96\\xb9'
>>> print(s_utf8)
b'abc\\xe5\\xa4\\xa9\\xe5\\x9c\\x86\\xe5\\x9c\\xb0\\xe6\\x96\\xb9'
>>> s_utf8.decode('utf8')
'abc天圓地方'

utf8編碼就是bytes類型（字節碼），長度就是字節數量。我們把unicode字符串’abc天圓地方’轉成gbk編碼：

>>> s_gbk= s.encode('gbk')
>>> type(s_gbk)
<class 'bytes'>
>>> len(s_gbk)
11
>>> s_gbk
b'abc\\xcc\\xec\\xd4\\xb2\\xb5\\xd8\\xb7\\xbd'
>>> print(s_gbk)
b'abc\\xcc\\xec\\xd4\\xb2\\xb5\\xd8\\xb7\\xbd'
>>> s_gbk.decode('s_gbk')
'abc天圓地方'

gbk編碼也是bytes類型（字節碼），長度也是字節數量。我們再來看看，不同編碼的字節碼能否連接：

>>> ss = s_utf8 + s_gbk
>>> ss
b'abc\\xe5\\xa4\\xa9\\xe5\\x9c\\x86\\xe5\\x9c\\xb0\\xe6\\x96\\xb9abc\\xcc\\xec\\xd4\\xb2\\xb5\\xd8\\xb7\\xbd'
>>> ss.decode('utf8')
Traceback (most recent call last):
 File "<pyshell#64>", line 1, in <module>
 ss.decode('utf8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcc in position 18: invalid continuation byte
>>> ss.decode('gbk')
'abc澶╁渾鍦版柟abc天圓地方'
>>> ss.decode('utf8', 'ignore')
'abc天圓地方abc??'
>>> ss.decode('gbk', 'ignore')
'abc澶╁渾鍦版柟abc天圓地方'

看以看出，不同編碼的字節碼可以連接，但一般不能解碼成unicode（字符串），除非使用ignore參數。