您好,登錄后才能下訂單哦!
本篇內容主要講解“Python序列化模塊之pickle與json怎么使用”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“Python序列化模塊之pickle與json怎么使用”吧!
import pickle
把不能直接存儲的數據變得可存儲,這個過程叫做序列化。把文件中的數據拿出來,回復稱原來的數據類型,這個過程叫做反序列化。
在文件中存儲的數據只能是字符串,或者是字節流,不能是其它的數據類型,但是如果想要將其存儲就需要序列化。
Python中的序列化模塊叫做 pickle
,PHP等其它的一些語言將其稱作serialize
或者unserialize
,每個語言的序列化功能可以序列化它本身的一切數據類型。
現在存在一段數據,現在并不需要他,但是說不定什么時候我就要用它,那么最好的方法就是將這段數據保存起來。
保存這段數據一般來說有那么幾種方法(入庫或者保存文件),但是這段數據很復雜,而保存在數據庫中需要特定的數據格式,入庫的話就非常的麻煩了,而且我不想破壞數據的原有格式,那么可以選擇保存為文件。
如下所示:保存文件會遇到種種的麻煩問題。
# 這是我想要保存的一段數據 lst = ['A', 'B', 'C'] # 直接使用open函數不能將非字符串和非字節流的數據寫入文件 with open('data.txt', 'w', encoding='UTF-8') as fp : fp.write(lst) # !!! TypeError # 將數據變成字符串就破壞了原有的數據結構(如果很復雜的數據結構幾乎沒有復原的可能性) lst = str(lst) # 將數據變成字節流:只能將字符串變成字節流數據!
現在就可以使用序列化功能,將數據序列化成為字節流的格式,然后存在文件當中,當需要的時候,再從文件中讀取出來,然后反序列化成為數據原來的樣子,而且保證原數據的數據結構沒有變化。
而且可以序列化語言當中的任何數據類型,就是說不止是基本的數據類型,還有函數、類、對象……
dumps
將任意對象序列化成bytes數據,loads
將序列化成為bytes的數據反序列成數據原本的格式。
注意:只能反序列化被序列化的數據
import pickle # 這是我想要保存的一段數據 lst = ['A', 'B', 'C'] # dumps 把任意對象序列化成bytes res = pickle.dumps(lst) print(res) # b'\x80\x03]q\x00(X\x01\x00\x00\x00Aq\x01X\x01\x00\x00\x00Bq\x02X\x01\x00\x00\x00Cq\x03e.' print(type(res)) # <class 'bytes'> # 序列化后的bytes數據可以寫入文件中。 # loads 把任意bytes反序列化成為原來的數據 lst = pickle.loads(res) print(lst) # ['A', 'B', 'C'] print(type(lst)) # <class 'list'> # 嘗試反序列化其它的bytes數據 char = '你好' by_char = char.encode() new_char = pickle.loads(by_char) # _pickle.UnpicklingError: invalid load key, '\xe4'.
含義和上述的相同,只是這個可以直接操作IO對象,省時省力。
import pickle # 這是我想要保存的一段數據 lst = ['A', 'B', 'C'] # dumps 和 loads 配合文件操作 # 序列化后寫入文件 with open('test.txt', 'wb') as fp: data = pickle.dumps(lst) fp.write(data) # 讀取文件反序列化 with open('test.txt', 'rb') as fp: data = fp.read() lst = pickle.loads(data) # dump 和 load 配合文件操作 # 序列化寫入文件 with open('test.txt', 'wb') as fp: pickle.dump(lst, fp) # 讀取文件反序列化 with open('test.txt', 'rb') as fp: lst = pickle.load(fp)
import json
序列化后的數據,如果想在多種語言中都可以流通怎么辦?每種語言都有自己的語言特性,有些語言中的數據是特有的,那么序列化后的數據該怎么流通呢?
每種語言雖然各有自己的特點,但是幾乎所以的語言都是師出同門,天下語言無不出C者。所以將每種語言共同存在的數據格式按照統一的標準去序列化就可以了,JSON誕生了。
json一般存儲為json文件。
python中支持JSON序列化的數據一共有八種類型:
int、float、bool、str、list、tuple、dict、None
JSON序列化支持這幾種數據類型是因為JSON中就只支持這幾種數據類型:
如下為python中的數據類型對應json中的數據類型;
python數據類型 | JSON數據類型 |
---|---|
int | int |
float | float |
bool(True,False) | bool(true,false) |
None | null |
str | str(必須雙引號) |
list([])、tuple(()) | Array([]) |
dict({}) | Object({})(鍵必須是雙引號) |
注意:
JSON中沒有元組類型,所以會變成列表;
JSON中的對象必須使用字符串作為鍵,所以python中的字典數據中的非字符串鍵,會變成對應的JSON數據然后強轉成為字符串;
import json dict_var = {1: 1, 2.2: 2.2, False: True, '123': '123', "234": "234", None: None} json_obj = json.dumps(dict_var) dict_var = json.loads(json_obj) print(dict_var) # {'1': 1, '2.2': 2.2, 'false': True, '123': '123', '234': '234', 'null': None}
JSON可以序列化python八種數據,序列化為字符串。
pickle可以序列化python所有的數據類型,序列化為字節流。
JSON序列化函數和pickle的一樣,名稱和使用方法基本一樣:
方法 | 含義 |
---|---|
dumps | 序列化 |
loads | 反序列化 |
dump | 序列化寫入文件 |
load | 讀取文件反序列化 |
這里注意一下序列化方法的幾個常用參數:
ensure_asscii 默認為True, 以ACSII格式編碼,以Unicode顯示;
sort_keys 默認為True, 對字典的鍵進行排序;
indent默認為None, json格式化默認是一行不加縮進的,如果indent是一個正整數,就以該縮進級別進行換行,增強可視化。
import json # 開啟排序 dict_var = {'B': '2', 'A': '1'} print(dict_var) # {'B': '2', 'A': '1'} json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=True) dict_var = json.loads(json_char) print(dict_var) # {'A': '1', 'B': '2'} # 關閉排序 dict_var = {'B': '2', 'A': '1'} print(dict_var) # {'B': '2', 'A': '1'} json_char = json.dumps(dict_var, ensure_ascii=False, sort_keys=False) dict_var = json.loads(json_char) print(dict_var) # {'B': '2', 'A': '1'} # dump 也一樣哦
在對文件進行操作的時候:
json可以連續dump,但是不能連續load
pickle可以連續dump和load
如下解釋:
# json 可以連續dump,但是不能連續load import json # 序列化數據 lst1 = [1, 2, 3] lst2 = [4, 5, 6] lst3 = [7, 8, 9] # 序列化寫入文件 with open('test.json', 'w', encoding='UTF-8') as fp: json.dump(lst1, fp) json.dump(lst2, fp) json.dump(lst3, fp) # 讀取文件反序列化 with open('test.json', 'r', encoding='UTF-8') as fp: data1 = json.load(fp) # ERROR data2 = json.load(fp) data3 = json.load(fp) # !!! json.decoder.JSONDecodeError: Extra data: line 1 column 10 (char 9)
因為 json.dump
方法序列化寫入文件的時候,寫入了兩個及以上的數據,之后 json.load
方法在讀的時候又是一次性將整個文件中的數據讀取出來,這個時候,反序列化的數據成了 [1, 2, 3][4, 5, 6][7, 8, 9]
,這明顯不是一個json支持的數據格式,所以 json.load
失敗了。
再來看pickle是怎么樣的:
# pickle 可以連續dump,也可以連續load import pickle # 序列化數據 lst1 = [1, 2, 3] lst2 = [4, 5, 6] lst3 = [7, 8, 9] # 序列化寫入文件 with open('pickle.txt', 'wb') as fp: pickle.dump(lst1, fp) pickle.dump(lst2, fp) pickle.dump(lst3, fp) # 讀取文件反序列化 with open('pickle.txt', 'rb') as fp: data1 = pickle.load(fp) # [1, 2, 3] print(data1) data2 = pickle.load(fp) # [4, 5, 6] print(data2) data3 = pickle.load(fp) # [7, 8, 9] print(data3) # 嘗試先逐行讀取,再反序列化 with open('pickle.txt', 'rb') as fp: datum = fp.readlines() print(len(datum)) # 1 for data in datum: data = pickle.loads(data) print(data) # [1, 2, 3] # 只能讀出一個
可以看到 pickle.load
將數據都讀出來了,這是因為 pickle.dump
在寫入數據的時候在每條數據后都加上了一個標記(有些人解釋說是換行,但是文件中并沒有換行,逐行使用 fp.readlines
逐行讀取的時候也只能獲取一條,但是在文件中所有的數據都是在同一行的,我也不太懂了(無奈)),然后 pickle.load
每次就只會讀一條數據,從IO指針讀到每條數據后的那個標記為止,所以,pickle
可以連續的 load
。
怎么解決json的這個問題?
其實上面的這個問題,我個人認為是一種不規范的操作。因為 json.load
會一次性的讀取整個文件中的內容,你卻在一個文件中寫入了不止一條的數據,那么在反序列化的時候當然會報錯了。所以我認為:
json的主要作用多語言之前的數據傳遞和數據存儲,每個JSON文件中最好只儲存一條完整的數據。
但是我就想在一個json文件中存多個數據呢?
其實思路很簡單,關鍵就是讀取文件然后反序列化的時候,必須是一條數據、一條數據的反序列化,類似如下:
import json # 序列化數據 lst1 = [1, 2, 3] lst2 = [4, 5, 6] lst3 = [7, 8, 9] # 序列化寫入文件,每寫入一條數據插一個換行 with open('test.json', 'w', encoding='UTF-8') as fp: json.dump(lst1, fp) fp.write('\n') json.dump(lst2, fp) fp.write('\n') json.dump(lst3, fp) # 讀取文件反序列化(逐行讀取數據,然后反序列化) with open('test.json', 'r', encoding='UTF-8') as fp: datum = fp.readlines() print(len(datum)) # 3 for data in datum: data = json.loads(data) print(data) # [1, 2, 3] # [4, 5, 6] # [7, 8, 9]
json序列化后的數據為字符串,pickle序列化后的數據為字節流;
json支持八種數據類型(int、float、bool、str、list、tuple、dict、None),pickle支持python的一切數據類型;
json一般用于多語言間的數據交流,pickle一般用于python之間數據交流。
到此,相信大家對“Python序列化模塊之pickle與json怎么使用”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。