Python爬蟲的json模塊與jsonpath模塊

Python爬蟲的json模塊與jsonpath模塊？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

JSON（JavaScript Object Notation）是一種輕量級的數據交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用于進行數據交互的場景，比如網站前臺與后臺之間的數據交互。JSON和XML相比較可謂不相上下。

Python 3.X中自帶了JSON模塊，直接import json就可以使用了。

官方文檔：http://docs.python.org/library/json.html

Json在線解析網站：http://www.json.cn/#

JSON

json簡單來說就是JavaScript中的對象和數組，所以這兩種結構就是對象和數組兩種結構，通過這兩種結構可以表示各種復雜的結構。

對象：對象在js中表示為{ }括起來的內容，數據結構為{key1: value1, key2:value2, ...}的鍵值對的結構，在面向對象的語言中，key為對象的屬性，value為對應的屬性值，所以很容易理解，取值方法為 對象.key 獲取屬性值，這個屬性值的類型可以是數字、字符串、數組、對象。

數組：數組在js中是[ ]括起來的內容，數據結構為['Python', ‘JavaScript', 'C++', ...]，取值方式和所有語言一樣，使用索引獲取，字段值的類型可以是數字、字符串、數組、對象。

json模塊

json模塊提供了四個功能：dumps、dump、loads、load，用于字符串和Python數據類型間進行轉換。

1.json.dumps()

實現Python類型轉化為Json字符串，返回一個str對象，從Python到Json的類型轉換對照如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
import json
 
listStr = [1, 2, 3, 4]
tupleStr = (1, 2, 3, 4)
dictStr = {"city": "北京", "name": "螞蟻"}
 
print(json.dumps(listStr))
# [1, 2, 3, 4]
 
print(type(json.dumps(listStr)))
# <class 'str'>
 
print(json.dumps(tupleStr))
# [1, 2, 3, 4]
 
print(type(json.dumps(tupleStr)))
# <class 'str'>
 
# 注意：json.dumps() 序列化時默認使用的ascii編碼
# 添加參數 ensure_ascii=False 禁用ascii編碼，按utf-8編碼
print(json.dumps(dictStr, ensure_ascii = False))
# {"city": "北京", "name": "螞蟻"}
 
print(type(json.dumps(dictStr, ensure_ascii = False)))
# <class 'str'>

2.json.dump()

 將Python內置類型序列化為Json對象后寫入文件

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
import json
 
listStr = [{"city": "北京"}, {"name": "螞蟻"}]
json.dump(listStr, open("listStr.json", "w", encoding = "utf-8"), ensure_ascii = False)
 
dictStr = {"city": "北京", "name": "螞蟻"}
json.dump(dictStr, open("dictStr.json", "w", encoding = "utf-8"), ensure_ascii = False)

3.json.loads()

把Json格式字符串解碼轉換成Python對象，從Json到Python的類型轉換對照如下：

#!/usr/bin/python3
# -*- coding:utf-8 -*-
__author__ = 'mayi'
 
import json
 
strList = '[1, 2, 3, 4]'
 
strDict = '{"city": "北京", "name": "螞蟻"}'
 
print(json.loads(strList))
# [1, 2, 3, 4]
 
# json數據自動按utf-8存儲
print(json.loads(strDict))
# {'city': '北京', 'name': '螞蟻'}

4.json.load()

讀取文件中Json形式的字符串，轉換成Python類型

#!/usr/bin/python3
# -*- coding:utf-8 -*- 
import json
 
strList = json.load(open("listStr.json", "r", encoding = "utf-8"))
print(strList)
# [{'city': '北京'}, {'name': '螞蟻'}]
 
strDict = json.load(open("dictStr.json", "r", encoding = "utf-8"))
print(strDict)
# {'city': '北京', 'name': '螞蟻'}

JsonPath

JsonPath是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種語言實現版本，包括：JavaScript、Python、PHP和Java。

JsonPath對于JSON來說，相當于XPATH對于XML。

下載地址：https://pypi.python.org/pypi/jsonpath

安裝方法：下載后解壓之后執行 python setup.py install

官方文檔：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

JsonPath結構清晰，可讀性高，復雜度低，非常容易匹配，下表中對應了XPath的用法。

示例：

以拉勾網城市JSON文件：http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有的城市名稱。

#!/usr/bin/python3
# -*- coding:utf-8 -*-
 
import urllib.request
import json
import jsonpath
 
# 拉勾網城市JSON文件
url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
# User-Agent頭
header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'}
 
# url 連同 headers，一起構造Request請求，這個請求將附帶 chrome 瀏覽器的User-Agent
request = urllib.request.Request(url, headers = header)
 
# 向服務器發送這個請求
response = urllib.request.urlopen(request)
 
# 獲取頁面內容：bytes
html = response.read()
 
# 轉碼：bytes轉str
html = html.decode("utf-8")
 
# 把json格式字符串轉換成python對象
obj = json.loads(html)
 
# 從根節點開始，匹配name節點
city_list = jsonpath.jsonpath(obj, '$..name')
 
# 打印獲取的name節點
print(city_list)
# 打印其類型
print(type(city_list))
 
# 寫入本地磁盤文件
with open("city.json", "w", encoding = "utf-8") as f:
    content = json.dumps(city_list, ensure_ascii = False)
    f.write(content)

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。