溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了Python爬蟲requests庫的使用方法，內容清晰明了，對此有興趣的小伙伴可以學習一下，相信大家閱讀完之后會有幫助。
requests安裝和使用
下載安裝：pip install requests
#requests模塊
import requests
#發送請求 content:以二進制的形式獲取網頁的內容
response=requests.get("http://www.baidu.com").content.decode()
#response=requests.request("get","http://www.baidu.com").content.decode()
print(response)添加請求頭和參數
import requests
url="http://www.baidu.com/s?"
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/81.0.4044.138 Safari/537.36"
}
wd={"wd":"中國"}
response=requests.get(url,params=wd,headers=headers)
# 返回一個字符串形式的數據
data=response.text
# 返回一個二進制形式的數據
data2=response.content
print(data2.decode())處理Post請求
處理get請求：get()方法
處理post請求：post()方法
import requests
import re
#構造請求頭信息
header={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/81.0.4044.122 Safari/537.36"
}#谷歌瀏覽器
#http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule 網頁上的url
url="http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
key="靚仔"
#發送到web服務器的表單數據
formdata={
"i":key,
"from":"AUTO",
"to":"AUTO",
"smartresult":"dict",
"client":"fanyideskweb",
"salt":"15880563488791",
"sign":"cc2c40d740538fc5edc0380891faef27",
"ts":"1588053583943",
"bv":"f9c86b1fdf2f53c1fefaef343285247b",
"doctype":"json",
"version":"2.1",
"keyfrom":"fanyi.web",
"action":"FY_BY_REALTlME"
}
response=requests.post(url,headers=header,data=formdata)
# 獲取到的是json數據
# 對應的是字典
# print(response.json())
pat=r'"tgt":"(.*?)"}]]' #字符串中有"",再用''括起來表示字符串
# 獲取到的是字符串
result=re.findall(pat,response.text)
print(result[0])代理IP
import requests
#設置ip地址
#proxy={"http":"http://代理ip地址:端口號"}
#可以設置多個
proxy={
"http":"http://222.82.130.23:8060",
"http":"http://101.248.64.68:80",
}
response=requests.get("http://www.baidu.com",proxies=proxy)
print(response.content.decode())獲取響應的cookie
cookie：用戶信息
import requests
response=requests.get("http://www.baidu.com")
#1.獲取返回的cooketjar對象
cookiejar=response.cookies
#2.將cookiejar轉換成字典
cookiedict=requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)session實現登陸
相比直接使用cookie，創建session可以得到新的cookie信息，不會出現cookie失效的情況
#使用session實現登陸
import requests
#構造請求頭信息
header={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/81.0.4044.122 Safari/537.36"
}#谷歌瀏覽器
#創建session對象
ses=requests.session()
#構造登陸需要的參數
data={"email":"325*****@qq.com","password":"123321a"}
#通過傳遞用戶名密碼得到cookie信息
ses.post("http://www.renren.com/PLogin.do",data=data,headers=header)
#請求需要的頁面,每次請求會帶入cookie信息
response=ses.get("http://www.renren.com/880151247/profile")
print(response.text)看完上述內容，是不是對Python爬蟲requests庫的使用方法有進一步的了解，如果還想學習更多內容，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
