您好,登錄后才能下訂單哦!
這篇文章給大家分享的是有關requests模塊怎么用的內容。小編覺得挺實用的,因此分享給大家做個參考。一起跟隨小編過來看看吧。
一、安裝
第一步:pip安裝
https://pypi.org/project/pip/#files下載pip壓縮文件包,最好將其下載到scripts目錄下。進入到安裝目錄下,執行:
python setup.py install
D:\envi\python2.7\Scripts添加到環境變量新打開一個命令行窗口,執行
pip list
第二步:requests安裝命令
pip install requests
二、使用:爬取百度網站內容
導入模塊
#導入requests模塊 import requests
指定url
#1:指定url url='https://www.baidu.com/'
發起請求
#2:發起請求(get方法會返回一個響應對象) response = requests.get(url=url)
獲取響應數據
#3:獲取響應數據 page_text = response.text
持久化存儲
#4:持久化存儲 with open('./baidu.html','w',encoding='utf-8') as fp: fp.write(page_text) print('爬完了')
三:requests異常處理
異常:比如網絡連接錯誤、http錯誤異常、重定向異常、請求url超時異常等等。
處理:可以利用 response.raise_for_status()
語句去捕捉異常,該語句在方法內部判斷r.status_code是否等于200,如果不等于,則拋出異常。
爬取網頁的通用代碼框架:
try: response=requests.get(url) response.raise_for_status() #如果狀態不是200,則引發異常 except: print("產生異常")
requests 會自動實現持久連接keep-alive,requests 支持 HTTP 連接保持和連接池,支持使用 cookie 保持會話,支持文件上傳,支持自動確定響應內容的編碼,支持國際化的 URL 和 POST 數據自動編碼,現代、國際化、人性化。
感謝各位的閱讀!關于requests模塊怎么用就分享到這里了,希望以上內容可以對大家有一定的幫助,讓大家可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。