91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

cookie怎么在python爬蟲中響應網頁

發布時間:2020-12-01 09:10:25 來源:億速云 閱讀:130 作者:小新 欄目:編程語言

小編給大家分享一下cookie怎么在python爬蟲中響應網頁,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!

Cookie,指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據(通常經過加密)

比如說有些網站需要登錄后才能訪問某個頁面,在登錄之前,你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie,然后再抓取其他頁面就達到目的了。

從響應中獲取cookie

我們就可以先訪問該站的某個頁,建立了session連接之后,獲取cookie,再偽造頭進行訪問。

>>> from bs4Test import *
>>> s = requests.session()
>>> s.get("https://www.gebiz.gov.sg/ptn/opportunity/BOListing.xhtml?origin=menu")
>>> print(s.cookies)
# 下面是打印結果
, http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>

最后拼接cookie串

cook_value = ''
for x in cook:
    cook_value += x.name + '=' + x.value + ';'
cook_value = cook_value[:len(cook_value)-1]
print(cook_value)
#打印結果
__cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045

看完了這篇文章,相信你對cookie怎么在python爬蟲中響應網頁有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

曲水县| 正蓝旗| 祁门县| 白玉县| 招远市| 百色市| 澄迈县| 双桥区| 青川县| 巴东县| 灌南县| 邳州市| 镇原县| 文昌市| 波密县| 黑山县| 嵩明县| 常山县| 伊宁县| 阿拉善右旗| 常德市| 巨鹿县| 潍坊市| 茶陵县| 元阳县| 商南县| 乡宁县| 连云港市| 南漳县| 土默特右旗| 凭祥市| 宁乡县| 克东县| 集安市| 喀喇| 华亭县| 靖西县| 常山县| 云梦县| 铁岭市| 抚州市|