您好,登錄后才能下訂單哦!
小編給大家分享一下cookie怎么在python爬蟲中響應網頁,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
Cookie,指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據(通常經過加密)
比如說有些網站需要登錄后才能訪問某個頁面,在登錄之前,你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie,然后再抓取其他頁面就達到目的了。
從響應中獲取cookie
我們就可以先訪問該站的某個頁,建立了session連接之后,獲取cookie,再偽造頭進行訪問。
>>> from bs4Test import * >>> s = requests.session() >>> s.get("https://www.gebiz.gov.sg/ptn/opportunity/BOListing.xhtml?origin=menu") >>> print(s.cookies) # 下面是打印結果 , http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>
最后拼接cookie串
cook_value = '' for x in cook: cook_value += x.name + '=' + x.value + ';' cook_value = cook_value[:len(cook_value)-1] print(cook_value) #打印結果 __cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045
看完了這篇文章,相信你對cookie怎么在python爬蟲中響應網頁有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。