91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python爬蟲中如何使用header

發布時間:2020-11-24 09:50:20 來源:億速云 閱讀:650 作者:小新 欄目:編程語言

這篇文章主要介紹python爬蟲中如何使用header,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!

headers是解決requests請求反爬的方法之一,相當于我們進去這個網頁的服務器本身,假裝自己本身在爬取數據。

對反爬蟲網頁,可以設置一些headers信息,模擬成瀏覽器取訪問網站 。

谷歌或者火狐瀏覽器,在網頁面上點擊:右鍵–檢查;點擊更多工具-開發者工具;直接F12亦可。然后再按Fn+F5刷新出網頁來顯示元素

有的瀏覽器是點擊:右鍵->查看元素,刷新

python爬蟲中如何使用header

注意:headers中有很多內容,主要常用的就是user-agent 和 host,他們是以鍵對的形式展現出來,如果user-agent 以字典鍵對形式作為headers的內容,就可以反爬成功,就不需要其他鍵對;否則,需要加入headers下的更多鍵對形式。

import urllib2
import urllib
values={"username":"xxxx","password":"xxxxx"}
data=urllib.urlencode(values)
url= "https://ssl.gstatic.com/gb/images/v2_730ffe61.png"
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
referer='http://www.google.com/'
headers={"User-Agent":user_agent,'Referer':referer}
request=urllib2.Request(url,data,headers)
response=urllib2.urlopen(request)
print response.read()

以上是“python爬蟲中如何使用header”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注億速云行業資訊頻道!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

遂昌县| 涟源市| 高平市| 瑞丽市| 图木舒克市| 伽师县| 蓬溪县| 华容县| 满洲里市| 外汇| 桐庐县| 延庆县| 郑州市| 囊谦县| 衡阳市| 观塘区| 五原县| 宜都市| 安塞县| 昌平区| 崇明县| 安仁县| 淳化县| 碌曲县| 太原市| 高淳县| 嫩江县| 乐清市| 上犹县| 福安市| 丹阳市| 新巴尔虎左旗| 紫金县| 成武县| 北碚区| 黄山市| 北京市| 怀化市| 宝坻区| 丹棱县| 大港区|