91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python通過偽裝頭部數據抵抗反爬蟲的實例

發布時間:2020-09-18 10:13:38 來源:腳本之家 閱讀:181 作者:JackReach 欄目:開發技術

0x00 環境

系統環境:win10

編寫工具:JetBrains PyCharm Community Edition 2017.1.2 x64

python 版本:python-3.6.2

抓包工具:Fiddler 4

0x01 頭部數據偽裝思路

通過http向服務器提交數據,以下是通過Fiddler 抓取python沒有偽裝的報文頭信息

GET /u012870721 HTTP/1.1
Accept-Encoding: identity
Host: blog.csdn.net
User-Agent: <span >Python-urllib/3.6</span>
Connection: close

Python-urllib/3.6

很明顯啊,我們暴露了。現在要問了,該怎么!模擬瀏覽器,讓自己偽裝成瀏覽器,一下是瀏覽器訪問發送的頭部數據

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Referer: http://write.blog.csdn.net/postlist
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.8

0x02代碼實現

from urllib import request
html_url = "http://blog.csdn.net/u012870721";
#偽裝構造頭
header ={
 "Connection": "keep-alive",
 "Upgrade-Insecure-Requests": "1",
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",
 "Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
 "Accept-Encoding": "gzip,deflate",
 "Accept-Language": "zh-CN,zh;q=0.8"
};

#int main()
#{
req = request.Request(url=html_url, headers=header);

resp = request.urlopen(req);
# return 0;
# }

偽裝后進行發送的信息頭

GET /u012870721 HTTP/1.1 
Host: blog.csdn.net 
Connection: close 
Upgrade-Insecure-Requests: 1 
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 
Accept-Encoding: gzip,deflate 
Accept-Language: zh-CN,zh;q=0.8 

以上這篇python通過偽裝頭部數據抵抗反爬蟲的實例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持億速云。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

遂川县| 黔江区| 平南县| 潼关县| 平武县| 怀宁县| 柞水县| 松阳县| 乌什县| 闽侯县| 大足县| 新竹市| 东宁县| 郯城县| 邵阳市| 西畴县| 阜康市| 辽宁省| 宁明县| 周口市| 泾阳县| 涪陵区| 松溪县| 沈丘县| 双鸭山市| 壶关县| 积石山| 乐安县| 临邑县| 逊克县| 杂多县| 无为县| 柏乡县| 资源县| 奎屯市| 焦作市| 马关县| 凉城县| 南充市| 永登县| 东海县|