python爬蟲之User Agent

在學習爬蟲的過程中在有的時候沒使用頭在使用python的爬蟲腳本剛爬了兩次,就只是測試了一下就打不開這個網頁了,剛開始還一直迷糊著,到后來才知道,python在做爬蟲的時候默認的user agent就是python的大版本,python2.7.的User-Agent: Python-urllib/2.7;python3.5.的User-Agent: Python-urllib/3.5

下面來做個試驗:
python代碼如下:

python2

import urllib2

url = "http://www.baidu.com/"

request = urllib2.Request(url)

response = urllib2.urlopen(request)

print(response.read())

python3

from urllib import request

url = "http://www.baidu.com/"

req = request.Request(url)

response = request.urlopen(req)

print(response.read().decode()

我們開啟fiddler,運行完成代碼,然后在fiddler上面查看下我們的數據

很明顯就是python的版本,
因此我們在學習爬蟲的時候無論爬什么,代碼最好都要加上這個頭信息

下面我們在代碼上加入一個頭

from urllib import request

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64"
}

url = "http://www.baidu.com/"

req = request.Request(url,headers=headers)

response = request.urlopen(req)

print(response.read().decode())

抓包的結果如下: