Python爬蟲中的Handler和Opener的介紹

這期內容當中小編將會給大家帶來有關Python爬蟲中的Handler和Opener的介紹 ，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

Handler處理器和自定義Opener

opener是urllib2.OpenerDirector的實例，我們之前一直在使用urlopen，它是一個特殊的opener(也就是我們構建好的)。

但是urlopen()方法不支持代理、cookie等其他的HTTP/GTTPS高級功能。所有要支持這些功能：

1.使用相關的Handler處理器來創建特定功能的處理器對象；

2.然后通過urllib2.build_opener()方法使用這些處理器對象，創建自定義opener對象；

3.使用自定義的opener對象，調用open()方法發送請求。

如果程序里所有的請求都使用自定義的opener,可以使用urllib2.install_open()將自定義的opener對象定義為全局opener,表示如果之后凡是調用urlopen,都將使用這個opener(根據自己的需求來選擇)。

簡單的自定義opener()

# _*_ coding:utf-8 _*_
import urllib2
# 構建一個HTTPHandler處理器對象，支持處理HTTP的請求
http_handler = urllib2.HTTPHandler()
# 調用build_opener()方法構建一個自定義的opener對象，參數是構建的處理器對象
opener = urllib2.build_opener(http_handler)
request = urllib2.Request('http://www.baidu.com/s')
# 調用自定義opener對象的open()方法,發送request請求
response = opener.open(request) 
print response.read()

debug log模式

可以在HTTPHandler里面加參數（debuglevel=1）打開。

# _*_ coding:utf-8 _*_
import urllib2
# 構建一個HTTPHandler處理器對象，支持處理HTTP的請求
# http_handler = urllib2.HTTPHandler()
# 主要用于調試用
http_handler = urllib2.HTTPHandler(debuglevel=1)
# 調用build_opener()方法構建一個自定義的opener對象，參數是構建的處理器對象
opener = urllib2.build_opener(http_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
# print response.read()

ProxyHandler處理器（代理設置）

使用代理IP，這是爬蟲/反爬蟲的第二大招，通常也是最好用的。

很多網站會檢測某一段時間某個IP的訪問次數(通過流量統計，系統日志等)，如果訪問次數多的不像正常人，它會禁止這個IP的訪問。

所以我們可以設置一些代理服務器，每隔一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續爬取。

urllib2中通過ProxyHandler來設置使用代理服務器，使用自定義opener來使用代理：

免費代理網站：http://www.xicidaili.com/;https://www.kuaidaili.com/free/inha/

# _*_ coding:utf-8 _*_
import urllib2
# 構建一個Handler處理器對象，參數是一個字典類型，包括代理類型和代理服務器IP+Port
httpproxy_handler = urllib2.ProxyHandler({'http':'118.114.77.47:8080'})
#使用代理
opener = urllib2.build_opener(httpproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
#1 如果這么寫，只有使用opener.open()方法發送請求才使用自定義的代理，而urlopen()則不使用自定義代理。
response = opener.open(request)
#12如果這么寫，就是將opener應用到全局，之后所有的，不管是opener.open()還是urlopen() 發送請求，都將使用自定義代理。
#urllib2.install_opener(opener)
#response = urllib2.urlopen(request)
print response.read()

但是，這些免費開放代理一般會有很多人都在使用，而且代理有壽命短，速度慢，匿名度不高，HTTP/HTTPS支持不穩定等缺點（免費沒好貨）,所以，專業爬蟲工程師會使用高品質的私密代理。

 私密代理

（代理服務器都有用戶名和密碼）必須先授權才能用。

# _*_ coding:utf-8 _*_
import urllib2
#必須輸入用戶名密碼，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':'username:pwd@ip:port})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

為了安全一般把私密代理ip用戶名密碼保存到系統環境變量里面，再讀出來。

# _*_ coding:utf-8 _*_
import urllib2
import os 
# 從環境變量里面取到用戶名和密碼
proxyuser = os.environ.get('proxuser')   
proxypasswd = os.environ.get('proxpasswd')
#必須輸入用戶名密碼，ip和port
authproxy_handler = urllib2.ProxyHandler({'http':proxyuser+':'+proxypasswd+'@ip:port'})
opener = urllib2.build_opener(authproxy_handler)
request = urllib2.Request('http://www.baidu.com/s')
response = opener.open(request)
print response.read()

上述就是小編為大家分享的Python爬蟲中的Handler和Opener的介紹 了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。