您好,登錄后才能下訂單哦!
這篇文章主要介紹了python使用IP代理的方法有哪些,具有一定借鑒價值,需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
python用IP代理的方法:首先創建代理ip對象;然后定制一個opener對象;接著urlopen就一直使用這個代理地址;最后發出請求時,就是用到這個代理地址了。
python用IP代理的方法:
python使用代理的方法有兩種
1.
1 #先創建代理ip對象 2 proxy_support = urllib.request.ProxyHandler({'https':'117.64.149.137:808'}) 3 4 #定制一個opener對象 5 opener = urllib.request.build_opener(proxy_support) 6 7 #安裝這個opener對象,以后的urlopen就一直使用這個代理地址了 8 urllib.request.install_opener(opener) 9 10 #發出請求時,就是用到這個代理地址了 11 html = urllib.request.urlopen('xxxxxxxxxx').read()
2.
1 #先創建代理ip對象 2 proxy_support = urllib.request.ProxyHandler({'https':'117.64.149.137:808'}) 3 4 #定制一個opener對象 5 opener = urllib.request.build_opener(proxy_support) 6 7 #這里可以直接使用opener對象發出請求 8 html = opener.open('xxxxxxxxx').read()
示例代碼:
1 import urllib.request 2 3 #這一段三句話是為了請求時帶上瀏覽器標識,因為有的網站看到是爬蟲的標識直接返回403 4 #請求的網站不涉及到提交數據,所以沒有給出data參數 5 url = 'https://whatismyipaddress.com/' 6 header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'} 7 req = urllib.request.Request(url,headers=header) 8 9 #使用代理和還原不使用代理的方法 10 #if語句相當于一個開關,不要寫成True 11 use_proxy = urllib.request.ProxyHandler({'https':'117.64.149.137:808'}) 12 null_proxy = urllib.request.ProxyHandler() 13 if True: 14 opener = urllib.request.build_opener(use_proxy) 15 else: 16 opener = urllib.request.build_opener(null_proxy) 17 #根據上面的開關,安裝的opener對象是否帶有代理地址 18 urllib.request.install_opener(opener) 19 20 #獲取返回結果 21 #同時可以使用html = opener.open(req).read()獲取結果 22 html = urllib.request.urlopen(req).read() 23 24 #這網頁返回頁面的內容太多,在控制臺不好查看, 25 #并且返回的內容是二進制格式,可以直接寫入文件,當個網頁查看 26 with open('E:\\whatismyip.html','wb') as file: 27 file.write(html) 28 print('OK')
感謝你能夠認真閱讀完這篇文章,希望小編分享python使用IP代理的方法有哪些內容對大家有幫助,同時也希望大家多多支持億速云,關注億速云行業資訊頻道,遇到問題就找億速云,詳細的解決方法等著你來學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。