如何進行反爬機制中的封ip處理

如何進行反爬機制中的封ip處理，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

 作為爬蟲我們的都知道很多網站都有反爬措施阻止別人來爬取數據，而封ip是反爬策略中最常見的一種。通常他們的策略都是發現你在短時間內過多的訪問就會把你的ip封禁，針對這個策略要解決其實個很簡單，我們可以通過限制訪問網站的頻率或添加IP代理池就OK了。而在爬蟲程序中我們就只需要添加代理就可以搞定了，比如以示例

#! -*- encoding:utf-8 -*-



       import requests

       import random



       # 要訪問的目標頁面

       targetUrl = "http://www.weibo.com"



       # 要訪問的目標HTTPS頁面

       # targetUrl = "https://www.weibo.com"



       # 代理服務器(產品官網 www.16yun.cn)

       proxyHost = "t.16yun.cn"

       proxyPort = "31111"



       # 代理隧道驗證信息

       proxyUser = "16VIZRXL"

       proxyPass = "125478"



       proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

           "host" : proxyHost,

           "port" : proxyPort,

           "user" : proxyUser,

           "pass" : proxyPass,

       }



       # 設置 http和https訪問都是用HTTP代理

       proxies = {

           "http"  : proxyMeta,

           "https" : proxyMeta,

       }



       #  設置IP切換頭

       tunnel = random.randint(1,10000)

       headers = {"Proxy-Tunnel": str(tunnel)}



       resp = requests.get(targetUrl, proxies=proxies, headers=headers)



       print resp.status_code

       print resp.text

關于如何進行反爬機制中的封ip處理問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。