python反爬蟲限制訪問的解決方法

這篇文章將為大家詳細講解有關python反爬蟲限制訪問的解決方法，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

單臺機器，單個IP大家都明白，短時間內訪問一個網站幾十次后肯定會被屏蔽的。每個網站對IP的解封策略也不一樣，有的1小時候后又能重新訪問，有的要一天，有的要幾個月去了。

突破抓取頻率限制有兩種方式，一種是研究網站的反爬策略。有的網站不對列表頁做頻率控制，只對詳情頁控制。有的針對特定UA，referer，或者微信的H5頁面的頻率控制要弱很多。

另一種方式就是多IP抓取。

多IP抓取又分IP代理池和adsl撥號兩種，我這里說adsl撥號的方式，IP代理池相對于adsl來說，我覺得收費太貴了。要穩定大規模抓取肯定是要用付費的，一個月也就100多塊錢。adsl的特點是可以短時間內重新撥號切換IP，IP被禁止了重新撥號一下就可以了。這樣你就可以開足馬力瘋狂抓取了，但是一天只有24小時合86400秒，要如何一天抓過百萬網頁，讓網絡性能最大化也是需要下一些功夫的，后面我再詳說。至于有哪些可以adsl撥號的野云主機，你在百度搜"vps adsl"，能選擇的廠商很多的。大多宣稱有百萬級IP資源可撥號，我曾測試過一段時間，把每次撥號的IP記錄下來，有真實二三十萬IP的就算不錯了。 選adsl的一個注意事項是，有的廠商撥號IP只能播出C段和D段IP，110(A段).132(B段).3(C段).2(D段)，A和B段都不會變，靠C，D段IP高頻次抓取對方網站，有可能對方網站把整個C/D段IP都封掉。C/D段加一起255X255就是6萬多個IP全都報廢，所以要選撥號IP范圍較寬的廠商。 這些都是野云主機，質量和穩定性本就沒那么好。只有多試一試，試的成本也不大，買一臺玩玩一個月也就一百多元，還可以按天買。

上面為什么說不用付費的IP代理池？

因為比adsl撥號貴很多，因為全速抓取時，一個反爬做得可以的網站10秒內就會封掉這個IP，所以10秒就要換一個IP，理想狀況下一天86400秒，要換8640個IP。如果用付費IP代理池的話，一個代理IP收費4分錢，8640個IP一天就要345元。 adsl撥號的主機一個月才100多元。adsl撥號Python代碼怎么撥號廠商都會提供的，建議是用廠商提供的方式，這里只是示例：windows下用os調用rasdial撥號：

import os
# 撥號斷開
os.popen('rasdial 網絡鏈接名稱 /disconnect')
# 撥號
os.popen('rasdial 網絡鏈接名稱 adsl賬號 adsl密碼')

linux下撥號：

import os
# 撥號斷開
code = os.system('ifdown 網絡鏈接名稱')
# 撥號code = os.system('ifup 網絡鏈接名稱')

關于python反爬蟲限制訪問的解決方法就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。