Python爬蟲中代理ip異常和超時怎么辦

這篇文章主要介紹了Python爬蟲中代理ip異常和超時怎么辦，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

一、反爬蟲機制：這里就不詳細的介紹了

相信大多數的爬蟲工作者都比較了解，這里就不詳細的介紹了

二、超時設置：selenium+chrome的超時設置

穩定網絡不會像平常那樣穩定，原因可能是代理IP在某個時期不能保持通常那樣的穩定性，但也有可能是由于對方的原因，對方的服務器不穩定，還有自己的機器的網絡也可能不穩定，如果沒有設置好超時，程序也不好跑下去。

selenium+chrome的超時設置：

顯示等待：等待某一條件發生，然后繼續編碼。

driver=webdriver.Firefox()

driver.get(“http://somedomain/url_that_delays_loading”)

try:

element=WebDriverWait(driver,10).until(#這里修改時間

EC.presence_of_element_located((By.ID,“myDynamicElement”))

)

finally:

driver.quit()

隱式等待:告訴WebDriver，當他們試圖找到一個或多個元素(如果他們不能立即使用)時，他們會輪流詢問DOM。默認設置為0。一旦設置，將為藏等待WebDriver對象實例的生命周期。

driver=webdriver.Firefox()

driver.implicitly_wait(10)#seconds

driver.get(“http://somedomain/url_that_delays_loading”)

myDynamicElement=driver.find_element_by_id(“myDynamicElement”)

三、異常處理：python通常使用try&except語句處理異常

在程序中經常發生一種情況，python通常使用try&except語句處理異常，而try&except語句的作用就是捕捉異常，當然還有更重要的用途，即可以忽略異常。由于爬蟲中絕大多數的異常都不能被重新請求，所以，在發現異常時，修復它的任務隊列實際上是一個最省力的方法。

四、自重啟設置。

如果一個程序在某些情況下多次出錯，或者運行時間足夠長，其性能可能會下降，就像一臺計算機一樣，使用時間越長，恢復速度越慢，這是一個很好的方法。當然，這是治標不治本，但無疑是最省力的方法之一。當滿足設定的重啟條件時，程序自重啟也是使程序持續運行的好方法。

如何解決Python爬蟲代理ip異常和超時問題？編程人員在敲打代碼的時候，一定會有一些錯誤，尤其是像Python爬蟲這樣的程序，并不能確定每個請求都保證了穩定的返回相同的結果，如加強了反爬蟲機制、代理IP超時等，這類情況得到及時解決，才能保證爬蟲工作良好的返回。

感謝你能夠認真閱讀完這篇文章，希望小編分享的“Python爬蟲中代理ip異常和超時怎么辦”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!