python爬蟲中怎么處理429錯誤

這篇文章將為大家詳細講解有關python爬蟲中怎么處理429錯誤，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

Python的優點有哪些

1、簡單易用，與C/C++、Java、C# 等傳統語言相比，Python對代碼格式的要求沒有那么嚴格；2、Python屬于開源的，所有人都可以看到源代碼，并且可以被移植在許多平臺上使用；3、Python面向對象，能夠支持面向過程編程,也支持面向對象編程；4、Python是一種解釋性語言，Python寫的程序不需要編譯成二進制代碼，可以直接從源代碼運行程序；5、Python功能強大，擁有的模塊眾多，基本能夠實現所有的常見功能。

我們在使用python爬蟲爬取頁面的過程中爬到某個時刻異常報錯，如果是被反爬抓到了，就是403錯誤，那有的時候會出現429錯誤是什么意思呢？429錯誤是指在爬蟲的過程中同一時間訪問頻率過高，因此控制訪問的速度就可以了。本文介紹python爬蟲中處理429錯誤的方法及具體代碼。

什么是429錯誤？

429是Too Many Requests，http代碼429表示訪問過快。意思就是同一時間訪問頻率過高，大多是因為程序并發太高超過代理那邊給的帳號的并發限制了。

如何處理？

控制訪問的速度就可以了。

有些服務器會在返回的頭部中添加"Retry-After"，這是通知多久之后重試，獲取這個值，然后sleep就可以了。

python爬蟲中處理429錯誤？

捕獲錯誤

try: 
 
.....
 
except aiohttp.ClientResponseError as e:  # 響應錯誤
    if status== 429:
        retryAfter="Retry-After"
        headers=e.headers
        sec=getHeader(headers, retryAfter)
        if len(sec)>0:
            sec=int(sec)
            print(status, "請求過快，服務器要求待",sec , url )
            time.sleep(sec) # If the rate limit is renewed in a minute, put 60 seconds, and so on.
        else:
            print(status, "服務器拒絕了請求，表示請求過快。取消重試，請稍后再試！", url)

def getHeader(headers, key):
    key_lower=key.lower()
    headers_lower = {k.lower():v for k,v in headers.items()}
    if (key_lower in headers_lower) :
        return headers_lower[key_lower]
    else:
        return ''

關于“python爬蟲中怎么處理429錯誤”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。