Python爬蟲怎么UA偽裝爬取

小編給大家分享一下Python爬蟲怎么UA偽裝爬取，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

python可以做什么

Python是一種編程語言，內置了許多有效的工具，Python幾乎無所不能，該語言通俗易懂、容易入門、功能強大，在許多領域中都有廣泛的應用，例如最熱門的大數據分析，人工智能，Web開發等。

在使用python爬取網站信息時，查看爬取完后的數據發現，數據并沒有被爬取下來，這是因為網站中有UA這種請求載體的身份標識，如果不是基于某一款瀏覽器爬取則是不正常的請求，所以會爬取失敗。本文介紹Python爬蟲采用UA偽裝爬取實例。

一、python爬取失敗原因如下：

UA檢測是門戶網站的服務器會檢測對應請求的載體身份標識，如果檢測到請求的載體身份標識為某一款瀏覽器，說明該請求是一個正常的請求。如果檢測到請求的載體身份標識不是基于某一款瀏覽器的。則表示該請求為不正常的請求，則服務器端就很有可能會拒絕該次請求。

二、解決方法：采用UA偽裝

讓爬蟲對應的請求載體身份標識偽裝成某一款瀏覽器，這里采用的偽裝成Chrome瀏覽器。

采用UA偽裝爬取實例

import requests

if __name__=="__main__":
    headers={
        "User-Agent":"Mozilla/5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) 
        Chrome / 88.0.4324.150 Safari / 537.36"
    }
    url="https://www.sogou.com/web"
    queryword=input("輸出關鍵字")
    param={
        "query":queryword
    }
    res=requests.get(url=url,params=param,headers=headers)
    res.encoding="utf-8"
    page_text=res.text
    fileName=queryword+".html"
    with open(fileName,"w",encoding="utf-8") as fs:
        fs.write(page_text)
    print(page_text+"爬取結束")

添加偽裝的請求頭后再次進行爬蟲請求，成功得到爬取到的html文件。

以上是“Python爬蟲怎么UA偽裝爬取”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！