91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
  • 首頁 > 
  • 教程 > 
  • 開發技術 > 
  • requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

發布時間:2022-01-10 00:22:24 來源:億速云 閱讀:586 作者:柒染 欄目:開發技術

requests.gPython用requests.get獲取網頁內容為空的問題怎么解決,針對這個問題,這篇文章詳細介紹了相對應的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

    下面先來看一個例子:

    import  requests
    result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
    result

    輸出結果:

    requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

    表示成功處理了請求,一般情況下都是返回此狀態碼; 報200代表沒問題

    requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

     繼續運行,發現返回空值,在請求網頁爬取的時候,輸出的text信息中會出現抱歉,無法訪問等字眼,這就是禁止爬取,需要通過反爬機制去解決這個問題。headers是解決requests請求反爬的方法之一,相當于我們進去這個網頁的服務器本身,假裝自己本身在爬取數據。對反爬蟲網頁,可以設置一些headers信息,模擬成瀏覽器取訪問網站 。

    一、如何設置headers

    拿兩個常用的瀏覽器舉例:

    1、QQ瀏覽器

    界面 F12 

    requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

     點擊network 鍵入 CTRL+R

    requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

     單擊第一個 最下邊就是我門需要的 把他設置成headers解決問題

    2、Miscrosft edge

    二、微軟自帶瀏覽器

    同樣 F12 打開開發者工具

    requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

     點擊網絡,CTRL+R

    requests.gPython用requests.get獲取網頁內容為空的問題怎么解決

     前文代碼修改:

    import requests
    ur="http://data.10jqka.com.cn/financial/yjyg/"
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
    result = requests.get(ur, headers=headers)
    result.text

    成功解決不能爬取問題。

    關于requests.gPython用requests.get獲取網頁內容為空的問題怎么解決問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注億速云行業資訊頻道了解更多相關知識。

    向AI問一下細節

    免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

    AI

    昆明市| 海城市| 永春县| 沁水县| 商都县| 保德县| 三门峡市| 金门县| 哈巴河县| 确山县| 商丘市| 新野县| 重庆市| 青龙| 凤阳县| 临桂县| 永年县| 五常市| 商河县| 惠州市| 广饶县| 都江堰市| 靖安县| 南陵县| 遵义县| 天门市| 梅河口市| 安图县| 乌兰县| 桂东县| 洛阳市| 交口县| 沙坪坝区| 庆元县| 津南区| 博乐市| 古田县| 文山县| 乌苏市| 杭锦旗| 松阳县|