您好,登錄后才能下訂單哦!
小編給大家分享一下使用python爬蟲怎么處理有密碼的網站,相信大部分人都還不怎么了解,因此分享這篇文章給大家參考一下,希望大家閱讀完這篇文章后大有收獲,下面讓我們一起去了解一下吧!
步驟一:查看要爬取的網站信息
進入登錄頁面 。你會看到如下圖所示的頁面。
然后進行查看元素,查看到name、password,最終我們得到以下內容
payload = { "username": "<USER NAME>", "password": "<PASSWORD>", "csrfmiddlewaretoken": "<CSRF_TOKEN>" }
步驟二、配置網站登錄設置
創建一個登錄對象。
session_requests = requests.session()
設置一個登錄的url
result = session_requests.post( login_url, data = payload, headers = dict(referer=login_url) )
步驟三、爬取信息內容
到了這個步驟,我們已經成功進行登錄了,用以下方式進行爬取:
url = '鏈接' result = session_requests.get( url, headers = dict(referer = url) )
以上是“使用python爬蟲怎么處理有密碼的網站”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注億速云行業資訊頻道!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。