Python爬蟲之采集登陸后才能看到數據的方法是什么

這篇文章主要介紹“Python爬蟲之采集登陸后才能看到數據的方法是什么”，在日常操作中，相信很多人在Python爬蟲之采集登陸后才能看到數據的方法是什么問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Python爬蟲之采集登陸后才能看到數據的方法是什么”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

爬蟲在采集網站的過程中，部分數據價值較高的網站，會限制訪客的訪問行為。這種時候建議通過登錄的方式，獲取目標網站的cookie，然后再使用cookie配合代理IP進行數據采集分析。

1 使用表單登陸

這種情況屬于post請求，即先向服務器發送表單數據，服務器再將返回的cookie存入本地。

#! -*- encoding:utf-8 -*-  import requests  import random  import requests.adapters    # 要訪問的目標頁面  targetUrlList = [      "https://httpbin.org/ip",      "https://httpbin.org/headers",      "https://httpbin.org/user-agent",  ]    # 代理服務器(產品官網 www.16yun.cn)  proxyHost = "t.16yun.cn"  proxyPort = "31111"    # 代理隧道驗證信息  proxyUser = "username"  proxyPass = "password"    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {      "host": proxyHost,      "port": proxyPort,      "user": proxyUser,      "pass": proxyPass,  }    # 設置 http和https訪問都是用HTTP代理  proxies = {      "http": proxyMeta,      "https": proxyMeta,  }    # 訪問三次網站，使用相同的Session(keep-alive)，均能夠保持相同的外網IP  s = requests.session()    # 設置cookie  cookie_dict = {"JSESSION":"123456789"}  cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True)  s.cookies = cookies    for i in range(3):      for url in targetUrlList:          r = s.get(url, proxies=proxies)          print r.text

2 使用cookie登陸

使用cookie登陸，服務器會認為你是一個已登陸的用戶，所以就會返回給你一個已登陸的內容。因此，需要驗證碼的情況可以使用帶驗證碼登陸的cookie解決。

response_captcha = requests_session.get(url=url_login, cookies=cookies)   response1 = requests.get(url_login) # 未登陸   response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！   response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！

若存在驗證碼，此時采用response = requests_session.post(url=url_login,  data=data)是不行的，做法應該如下：

response_captcha = requests_session.get(url=url_login, cookies=cookies)   response1 = requests.get(url_login) # 未登陸   response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！   response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！

到此，關于“Python爬蟲之采集登陸后才能看到數據的方法是什么”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！