溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
本篇內容介紹了“Python怎么用requests-html爬取網頁”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！
Python 中可以進行網頁解析的庫有很多，常見的有 BeautifulSoup 和 lxml 等。在網上玩爬蟲的文章通常都是介紹 BeautifulSoup 這個庫，我平常也是常用這個庫，最近用 Xpath 用得比較多，使用 BeautifulSoup 就不大習慣，很久之前就知道 Reitz 大神出了一個叫 Requests-HTML 的庫，一直沒有興趣看，這回可算歹著機會用一下了。
使用 pip install requests-html安裝，上手和 Reitz 的其他庫一樣，輕松簡單：
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://www.python.org/jobs/')這個庫是在 requests 庫上實現的，r 得到的結果是 Response 對象下面的一個子類，多個一個 html 的屬性。所以 requests 庫的響應對象可以進行什么操作，這個 r 也都可以。如果需要解析網頁，直接獲取響應對象的 html 屬性：
r.html
不得不膜拜 Reitz 大神太會組裝技術了。實際上 HTMLSession 是繼承自 requests.Session 這個核心類，然后將 requests.Session 類里的 requests 方法改寫，返回自己的一個 HTMLResponse 對象，這個類又是繼承自 requests.Response,只是多加了一個 _from_response 的方法來構造實例：
class HTMLSession(requests.Session): # 重寫 request 方法，返回 HTMLResponse 構造 def request(self, *args, **kwargs) -> HTMLResponse: r = super(HTMLSession, self).request(*args, **kwargs) return HTMLResponse._from_response(r, self)
class HTMLResponse(requests.Response): # 構造器 @classmethod def _from_response(cls, response, session: Union['HTMLSession', 'AsyncHTMLSession']): html_r = cls(session=session) html_r.__dict__.update(response.__dict__) return html_r
之后在 HTMLResponse 里定義屬性方法 html，就可以通過 html 屬性訪問了,實現也就是組裝 PyQuery 來干。核心的解析類也大多是使用 PyQuery 和 lxml 來做解析，簡化了名稱，挺討巧的。
元素定位可以選擇兩種方式：
css選擇器
xpath
# css 獲取有多少個職位
jobs = r.html.find("h2.call-to-action")
# xpath 獲取
jobs = r.html.xpath("//h2[@class='call-to-action']")方法名非常簡單，符合 Python 優雅的風格，這里不妨對這兩種方式簡單的說明：
標簽名 h2
id 使用 #id 表示
class 使用 .class_name 表示
謂語表示：h2[prop=value]
路徑 // 或者 /
標簽名
謂語 [@prop=value]
軸定位 名稱::元素名[謂語]
定位到元素以后勢必要獲取元素里面的內容和屬性相關數據，獲取文本：
jobs.text jobs.full_text
獲取元素的屬性：
attrs = jobs.attrs
value = attrs.get("key")還可以通過模式來匹配對應的內容：
## 找某些內容匹配
r.html.search("Python {}")
r.html.search_all()這個功能看起來比較雞肋，可以深入研究優化一下，說不定能在 github 上混個提交。
除了一些基礎操作，這個庫還提供了一些人性化的操作。比如一鍵獲取網頁的所有超鏈接，這對于整站爬蟲應該是個福音，URL 管理比較方便：
r.html.absolute_links r.html.links
內容頁面通常都是分頁的，一次抓取不了太多，這個庫可以獲取分頁信息：
print(r.html) # 比較一下 for url in r.html: print(url)
結果如下：
# print(r.html) <HTML url='https://www.python.org/jobs/'> # for <HTML url='https://www.python.org/jobs/'> <HTML url='https://www.python.org/jobs/?page=2'> <HTML url='https://www.python.org/jobs/?page=3'> <HTML url='https://www.python.org/jobs/?page=4'> <HTML url='https://www.python.org/jobs/?page=5'>
通過迭代器實現了智能發現分頁，這個迭代器里面會用一個叫 _next 的方法，貼一段源碼感受下：
def get_next():
candidates = self.find('a', containing=next_symbol)
for candidate in candidates:
if candidate.attrs.get('href'):
# Support 'next' rel (e.g. reddit).
if 'next' in candidate.attrs.get('rel', []):
return candidate.attrs['href']通過查找 a 標簽里面是否含有指定的文本來判斷是不是有下一頁，通常我們的下一頁都會通過 下一頁 或者 加載更多 來引導，他就是利用這個標志來進行判斷。默認的以列表形式存在全局：['next', 'more', 'older']。我個人認為這種方式非常不靈活，幾乎沒有擴展性。感興趣的可以往 github 上提交代碼優化。
也許是考慮到了現在 js 的一些異步加載，這個庫支持 js 運行時，官方說明如下：
Reloads the response in Chromium, and replaces HTML content
with an updated version, with JavaScript executed.
使用非常簡單，直接調用以下方法：
r.html.render()
“Python怎么用requests-html爬取網頁”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
