怎么利用BeautifulSoup選擇器抓取京東網商品信息

這篇文章主要介紹“怎么利用BeautifulSoup選擇器抓取京東網商品信息”，在日常操作中，相信很多人在怎么利用BeautifulSoup選擇器抓取京東網商品信息問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么利用BeautifulSoup選擇器抓取京東網商品信息”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

昨天小編利用Python正則表達式爬取了京東網商品信息，看過代碼的小伙伴們基本上都坐不住了，辣么多的規則和辣么長的代碼，悲傷辣么大，實在是受不鳥了。不過小伙伴們不用擔心，今天小編利用美麗的湯來為大家演示一下如何實現京東商品信息的精準匹配~~

HTML文件其實就是由一組尖括號構成的標簽組織起來的，每一對尖括號形式一個標簽，標簽之間存在上下關系，形成標簽樹；因此可以說Beautiful Soup庫是解析、遍歷、維護“標簽樹”的功能庫。

京東官網狗糧商品詳情頁

首先進入京東網，輸入自己想要查詢的商品，向服務器發送網頁請求。在這里小編仍以關鍵詞“狗糧”作為搜索對象，之后得到后面這一串網址：https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8，其中參數的意思就是我們輸入的keyword，在本例中該參數代表“狗糧”，具體詳情可以參考Python大神用正則表達式教你搞定京東商品信息。所以，只要輸入keyword這個參數之后，將其進行編碼，就可以獲取到目標URL。之后請求網頁，得到響應，爾后利用bs4選擇器進行下一步的數據采集。

商品信息在京東官網上的部分網頁源碼如下圖所示：

狗糧信息在京東官網上的網頁源碼

仔細觀察源碼，可以發現我們所需的目標信息是存在<li data-sku="*****" class="gl-item">標簽下的，那么接下來我們就像剝洋蔥一樣，一層一層的去獲取我們想要的信息。

直接上代碼，如下圖所示：

利用Python標準庫請求網頁，獲取源碼

通常URL編碼的方式是把需要編碼的字符轉化為%xx的形式，一般來說URL的編碼是基于UTF-8的，當然也有的于瀏覽器平臺有關。在Python的urllib庫中提供了quote方法，可以實現對URL的字符串進行編碼，從而可以進入到對應的網頁中去。

之后利用美麗的湯去提取目標信息，如商品的名字、鏈接、圖片和價格，具體的代碼如下圖所示：

利用美麗的湯去提取目標信息

在本例中，有個地方需要注意，部分圖片的鏈接是空值，所以在提取的時候需要考慮到這個問題。其解決方法有兩個，其一是如果使用img['src']會有報錯產生，因為匹配不到對應值；但是使用get['src']就不會報錯，如果沒有匹配到，它會自動返回None。此外也可以利用try+except進行異常處理，如果匹配不到就pass，小伙伴們可以自行測試一下，這個代碼測速過程在上圖中也有提及哈。使用get方法獲取信息，是bs4中的一個小技巧，希望小伙伴們都可以學以致用噢~~~

最后得到的效果圖如下所示：

輸出的最終效果圖

到此，關于“怎么利用BeautifulSoup選擇器抓取京東網商品信息”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！