一篇文章帶你了解webscraper爬蟲插件

最近看到很多同學都在研究爬蟲，然后我想到了一款塵封已久的插件，很早之前在我剛接觸爬蟲的時候用過，不過自從上了python爬蟲過后，慢慢就擱置了，今天花時間擼一篇教程，給同學們安利這款插件，如果剛開始學爬蟲，它一定是你通往人生巔峰的不二人選哦！

廢話不多說，這款插件全名叫webscraper，適用于chrome瀏覽器，今天爭取用一篇文章帶大家掌握webscraper的核心要點，好了，開始我們今天的webscraper探索之旅！

一：安裝webscraper

首先下載插件，百度搜webscraper有很多資源，這里就不做過多介紹了，文末給大家附上網盤鏈接，大家也可以自行下載，下載過后，將插件包進行解壓，解壓完成后，下一步就是在chrome瀏覽器導入啦！

step 1（更多工具-->擴展程序）：

step 2（加載插件包）：

在擴展程序頁面，點擊加載已解壓的擴展程序，選擇剛剛解壓好的插件包，至此，即可成功導入webscraper插件，加載完后，記得選擇啟用該插件哈，如下圖的位置，啟用過后，webscraper的圖表就會展示在瀏覽器的工具欄上，至此即說明webscraper導入成功！

瀏覽器上顯示webscraper圖標，即可說明該插件導入成功！可正常使用了！

二：構造一個完整的爬蟲流程

插件安裝完成后，接下來我們來用webscraper構建一個完整的爬蟲項目：

step 1（create sitemap）：

首先，打開webscraper配置框，有兩種方式，一種是鼠標右鍵，選擇檢查，打開開發者工具，另一種直接按F12快捷啟動開發者工具，如下圖所示，在開發者工具的欄目里，我們選擇webscraper，即可進入webscraper的主配置框。

打開后，第一步，我們先創建爬蟲站點，點擊create new sitemap，選擇create sitemap，在配置框里配置sitemap name 以及 start url，其中start url為爬蟲的起始頁，配置如下圖所示，再點擊下方的create sitemap，即可成功創建。我們在這里以CSDN為例，創建一個name為csdn，starturl為https://www.csdn.net/的sitemap。

step 2（Add selector）：

創建好sitemap后，第二步則創建selector，selector為爬取數據的選擇器，需要通過它來選擇我們想要抓取的數據

我們來看Add selector有哪些需要配置的屬性：

ID：選擇器ID，給選擇器命名

Type：選擇器抓取的數據屬性，有Text、Link、image、table、HTML、element等多種類型，我們一般常用的就是Text、link、element這幾種類型。

selector：選擇抓取元素，點擊select，然后鼠標選擇我們想要抓取的元素位置即可，鼠標選中后，頁面上會進行高亮顯示，高亮框則是我們要抓取的元素，效果如下圖，具體返回的數據視我們選擇的type而定，如果type選擇的是text，則返回選中區域類的文本數據，如果選擇的是link，則返回鏈接，如果選擇的是element，則會將整個區域的所有元素進行返回。

如果要選擇有相同規律的列表數據，比如在這里，我們想選擇這一列所有文章的標題，我們只需要連續選擇兩個標題區域，selector就能自動識別到我們要抓取的元素，把其他結構一致的元素區域選中，效果如下圖所示：

element preview：選擇完過后，點擊element preview可預覽下所選擇的元素，看是否選擇正確。

data preview：點擊data preview，可預覽返回的文本數據。

multiple：選擇是否多選，在前面我們已經說過如何通過selector選擇具有相同規律的元素，但是選擇出來還不足夠，我們還需要勾選multiple，這樣才能真正的抓取多行數據。

Regex：正則表達式，從我們抓取的文本數據里面再進行正則匹配。

Delay：選擇器生效前的延遲時長，主要擔心受網速影響，頁面還沒加載完就開始抓取，容易抓取空數據。

parent selectors：為該選擇器選擇父選擇器，構造樹形結構，特別是在構造循環抓取結構的場景經常會用到parent selectors的配置。

在這里，我們用selector抓取csdn.net首頁文章列表的標題，配置內容如下，點擊save selector即可保存該抓取器。如果想要抓取其他的數據，按照此種方式配置多個selector即可。

step 3（start scrapy）：

設置好selector后，這時我們就可以開始抓取數據了，按下圖方式選擇scrape，開始爬取之前，有兩個參數需要設置：

Request interval（ms）：默認值2000ms，即每兩次請求之間的間隔。

Page load delay（ms）：默認值500，等待頁面的加載時長。

點擊start scraping，即可開始正式爬取數據，爬取完后，爬取的數據會顯示在窗口，如果要將數據導出到csv，選擇Export data as CSV-->點擊download now，即可將剛才抓取的數據導出到CSV。

至此，整個完整的爬蟲項目就構建完成了，是不是很簡單！接下來，我們再看下爬蟲常見的應用場景，用webscraper如何解決吧！

三：抓取多級數據

在構建了一個簡單的csdn文章標題抓取項目后，有同學說，我想再抓取一個作者信息，于是嘗試著構建一個author的selector，構建完成后，爬取完過后，竟然發現title跟author對不上，如下圖所示，什么情況，難道是selector設置的不對么，但是明明看到了author信息也被抓取下來了啊！

這個問題也是初學者經常所遇到的第一個坑哈！webscraper的selector之間是互相獨立的，也就是說，你分別構建的title selector和author selector分別獨立的再進行工作，根本就沒有存儲他們之間一一對應的關系，所以到最后，看到混亂的數據結果也就再正常不過啦！

解決方法也很簡單，就是應用selector的多級結構，第一級selector抓取整個元素，元素中包含title跟author信息，然后再構建這個元素的子selector，子selector從元素里面再獲取title和author。

首先構建父級selector，這里的type需選擇Elements，選擇區需要選擇包含title和author的整個選擇區。

接著，第二步，構建子selector，從父selector點擊進去，即可進入子selector的配置框，接著分別配置title和author兩個selector即可。

配置子selector需要注意兩點，第一，multiple不能再勾選，這里只是對單個元素再次進行解析。第二就是，在選擇子selector的時候，要在標黃的區域框進行選擇，標黃的區域即是父selector選擇的元素區域。

設置好后，再進行抓取，這次，終于看到我們的數據恢復正常啦！

還有種多級頁面抓取場景是進入到二級頁面繼續抓取數據，在本場景，我們想點開每一個文章，然后抓取文章的詳情內容，這種場景又怎么實現呢？

利用多級結構也能輕松實現，我們首先構建一個抓取文章鏈接的子selector，然后在該鏈接selector之下再構建子selector，這時的子selector抓取的元素就變成了該鏈接的詳情文章頁面了。按照常規的配置方式，我們再配置抓取文章詳情的selector即可。

第一步，先構建鏈接selector，這里抓取的是鏈接，selector type需要選擇link，我們這里構建了一個名為href的selector。

第二步，進入到href selector的子selector配置頁面，配置文章詳情頁的抓取內容，這里我們構建了文章詳情頁里的title和content兩個選擇器。

構建完成后，我們來看下整個抓取結構，可通過selector graph來查看，整個抓取結構呈三級結構，第一級為elements的抓取，主要是解決數據一一映射的問題，第二級為子頁面抓取，通過鏈接構建子selector來實現。

至此，我們的子頁面抓取配置完成。

四：翻頁場景的設計模式

我們前面講述的都是抓取單頁內容，但是實際情況中，翻頁場景比比皆是，因為一頁所展示的數據有限，我們需要通過翻頁來獲取更多的數據，對于這種場景，我們首先介紹一種通過改變URL來獲取翻頁數據的方法，來看這個例子。

這是億歐新聞網站，我們可以發現一個規律，當我們切換頁面的時候，它的url會隨著頁數而發生變化，這種有規律的翻頁場景，我們可以通過設置starturl來實現，如下的設置方式表示在1到100進行輪詢，間隔為1。

那對于一些無規律的翻頁場景呢，我們又有哪些翻頁設計模式可以參考呢？常規的做法我們可以利用循環嵌套抓取結構來實現翻頁抓取，還是以億歐網站為例，我們來看如何設計一個循環嵌套抓取結構。

首先在一級selector增加一個獲取下一頁鏈接的selector。該next selector獲取當前頁面的下一頁鏈接。elements selector獲取當前頁面的元素。

接著，我們分別配置elements和next的父節點，next的父節點除了root以外，我們將next自身也添加為父節點。

elements的父節點除了root以外，我們也將next添加為父節點。

最后，我們來看下整個抓取結構圖，如下所示，點擊next，可以看到整個結構會無限循環下去，通過這種方式，我們就可以構建一個通用的翻頁循環抓取結構！

五：滾動加載場景的設計模式

通過點擊下一頁來翻頁是比較常見的翻頁方式，除此以外，我們還會經常看到通過滾動來加載更多數據的場景，這種場景我們又該如何解決呢？

其實很簡單，webscraper已經幫我們設計好了這種元素類型，即selector type里的elements scroll down，在選擇type時，將之前的elements換成這個類型即可，其他配置方式保持不變，我們即可以實現滾動加載數據的抓取。

六：點擊加載場景的設計模式

最后再來說說另外一個點擊加載數據的場景吧！我們經常會遇到有的場景，需要點擊查看更多才能加載更多的數據，這種場景怎么解決呢？

當然少不了我們強大的webscraper啦！webscraper提供了一種type類型，即elements click，可以輕松解決此類問題，接下來讓我們看一個具體的實例，我們以億歐網站為例，打開快訊欄目，我們可以看到如果要獲取更多數據的話，必須點擊查看更多才會加載。

與滾動加載場景一樣，我們在一級selector設置element click 的選擇器，配置內容如下：

id：選擇器名稱

type：選擇elements click

selector：選擇需要抓取的元素，與之前設置方式一致，選擇元素即可

click selector：這里選擇查看更多的元素，也即我們點擊加載按鈕的元素。

click type：一種為click once，即同一個按鈕只點擊一次，一種為click more，同一個按鈕可點擊多次，直到按鈕發生變化為止。這里我們選擇click more，因為需要不斷點擊查看更多來獲取更多數據。

click element uniqueness：判定是否同一按鈕的條件，主要用于停止條件的判定，有以下四種類型可選擇：

Unique Text - 有同樣文本內容的按鈕被視為同一按鈕

Unique HTML+Text - 有同樣 HTML 和文本內容的按鈕被視為同一按鈕

Unique HTML - 有同樣 HTML 的按鈕被視為同一按鈕

Unique CSS Selector - 有同樣 CSS 選擇器的按鈕被視為同一按鈕

Discard initial elements（忽略初始元素）- 選擇器不會選中在第一次點擊按鈕前就已經存在的元素。用在去重的場景

Delay：這里需要按照實際情況配置，如果等待加載的時間配置過短，很容易造成抓取不到數據的情況。

配置完click selector過后，接著在其二級子selector繼續配置想要抓取的數據即可。

至此，基本上常用的webscraper操作都介紹完了，掌握以上的方法，基本可以覆蓋80%左右的爬蟲場景。當然使用webscraper也主要是在一些小規模數據的抓取場景，如果要爬取較大規模的數據，有較大概率會遇到站點的反爬措施，這時就只能上代碼解決啦！

伙伴們學習python爬蟲的有多少，舉個爪，評論回復：python爬蟲，領取全套python視頻教程！