如何使用運營小白必會的爬蟲工具

如何使用運營小白必會的爬蟲工具？很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

第一步：下載 Web Scraper

Web Scraper是Chrome瀏覽器上的?個插件，你需要翻墻進?Chrome應?商店，下載Web Scraper插件。

第二步：打開Web Scraper

先打開?個你想爬數據的?頁，?如我想爬今?頭條上「吳曉波頻道」這個賬戶的?章標題、時間、 評論數，那我就先打開它，再??進?操作。然后?快捷鍵 Ctrl + Shift + I / F12 打開 Web Scraper。

第三步：新建?個 Sitemap

點擊Create New Sitemap，??有兩個選項，import sitemap是指導??個現成的sitemap，運營???般沒有現成的，所以?般不選這個，選create sitemap就好。然后進?這兩個操作：

Sitemap Name：代表你這個Sitemap是適?于哪?個?頁的，所以你可以根據?頁來?命名，不過需要使?英?字母，?如我抓的是今?頭條的數據，那我就?toutiao來命名；Sitemap URL：把?頁鏈接復制到Star URL這?欄，?如圖??我把「吳曉波頻道」的主頁鏈接復制到了這?欄。

第四步：設置這個Sitemap

整個Web Scraper的抓取邏輯是這樣：設置?級Selector，選定定抓取范圍；在?級Selector 下設置?級Selector，選定抓取字段，然后抓取。

再舉個例?，假如你要獲取福建?的姓名、性別和年齡這三個要素，那么你得這么做：?先要定位到福建省，然后再在福建省??去定位姓名、性別、年齡。在這?，?級Selector表?你要在中國這個?的國家圈出福建省，?級Selector 表?你要在福建省的??中圈定姓名、性別、年齡這三個要素。對于?章??，?級Selector就是你要把這?塊?章的要素圈出來，這個要素可能包含了標題、作者、發布時間、評論數等等，然后我們再在?級Selector 中挑出我們要的要素，?如標題、作者、閱讀數。

（1）點擊Add new selector創建?級Selector，按照以下步驟操作：

 a.輸?id ： id代表你抓取的整個范圍，?如這?是?章，我們可以命名為 126 wuxiaobo-articles；

b.選擇 Type ： type 代表你抓取的這部分的類型，?如元素／?本／鏈接，因為這個是整個?章要素范圍選取，我們需要?Element來先整體選取（如果這個?頁需要滑動加載更多，那就選Element Scroll Down）；

c.勾選Multiple ：勾選 Multiple 前?的?框，因為你要選的是多個元素?不是單個元素，當我們勾選的時候，爬?插件會幫助我們識別多篇同類的?章；

d.保留設置：其余未提及部分保留默認設置。

（2）點擊select選擇范圍，按照以下步驟操作：

a.選擇范圍：??標選擇你要爬取數據的范圍，綠?是待選區域，??標點擊后變為紅?，才是選中了這塊區域；

b.多選：不要只選?個，下?的也要選，否則爬出來的數據也只有??；

c.完成選擇： 記得點Done Selecting；

d.保存：點擊Save Selector。

（3）設置好了這個?級的Selector之后，點進去設置?級的Selector，按照以下步驟操作：

a.新建Selector：點擊Add new selector ；

b.輸?id ：id代表你抓取的是哪個字段，所以可以取該字段的英?，?如我要選「作者」，我就寫「writer」；

c.選擇Type：選Text ，因為你要抓取的是?本；

d.勿勾選Multiple：不要勾選Multiple前?的?框，因為我們在這?要抓取的是單個元素； 保留設置：其余未提及部分保留默認設置。

（4）點擊select，再點擊你要爬取的字段，按照以下步驟作：

a.選擇字段：這?爬取的字段是單個的，??標點擊該字段即可選定，?如要爬標題，那就??標點擊某篇?章的標題，當字段所在區域變紅即為選中；

c.完成選擇：記得點 Done Selecting ；

d.保存：點擊 Save Selector 。

（5）重復以上操作，指導選完你想爬去的字段。

第五步：爬取數據

之所以說Web Scraper是運營小白必會的爬??具，就是因為只需要設置完所有的Selector，就可以開始爬數據了，怎么樣是不是很簡單？那么怎么開始爬數據呢？只需要?個簡單的操作：點擊 Scrape ，然后點 Start Scraping ， 會彈出?個?窗，然后?勤的?爬?就開始?作了。你會得到?個列表，上?有你想要的所有數據。

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。