您好,登錄后才能下訂單哦!
這篇文章主要講解了“Python如何爬取覓知網素材圖片”,文中的講解內容簡單清晰,易于學習與理解,下面請大家跟著小編的思路慢慢深入,一起來研究和學習“Python如何爬取覓知網素材圖片”吧!
在素材網想找到合適圖片需要一頁一頁往下翻,現在學會python就可以用程序把所有圖片保存下來,慢慢挑選合適的圖片。
1、根據給定的網址獲取網頁源代碼。
2、利用正則表達式把源代碼中的圖片地址過濾出來。
3、過濾出來的圖片地址下載素材圖片。
1、網址如下:
https://www.51miz.com/
2、涉及的庫:requests、lxml
首先需要解決如何對下一頁的網址進行請求的問題。可以點擊下一頁的按鈕,觀察到網站的變化分別如下所示:
https://www.51miz.com/so-sucai/1789243.html https://www.51miz.com/so-sucai/1789243/p_2/ https://www.51miz.com/so-sucai/1789243/p_3/
我們可以發現圖片頁數是1789243/p{},p{}花括號數字表示圖片哪一頁。
1、打開覓知網,在搜索中輸入你想要的圖片素材(以鼠年素材圖片為例)。
2、根據上一步對網址的分析,首先我們定義一個類叫做ImageSpider,類里面定義初始化函數、發送請求獲取響應數據函數、解析函數、主函數。首先初始化函數,準備url地址和headers,代碼如下圖所示。
3、發送請求獲取響應數據函數。
4、解析數據,使用xpath獲取二級頁面鏈接,最后把圖片存儲在文件夾中。使用谷歌瀏覽器選擇開發者工具或直接按F12,發現我們需要的圖片src是在img標簽下的,于是用Python的requests提取該組件。
5、主函數,代碼如下圖所示。
1、運行程序,在控制臺輸入你要爬取的頁數,如下圖所示。
2、在本地可以看到效果圖,如下圖所示。
感謝各位的閱讀,以上就是“Python如何爬取覓知網素材圖片”的內容了,經過本文的學習后,相信大家對Python如何爬取覓知網素材圖片這一問題有了更深刻的體會,具體使用情況還需要大家實踐驗證。這里是億速云,小編將為大家推送更多相關知識點的文章,歡迎關注!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。