溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
通過實例給大家講解nodejs實現爬取網站圖片功能，以下就是全部內容：
原理：
爬蟲是最明顯的IO密集型應用場景，顯然用node，使得I/O等待開銷小數據挖掘比較方便
借助express模塊來搭建node服務
并使用request模塊獲取目標頁面的html代碼
下載cheerio模塊對html代碼做處理(cheerio類似jQuery的語法，所以好用又方便)
環境配置：
npm install express request cheerio --save
(1)引入各個模塊
var http = require('http');
var request = require('request);
var cheerio = require('cheerio');
var fs = require('fs'); //用來操作文件
var url = 'https://movie.douban.com/cinema/nowplaying/beijing/' //定義要爬的頁面
(2)發送請求
http.get(function(res){
var html = '';
var titles = [];
res.setEncoding('utf-8') //防止中文亂碼
res.on('data',function(chunk){
html += chrunk; //監聽data事件 每次取一塊數據
})
res.on('end',function(){
var $ = cheerio.load(html); //獲取數據完成后，解析html
//將獲取的圖片存到images文件夾中
$('.mod-bd img').each(function(index, item){
//獲取圖片屬性
var imgName = $(this).parent().next().text().trimg()
var imgfile = imgName + '.jpeg';
var imgSrc = $(this).attr('src')
//采用request模塊，向服務器發起請求 獲取圖片資源
request.head(imgSrc, function(error, res,body){
if(error){
console.log('失敗了')
}
});
//通過管道的方式用fs模塊將圖片寫到本地的images文件下
request(imgSrc).pipe.(fs.createWriteStream('./images/' + imgfile));
})
})
})
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
