在Scrapy中,可以使用scrapy.Request
對象來進行文件下載。以下是一個示例代碼,演示如何在Scrapy中下載文件:
import scrapy
class FileDownloadSpider(scrapy.Spider):
name = 'file_download'
start_urls = ['http://example.com']
def parse(self, response):
# 獲取文件的下載鏈接
file_url = response.css('a.file::attr(href)').extract_first()
# 使用scrapy.Request對象來下載文件
yield scrapy.Request(url=file_url, callback=self.save_file)
def save_file(self, response):
# 將文件保存到本地
with open('downloaded_file.pdf', 'wb') as file:
file.write(response.body)
self.log('File downloaded successfully')
在上面的示例中,首先定義了一個FileDownloadSpider
類,該類繼承自scrapy.Spider
。在parse
方法中,首先從響應中提取文件的下載鏈接,然后使用scrapy.Request
對象來下載文件,并將下載后的內容傳遞給save_file
方法。在save_file
方法中,將下載的文件內容寫入本地文件中。
要運行上述代碼,可以使用以下命令:
scrapy crawl file_download
運行后,Scrapy將訪問http://example.com
頁面,提取文件鏈接并下載文件到本地。