要使用Scrapy進行API爬取,你需要按照以下步驟操作:
scrapy startproject project_name
scrapy genspider spider_name api.example.com
其中api.example.com
是你要爬取的API的地址。
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['https://api.example.com']
def parse(self, response):
data = response.json()
for item in data['items']:
yield {
'id': item['id'],
'name': item['name'],
'description': item['description']
}
scrapy crawl myspider
closed
方法來處理數據的存儲。通過以上步驟,你就可以使用Scrapy來爬取API數據了。