溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
scrapy中的spider傳遞參數的方法？相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。
第一種方法，在命令行用crawl控制spider爬取的時候，加上-a選項，例如：
scrapy crawl myspider -a category=electronics
然后在spider里這樣寫：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
def __init__(self, category=None, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://www.example.com/categories/%s' % category]
# ...也就是在spider的構造函數里加上帶入的參數即可。
第二種方法，在用scrapyd控制spider的時候，可以向schedule.json發送-d選項加入參數，同樣的，也需要在spider的構造函數里如上寫法。例如：
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1
另外，如果需要在scrapy發出的request上加入參數，可以使用request的meta參數，然后就可以相應的在返回的respose對象中獲得傳入的參數。這在某些情況下相當有用，比如說需要確定這個url是哪個用戶請求爬取的，可以先用上面兩種方法之一將信息傳遞給spider，spider就可以把這個信息加入到request中，然后在相應的reponse中就可以將這個信息與從url的頁面中獲得的信息一起存入數據庫。例如：
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item看完上述內容，你們掌握scrapy中的spider傳遞參數的方法的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
