python中Scrapy框架如何安裝

這篇文章主要為大家展示了“python中Scrapy框架如何安裝”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“python中Scrapy框架如何安裝”這篇文章吧。

Scrapy安裝

官網 https://scrapy.org/

安裝方式

在任意操作系統下，可以使用pip安裝Scrapy，例如：

$ pip install scrapy

為確認Scrapy已安裝成功，首先在Python中測試能否導入Scrapy模塊：

>>> import scrapy  
>>> scrapy.version_info
(1, 8, 0)

Python爬蟲、數據分析、網站開發等案例教程視頻免費在線觀看

https://space.bilibili.com/523606542

然后，在 shell 中測試能否執行 Scrapy 這條命令：

(base) λ scrapy 
Scrapy 1.8.0 - no active project 
Usage: 
  scrapy <command> [options] [args] 

Available commands: 
  bench Run quick benchmark test
  fetch Fetch a URL using the Scrapy downloader 
  genspider Generate new spider using pre-defined templates 
  runspider Run a self-contained spider (without creating a project) 
  settings Get settings values 
  shell Interactive scraping console 
  startproject Create new project version 
  Print Scrapy version 
  view Open URL in browser, as seen by Scrapy 

  [ more ] More commands available when run from project directory 

Use "scrapy <command> -h" to see more info about a command

通過了以上兩項檢測，說明Scrapy安裝成功了。如上所示，我們安裝的是當前最新版本1.8.0

注意：

• 在安裝Scrapy的過程中可能會遇到缺少VC++等錯誤，可以安裝缺失模塊的離線包

• 成功安裝后，在CMD下運行scrapy出現上圖不算真正成功，檢測真正是否成功使用 scrapy bench 測試，如果沒有提示錯誤，就代表成功安裝

具體Scrapy安裝流程參考： http://doc.scrapy.org/en/latest/intro/install.html##intro-install-platform-notes 里面有各個平臺的安裝方法

全局命令

$ scrapy 
Scrapy 1.7.3 - no active project 
Usage: 
  scrapy <command> [options] [args] 

Available commands: 
  bench Run quick benchmark test 
        ## 測試電腦性能。
  fetch Fetch a URL using the Scrapy downloader 
        ## 將源代碼下載下來并顯示出來
  genspider Generate new spider using pre-defined templates 
        ## 創建一個新的 spider 文件 
  runspider Run a self-contained spider (without creating a project) 
        ## 這個和通過crawl啟動爬蟲不同，scrapy runspider 爬蟲文件名稱 
  settings Get settings values 
        ## 獲取當前的配置信息 
  shell Interactive scraping console 
        ## 進入 scrapy 的交互模式 
  startproject Create new project 
        ## 創建爬蟲項目。 
  version Print Scrapy version 
  view Open URL in browser, as seen by Scrapy 
        ## 將網頁document內容下載下來，并且在瀏覽器顯示出來 

  [ more ] More commands available when run from project directory 

Use "scrapy <command> -h" to see more info about a command

項目命令

• scrapy startproject projectname
  創建一個項目

• scrapy genspider spidername domain
  創建爬蟲。創建好爬蟲項目以后，還需要創建爬蟲。

• scrapy crawl spidername
  運行爬蟲。注意該命令運行時所在的目錄。

以上是“python中Scrapy框架如何安裝”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！