溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹了python的爬蟲框架scrapy有什么用，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
1、Scrapy爬蟲框架
Scrapy是一個使用Python編程語言編寫的爬蟲框架，任何人都可以根據自己的需求進行修改，并且使用起來非常的方便。它可以應用在數據采集、數據挖掘、網絡異常用戶檢測、存儲數據等方面。
Scrapy使用了Twisted異步網絡庫來處理網絡通訊。整體架構大致如下圖所示。
2、由上圖可知Scrapy爬蟲框架主要由5個部分組成。
Scrapy Engine（Scrapy引擎），Scheduler（調度器），Downloader（下載器），Spiders（蜘蛛），Item Pipeline（項目管道）。
3、這五大組件及其中間件的功能如下：
1) Scrapy引擎
2) Scheduler（調度器）
3) Downloader（下載器）
4) Spiders（蜘蛛）
5) Item Pipeline（項目管道）
6) 中間件（Middlewares）
感謝你能夠認真閱讀完這篇文章，希望小編分享python的爬蟲框架scrapy有什么用內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
