溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了如何安裝Python3爬蟲中的pyspider，內容清晰明了，對此有興趣的小伙伴可以學習一下，相信大家閱讀完之后會有幫助。
pyspider是國人binux編寫的強大的網絡爬蟲框架，它帶有強大的WebUI、腳本編輯器、任務監控器、項目管理器以及結果處理器，同時支持多種數據庫后端、多種消息隊列，另外還支持JavaScript渲染頁面的爬取，使用起來非常方便，本節介紹一下它的安裝過程。
1. 相關鏈接
官方文檔：http://docs.pyspider.org/
官方教程：http://docs.pyspider.org/en/latest/tutorial
2. 準備工作
pyspider是支持JavaScript渲染的，而這個過程是依賴于PhantomJS的，所以還需要安裝PhantomJS（具體的安裝過程詳見1.2.5節）。
3. pip安裝
這里推薦使用pip安裝，命令如下：
pip3 install pyspider
命令執行完畢即可完成安裝。
4. 常見錯誤
Windows下可能會出現這樣的錯誤提示：
Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl
這是PyCurl安裝錯誤，此時需要安裝PyCurl庫。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對應的Python版本，然后下載相應的wheel文件即可。比如Windows 64位、Python 3.6，則需要下載pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl，隨后用pip安裝即可，命令如下：
pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl
如果在Linux下遇到PyCurl的錯誤，可以參考本文：https://www.jb51.net/article/192094.htm。
5. 驗證安裝
安裝完成之后，可以直接在命令行下啟動pyspider：
pyspider all
此時控制臺會有類似如圖1-74所示的輸出。
這時pyspider的Web服務就會在本地5000端口運行。直接在瀏覽器中打開http://localhost:5000/，即可進入pyspider的WebUI管理頁面，如圖1-75所示，這證明pyspider已經安裝成功了。
看完上述內容，是不是對如何安裝Python3爬蟲中的pyspider有進一步的了解，如果還想學習更多內容，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
