您好,登錄后才能下訂單哦!
苦逼的前夜
昨晚很辛苦,搞到晚上快兩點,最后還是沒有把python3下的scrapy框架安裝起來,后面還把yum這玩意給弄壞了,一直找不到命令。今天早上又自己弄了快一上午,又求助@函兮,弄了快一個中午,最后無奈還是沒有弄好yum跟python這玩意,最后還是放棄治療了。真的是什么招,什么損招都用完了,最后也沒折了,直接報告老大去,然后把阿里云的centos7實例重新磁盤回滾了一下。
正確的安裝姿勢
這個不多廢話,如果你是直接接手過來一個centos7的實例鏡像,當然包括騰訊云或者阿里云上面的,只要按照下面的步驟進行安裝,沒有裝不上,只有裝得舒服,不到半小時,完完整整的裝好Python3,裝好Python3下的scrapy框架
步驟
前言:不用改掉系統python2.7 ,原來是python2.7,我們還進行python2.7的保留
1.編譯前準備其他庫的安裝(使用sudo命令)
(1)
[root@hadron ~]# yum -y groupinstall "Development tools"
(2)
(2)這里有點長,一定要復制完整了再進行回車,中途可能會報錯,提示會有:--skip-broken
可以使用命令:
2 . 到這里我們就可以進行python3.5的源碼下載了
(1)使用wget命令:
[root@hadron ~]# wget https://www.python.org/ftp/python/3.5.5/Python-3.5.5.tgz
(2)然后解壓縮,進入根目錄
[root@hadron ~]# tar -zxvf Python-3.5.5.tgz [root@hadron ~]# cd Python-3.5.5/
(3)python3.5進行編譯安裝
[root@hadron ~]# ./configure --prefix=/usr/local/python3 [root@hadron ~]# make && make install
(4)創建Python3,pip3的軟鏈接
[root@hadron ~]# ln -s /usr/local/python3/bin/python3 /usr/bin/python3 [root@hadron ~]# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
(5)驗證Python3 和pip3 是否安裝成功
[root@hadron ~]# python Python 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> quit() [root@hadron ~]# python3 Python 3.5.5 (default, Feb 27 2018, 09:28:49) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux Type "help", "copyright", "credits" or "license" for more information. >>> quit() [root@hadron ~]# [root@hadron ~]# pip3 --version pip 9.0.1 from /usr/local/python3/lib/python3.5/site-packages (python 3.5)
這里我們可以看到默認的python還是系統自帶的python2.7,而python3就是我們解壓的python3.5.5了,pip3 也是python3.5下的pip了。
上面我們已經把python3跟pip3安裝好了,接下來,我們進行Python3下的Scrapy框架安裝
3 安裝Scrapy爬蟲框架
(1)安裝Scrapy
[root@hadron ~]# pip3 install scrapy Collecting scrapy Downloading Scrapy-1.5.0-py2.py3-none-any.whl (251kB) 100% |████████████████████████████████| 256kB 1.1MB/s Requirement already satisfied: lxml in /usr/local/python3/lib/python3.5/site-packages (from scrapy) Collecting PyDispatcher>=2.0.5 (from scrapy) Downloading PyDispatcher-2.0.5.tar.gz .... .... Collecting pycparser (from cffi>=1.7; platform_python_implementation != "PyPy"->cryptography>=2.1.4->pyOpenSSL->scrapy) Downloading pycparser-2.18.tar.gz (245kB) 100% |████████████████████████████████| 256kB 339kB/s Installing collected packages: PyDispatcher, zope.interface, constantly, incremental, six, attrs, Automat, hyperlink, Twisted, cssselect, w3lib, parsel, asn1crypto, pycparser, cffi, cryptography, pyOpenSSL, pyasn1, pyasn1-modules, service-identity, queuelib, scrapy Running setup.py install for PyDispatcher ... done Running setup.py install for Twisted ... done Running setup.py install for pycparser ... done Successfully installed Automat-0.6.0 PyDispatcher-2.0.5 Twisted-17.9.0 asn1crypto-0.24.0 attrs-17.4.0 cffi-1.11.4 constantly-15.1.0 cryptography-2.1.4 cssselect-1.0.3 hyperlink-18.0.0 incremental-17.5.0 parsel-1.4.0 pyOpenSSL-17.5.0 pyasn1-0.4.2 pyasn1-modules-0.2.1 pycparser-2.18 queuelib-1.4.2 scrapy-1.5.0 service-identity-17.0.0 six-1.11.0 w3lib-1.19.0 zope.interface-4.4.3 [root@hadron ~]#
在這里進行安裝的時候,我們可能會出現一串的報紅,一串的報紅。
很蛋疼的報紅信息
出現報紅不要緊,我們多試幾次pip3 install scrapy 就行了
(2)網絡好的話,試下不超過5次,應該就會出現下面安裝成功的界面
成功安裝Scrapy的界面
(3)上面的圖也是驗證Scrapy框架安裝成功的界面,因為我們進行了import scrapy沒有進行報錯。
(4)創建Scrapy軟鏈接
[root@hadron ~]# ln -s /usr/local/python3/bin/scrapy /usr/bin/scrapy
(5)驗證Scrapy軟鏈接
[root@hadron ~]# scrapy -v Scrapy 1.5.0 - no active project
上面就是整個Python3下Scrapy框架的安裝步驟過程,基本上沒有bug。上面就是我對這不到半小時的安裝比對昨天一個晚上的安裝的心得體會,搜到好的文章,然后再繼續你的下一步。
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持億速云。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。