溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
由于需要用到很多第三方的包，比如numpy，pandas等，而生產環境又無法上網單個包安裝太麻煩，因此考慮把之前安裝的python的獨立環境換成Anaconda的集成開發環境。以下是具體步驟：
1安裝Anaconda3-5.0.1-Linux-x86_64.sh腳本
2給/opt/modules/anaconda3/bin/python3.6建立軟鏈接ln -s /opt/modules/anaconda3/bin/python /usr/bin/python3
3修改root環境變量
/root/.bashrc
/root/.bash_profile
修改hdfs用戶環境變量，因為集群操作大多有hdfs用戶完成。
su - hdfs
~/.bashrc
export PATH="/usr/bin:$PATH"
4修改pyspark2命令
vi /usr/bin/pyspark2
修改spark2-submit命令
vi /usr/bin/spark2-submit
修改PYSPARK_PYTHON這個變量
幾個節點都要修改，之后spark更換到新的python，常用的包都有了。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
