hadoop2.7.3平臺怎么搭建spark2.1.1

這篇文章主要講解了“hadoop2.7.3平臺怎么搭建spark2.1.1”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“hadoop2.7.3平臺怎么搭建spark2.1.1”吧！

hadoop平臺搭建spark 
三臺機器
master
slave1
slave2

--安裝配置scala  master 節點

tar -zxvf  scala-2.12.2.tgz

/etc/profile

export SCALA_HOME=/usr/scala-2.12.2

export PATH=$SCALA_HOME/bin:$PATH

scala -version

復制到slave 并配置環境變量

scp -r scala-2.12.2 root@slave1:/usr/

scp -r scala-2.12.2 root@slave2:/usr/

---安裝spark  在master節點運行

tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz

vi /etc/profile

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$SPARK_HOME/bin:$PATH

最終變量

export HADOOP_HOME=/usr/hadoop-2.7.3

export SCALA_HOME=/usr/scala-2.12.2

export SPARK_HOME=/usr/spark-2.1.1-bin-hadoop2.7

export PATH=$PATH:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin

配置

 1.spark-env.sh

cp spark-env.sh.template spark-env.sh

修改此文件，在文件末尾添加

###jdk安裝目錄

export JAVA_HOME=/usr/java/jdk1.8.0_101

###scala安裝目錄

export SCALA_HOME=/usr/scala-2.12.2

###spark集群的master節點的ip

export SPARK_MASTER_IP=192.168.58.10

###指定的worker節點能夠最大分配給Excutors的內存大小

export SPARK_WORKER_MEMORY=1g

###hadoop集群的配置文件目錄

export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop

2.slaves

cp slaves.template slaves

master

slave1

slave2

將spark文件和環境變量復制到slave節點

scp -r spark-2.1.1-bin-hadoop2.7 root@slave1:/usr/

scp -r spark-2.1.1-bin-hadoop2.7 root@slave2:/usr/

如果沒有設置節點ip不用管下面的

在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh，

將export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2對應節點的IP。

spark啟動與關閉 保證hadoop已經運行

啟動 進入到spark目錄

./sbin/start-all.sh

關閉

./sbin/stop-all.sh

---驗證

http://192.168.58.10:8080/

spark-shell

感謝各位的閱讀，以上就是“hadoop2.7.3平臺怎么搭建spark2.1.1”的內容了，經過本文的學習后，相信大家對hadoop2.7.3平臺怎么搭建spark2.1.1這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！