溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
spark集群使用hadoop用戶運行,集群機器如下:
| 1 | DEV-HADOOP-01 | 192.168.9.110 | Master |
| 2 | DEV-HADOOP-02 | 192.168.9.111 | Worker |
| 3 | DEV-HADOOP-03 | 192.168.9.112 | Worker |
現在需要添加一臺192.168.9.113 機器名DEV-HADOOP-04的節點作為Worker.需要執行一下操作:
配置Master到新增節點hadoop用戶的無密碼登錄
每個節點添加的/etc/hosts
安裝JDK1.8.0_60
安裝scala
從Master拷貝scala scp -r scala-2.11.7 root@192.168.9.113:/data/server/
設置環境變量 /etc/profile
export SCALA_HOME=/usr/scala/scala-2.11.7
使配置生效 source /etc/profile
更改scala-2.11.7的用戶和組 chown -R hadoop:hadoop scala-2.11.7
安裝spark
從Master拷貝spark scp -r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/data/server/
配置環境變量 /etc/profile
export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
使配置生效 source /etc/profile
修改集群的slaves配置文件,新增新增節點DEV-HADOOP-03
啟動新增節點
sbin/start-slave.sh spark://DEV-HADOOP-01:7077
新增節點啟動驗證
執行jps命令,slave可以看到Worker進程
查看Spark UI
看到Workers中有新增節點
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
