hadoop install

1.Hadoop安裝步驟
將Hadoop文件拷貝到/usr/local目錄下并解壓Tar -zxvf hadoop-3.0.0.tar.gz
將解壓后文件重命名hadoop mv hadoop-3.0.0.tar.gz hadoop
1.1、配置host ip映射關系 vim /etc/host
172.26.19.40 hmaster
172.26.19.41 hslave1
172.26.19.42 hslave2
172.26.19.43 hslave3
1.2、vim /etc/profile 配置Hadoop classpath
#set java environment /usr/local/java/jdk1.8.0_151
export JAVA_HOME=/usr/java/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH=$PATH:/usr/local/hive/bin
2.配置Hadoop相關,在/usr/local/hadoop/etc/hadoop目錄下配置
vim hadoop-env.sh 運行環境依賴Java JDK
export JAVA_HOME=/usr/java/jdk1.8.0_151
配置Hadoop NameNode節點（Hadoop可以啟動啦）
2.1、vim core-site.xml 每個節點都需要配置才可
------配置通信節點url，所有節點都需要該配置
hadoop.tmp.dir 配置Hadoop文件存儲默認目錄（若未配置，默認保存臨時目錄/tmp下的）
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
</configuration>

3.Hadoop默認4個基本配置文件
hadoop默認配置
Core-default.xml ------對應 core-site.xml
Hdfs-default.xml-------對應 hdfs-site.xml
mapred-default.xml
yarn-default.xml
3.1、Hdfs-site.xml 配置后覆蓋默認配置（Hdfs-site.xml僅在Namenode配置即可）
----配置hadoop復制的保存份數（只在namenode節點配置即可）
dfs.replication HDFS保存文件保存的份數（默認是3份）
dfs.namenode.heartbeat.recheck-interval DataNode健康檢查的間隔時間（毫秒）
dfs.permissions.enabled 測試時，可以關閉權限檢查(否則沒有權限訪問）
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>20000</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
3.2、mapred-site.xml僅在Namenode配置即可），
mapreduce.framework.name 將mapreduce與yarn資源調度平臺關聯（即mapreduce計算引擎使用yarn作為調度引擎）
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
3.3yarn-site.xml僅在Namenode配置即可
yarn.resourcemanager.hostname 配置Namenode的主機名
yarn.nodemanager.aux-services/yarn.nodemanager.aux-services.mapreduce_shuffle.class 配置計算MapReduce計算服務
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hmaster</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

4、基本配置完畢，先格式化namenode節點
Hdfs namenode -format
start-dfs.sh 啟動Hadoop集群所有節點
stop-dfs.sh 停止Hadoop集群所有節點
啟動namenode節點（master）
hdfs --daemon start namenode （3.0寫法）
hdfs --daemon stop namenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode
jps查看相關進程是否起來
hdfs dfsadmin -report | more 查看Hadoop集群的狀態
http://172.26.19.40:50070/ Hadoop集群UI管理界面
http://172.26.19.40:9000/ 集群內部通信接口服務
5、僅在namenode節點/usr/local/hadoop/etc/hadoop下
在slaves文件里添加所有DataNode節點hostname（方便以后腳本批量配置所有slaves節點）
vim slaves
hslave1
hslave2
hslave3
6、免密設置
cd ~ 來到根目錄 ll -a 找到.ssh 文件
在.ssh目錄執行 ssh-keygen -t rsa 生成root用戶私鑰與公鑰如下圖
然后將公鑰id_rsa.pub 拷貝到所有slave節點.ssh目錄
（在master 上用root登錄slave時，用master的私鑰加密后傳輸到slave節點，在所有slave節點拷貝的公鑰能解密，證明是root用戶登錄上來了）
執行命令 Ssh-copy-id slave2 拷貝公鑰id_rsa.pub 到slave2的.ssh目錄（生成文件authorized_keys）
這時在master上可以免密登錄slave1了