RedHat hadoop集群的安裝步驟

這篇文章主要講解了“RedHat hadoop集群的安裝步驟”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“RedHat hadoop集群的安裝步驟”吧！

1、網絡配置

2、機器名修改

3、集群hosts列表

4、關閉防火墻、SELinux

#查看selinux狀態

[root@master1 ~]# sestatus -v
#關閉selinux

vi /etc/selinux/config  

SELINUX=disabled 

5、時間同步

#手動同步時間

/usr/sbin/ntpdate cn.pool.ntp.org

#配置時間同步(實現自動同步時間)

crontab –e

6、jdk環境安裝

#查看系統自動安裝的jdk

[root@master1 opt]# rpm -qa | grep jdk

#刪除系統自動安裝的jdk

[root@master1 opt]# rpm -qa | grep jdk
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
[root@master1 opt]# rpm -e -nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
-nodeps: 未知的選項
[root@master1 opt]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

[root@node1 soft-src]# pwd
/tmp/soft-src

#查看目錄內容

[root@node1 soft-src]# ll -a
總用量 139052
drwxr-xr-x.  3 root root      4096 9月  22 10:30 .
drwxrwxrwt. 25 root root      4096 9月  22 10:30 ..
-rwxrw-rw-.  1 root root 142376665 9月  20 11:16 jdk-7u67-linux-x64.tar.gz

#解壓

[root@node1 soft-src]# tar xvf jdk-7u67-linux-x64.tar.gz

#查看目錄

[root@node1 soft-src]# ll -a
總用量 139052
drwxr-xr-x.  3 root root      4096 9月  22 10:30 .
drwxrwxrwt. 25 root root      4096 9月  22 10:30 ..
drwxr-xr-x.  8 uucp  143      4096 7月  26 00:51 jdk1.7.0_67
-rwxrw-rw-.  1 root root 142376665 9月  20 11:16 jdk-7u67-linux-x64.tar.gz

#設置JAVA_HOME

[root@secondarynamenode 桌面]# vi /etc/profile.d/java.sh 

export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export CLASSPATH=/tmp/soft-src/jdk1.7.0_67/lib
export PATH=$JAVA_HOME/bin:$PATH

#查看jdk安裝位置

[root@secondarynamenode 桌面]# which java
/tmp/soft-src/jdk1.7.0_67/bin/java

7、創建hadoop用戶和hadoop組

groupadd hadoop
useradd hadoop -g hadoop

#通過管理員登陸后修改wqj用戶密碼

passwd wqj

8、生成ssh密鑰

配置詳情參看《RedHat hadoop ssh配置安裝》

9、創建/opt/module/hadoop和/opt/data/hadoop目錄

10、修改/opt/module/hadoop和/opt/data/hadoop目錄權限

例chmod -R 700 路徑

mkdir -p 路徑

11、配置hadoop環境

解壓

[root@node1 modules]# tar xvf hadoop-1.0.3.tar 

#修改hadooop-1.0.3.tar的權限

chown hadoop:hadoop /opt/module/hadoop-1.0.3.tar

#配置HADOOP_HOME

1）、$HADOOP_HOME/conf/hadoop-env.sh 

export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export HADOOP_HEAPSIZE=512

2)、/etc/profile.d/hadoop.sh

export HADOOP_HOME=/opt/modules/hadoop-1.0.3
export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
export PATH=.:$HADOOP_HOME/bin:$PATH

12、配置集群

1）、配置core-site.xml

此配置文件，定義Hadoop Core的配置項，例如HDFS和MapReduce常用的I/O設置等。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <final>true</final>

</configuration>

2）、配置hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.name.dir</name>
    <value>/opt/data/hadoop/hdfs/name,/data1/hadoop/hdfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.data.dir</name>
    <value>/opt/data/hadoop/hdfs/data,/data1/hadoop/hdfs/data</value>
        <final>true</final>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
<value>/opt/data/hadoop/hdfs/secondarynamenode,/data1/hadoop/hdfs/secondarynamenode</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>master:50070</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>192.168.232.146:50090</value>
        <final>true</final>
    </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
                <final>true</final>
        </property>
        <property>
        <name>dfs.hosts</name>
        <value>/etc/hadoop/conf/include</value>
        <final>true</final>
    </property>
</configuration>

3)、配置mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.local.dir</name>
<value>/opt/data/hadoop/mapred/local,/data1/hadoop/mapred/local</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.system.dir</name>
        <value>/tmp/hadoop/mapred/system</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.tasktracker.map.tasks.maximum</name>
        <value>
            7
        </value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.tasktracker.reduce.tasks.maximum</name>
        <value>
            7
        </value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.child.java.opt</name>
        <value>-Xmx400m</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.hosts</name>
        <value>/etc/hadoop/conf/include</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.jobtracker.restart.recover</name>
        <value>true</value>
    </property>
</configuration>

4）、格式化hdfs

hadoop namenode -format

5）、修改/opt/modules/hadoop目錄權限為hadoop

6）、修改/opt/data/hadoop/hdfs/name等文件權限為hadoop

7）、

#啟動 master node ：

hadoop-daemon.sh start namenode

#啟動 data node ：

hadoop-daemon.sh start datanode

#啟動 jobtracker

hadoop-daemon.sh start jobtracker

#啟動 tasktracker

hadoop-daemon.sh start tasktracker

8）、

查看日志信息

[root@master 桌面]# tail -100f /opt/modules/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-master.log

感謝各位的閱讀，以上就是“RedHat hadoop集群的安裝步驟”的內容了，經過本文的學習后，相信大家對RedHat hadoop集群的安裝步驟這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！