hadoop偽分布式的安裝方法

這篇文章主要介紹“hadoop偽分布式的安裝方法”，在日常操作中，相信很多人在hadoop偽分布式的安裝方法問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hadoop偽分布式的安裝方法”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

    hadoop偽分布式一般用于學習和測試.生產環境一般不使用.

    (如有錯誤,歡迎批評指正)

    1.安裝環境

        在windows系統上安裝linux系統,以CenOS為例.hadoop版本是hadoop1.1.2

    2.配置linux虛擬機

        2.1確保window的上的網卡WMnet1和Linux虛擬機的網卡在同一網段(ping一下試試,確保可以ping通即可)

        2.2修改主機名

            最好修改一下(統一管理,方便好記).指令:vim /etc/sysconfig/network

        2.3修改ip

            對linux指令不熟悉的同學最好使用圖形化界面來改(建議)

            指令:vim /etc/sysconfig/network-scripts/ifcfg-eth0(每個人機器

                不同,虛擬機上的網卡有可能不一樣,改成自己機器上網卡)

            修改ipaddress,netmask,gateway.

        2.4修改主機名與ip的映射關系

            指令:vim /etc/hosts

        2.5關閉防火墻(關閉開機啟動)

            指令:chkconfig iptables off

        2.6重啟linux

            指令:reboot

    3.安裝jdk

        3.1上傳jdk

        3.2添加執行權限

            指令:chmod u+x jdk(自己上傳的jdk)

        3.3解壓

            解壓到指定目錄(請所有的文件統一管理)

            指令:tar -zxvf jdk(自己上傳的jdk) -C 指定目錄

        3.4添加環境變量

            指令:vim /etc/profile

        3.5刷新(使配置的環境變量生效)

            指令:source /etc/profile

    4.安裝hadoop偽分布式

        4.1上傳hadoop

        4.2確保有執行權限,并解壓(再次強調,文件最好統一管理)

            指令:tar -zxvf hadoop(上傳的hadoop版本) -C 指定目錄

        4.3配置hadoop(修改4個配置文件),進入到hadoop-1.1.2/conf目錄下

            如果對指令不熟悉(請使用工具修改,例如:Notepad++等)

            4.31hadoop-env.sh

                在第九行,去掉注釋,配置JAVA_HOME

            4.32core-site.xml

                <configuration>

                    <!-- 指定HDFS的namenode的地址 -->

                    <property>

                        <name>fs.default.name</name>

                        <value>hdfs://配置的主機名:9000</value>

                    </property>

                    <!-- 指定hadoop運行時產生的文件的目錄 -->

                    <property>

                        <name>hadoop.tmp.dir</name>

                        <value>/../hadoop-1.1.2/tmp</value>

                    </property>

                </configuration>

            4.33hdfs-site.xml

                <!-- 設置hdfs副本的數量 -->

                <configuration>

                    <property>

                        <name>dfs.replication</name>

                        <value>1</value>

                        <!--分布式默認是3,但是我們是為了測試學習,1就夠了-->

                    </property>

                </configuration>

            4.34mapred-site.xml

                <!-- 指定mapreduce的jobtracker的地址 -->

                <configuration>

                    <property>

                        <name>mapred.job.tracker</name>

                        <value>配置的主機名:9001</value>

                    </property>

                </configuration>

            4.4添加hadoop環境變量

                指令:vim /etc/profile

            4.5格式化hadoop的hdfs

                指令:hadoop namenode -format

            4.6啟動hadoop

                指令:start-all.sh

            4.7驗證hadoop是否啟動成功

                指令:jps

                成功了會出現下面五個

                    NameNode

                    SecondaryNameNode

                    DataNode

                    JobTracker

                    TaskTracker

                還可以通過瀏覽器驗證

                    http://linux的ip:50070(hdfs管理界面)

                    http://linux的ip:50030(mapreduce管理界面)

                    但是必須先在windows系統下  

              C:\Windows\System32\drivers\etc 添加linux主機名和ip的映射關系

            5.配置ssh免登陸

                ssh是secure shell

                生成ssh密鑰指令:ssh-keygen -t rsa連續按回車(4次)即可

                在/root下有隱藏文件.ssh, 進入到/root/.ssh/下,多了2個

                文件(id_rsa  id_rsa.pub)私鑰和公鑰,執行以下指令即可:

                cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    hello hadoop,大功告成.可以開發了!

到此，關于“hadoop偽分布式的安裝方法”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！