91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

(第2篇)一篇文章教你輕松安裝hadoop

發布時間:2020-08-07 02:52:45 來源:網絡 閱讀:1028 作者:I加加 欄目:大數據

  

 如果你看了我的上一篇文章,那此時你對hadoop已經有了一個大概的了解,那接下來這篇文章就教大家怎么安裝hadoop環境,只要你用心,仔細的跟著文章中講到的做,肯定能正確安裝。

 

     安裝hadoop環境

由于大家在學習hadoop時候,主要以Hadoop 1.0環境為主學習就可以,所以這主要介紹如何搭建Hadoop 1.0分布式環境。

整個分布式環境運行在帶有linux操作系統的虛擬機,至于虛擬機linux系統的安裝這里不做過多介紹

安裝Hadoop分布式環境:

1) 下載Hadoop安裝包:

在本站下載地址  http://down.51cto.com/data/2290706  中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上傳hadoop-1.2.1-bin.tar.gz這個文件到虛擬機的系統中。

同樣在securtcrt中ll時,能得到

(第2篇)一篇文章教你輕松安裝hadoop 

2) 安裝Hadoop安裝包

首先將安裝包解壓縮

(第2篇)一篇文章教你輕松安裝hadoop 

Linux終端執行cd進入相應目錄:

(第2篇)一篇文章教你輕松安裝hadoop 

新增tmp目錄,mkdir  /home/hadoop/hadoop-1.2.1/tmp

(第2篇)一篇文章教你輕松安裝hadoop 

3) 配置Hadoop:

使用vim修改master文件內容:

(第2篇)一篇文章教你輕松安裝hadoop 

localhost修改成master:

(第2篇)一篇文章教你輕松安裝hadoop 

最后保存退出。

修改slaves文件

注意,這里準備設置幾臺slave機器,就寫幾個,因為當前分布式環境有四個虛擬機,一臺做master,三臺做slave,所以這里寫成了三個slave

(第2篇)一篇文章教你輕松安裝hadoop 

修改core-site.xml文件:

(第2篇)一篇文章教你輕松安裝hadoop 

【注意】中間的ip地址,不要輸入192.168.2.55,根據自己的情況設置。

修改mapred-site.xml文件

(第2篇)一篇文章教你輕松安裝hadoop 

【注意】記得value的內容要以http開頭。

修改hdfs-site.xml文件:

(第2篇)一篇文章教你輕松安裝hadoop 

其中,<value>3</value>視情況修改,如果有三臺slave機器,這里設置成3,如果只有1臺或2臺,修改成對應的值即可。

修改hadoo-env.sh文件

(第2篇)一篇文章教你輕松安裝hadoop

新增export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

(第2篇)一篇文章教你輕松安裝hadoop 

修改本地網絡配置:編輯/etc/hosts文件

(第2篇)一篇文章教你輕松安裝hadoop 

(第2篇)一篇文章教你輕松安裝hadoop 

【注意】Ip地址根據具體的情況要進行修改。

4) 復制虛擬機

關閉當前虛擬機,復制多份

(第2篇)一篇文章教你輕松安裝hadoop 

【注意】要選擇初始化所有網卡的mac地址

(第2篇)一篇文章教你輕松安裝hadoop 

根據自己需求,復制2到3臺虛擬機作為slave,同樣要確認網絡連接方式為橋接。

設置所有機器的IP地址

分別啟動虛擬機,修改機器的ip 地址,在虛擬機的圖形界面里,選擇設置(第2篇)一篇文章教你輕松安裝hadoop單擊打開,在彈出來的窗口里,選擇(第2篇)一篇文章教你輕松安裝hadoop

(第2篇)一篇文章教你輕松安裝hadoop 

 

打開(第2篇)一篇文章教你輕松安裝hadoop,修改成如下的形式,選擇ipv4 ,分配方式選擇成manual

注意】具體的ip地址,根據實際的情況來設置,因為培訓教室里都是192.168.2.x的網段,所以我這里設置成了192.168.2.x,每個人選擇自己的一個ip地址范圍,注意不要和其它人沖突了。

(第2篇)一篇文章教你輕松安裝hadoop 

5) 建立互信關系

生成公私鑰,在master機器的虛擬機命令行下輸入ssh-keygen,一路回車,全默認

(第2篇)一篇文章教你輕松安裝hadoop 

復制公鑰

復制一份master的公鑰文件,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

(第2篇)一篇文章教你輕松安裝hadoop 

同樣,在所有的slave機器上,也在命令行中輸入ssh-keygen,一路回車,全默認

在所有的salve機器上,從master機器上復制master的公鑰文件:

(第2篇)一篇文章教你輕松安裝hadoop 

測試連接

master機器上分別向所有的slave機器發起聯接請求:

如:ssh slave1

(第2篇)一篇文章教你輕松安裝hadoop 

【注意】記得一旦聯接上,所有的操作,就視同在對應的slave上操作,所以一定要記得使用exit退出聯接。

6) 啟動Hadoop:

初始化master機器上,進入/home/hadoop/hadoop-1.2.1/bin目錄

(第2篇)一篇文章教你輕松安裝hadoop 

安裝包根目錄下運行./hadoop namenode format來初始化hadoop的文件系統。

(第2篇)一篇文章教你輕松安裝hadoop 

啟動

執行./start-all.sh,如果中間過程提示要判斷是否,需要輸入yes

(第2篇)一篇文章教你輕松安裝hadoop 

輸入jps,查看進程是否都正常啟動。

(第2篇)一篇文章教你輕松安裝hadoop 

如果一切正常,應當有如上的一些進程存在。

7) 測試系統

輸入./hadoop fs ls /

(第2篇)一篇文章教你輕松安裝hadoop 

正常顯示文件系統。

如此,hadoop系統搭建完成。否則,可以去/home/hadoop/hadoop-1.2.1/logs目錄下,查看缺少的進程中,對應的出錯日志。


  此時,你已經把hadoop環境搭建好了,下一篇文章將給大家介紹什么是HDFS文件系統,HDFS又能做什么呢?

  

(第2篇)一篇文章教你輕松安裝hadoop


如何用4個月學會Hadoop開發并找到年薪25萬工作?

 

免費分享一套17年最新Hadoop大數據教程100Hadoop大數據必會面試題

因為鏈接經常被和諧,需要的朋友請加微信 ganshiyun666 來獲取最新下載鏈接,注明“51CTO”

 

教程已幫助300+人成功轉型Hadoop開發,90%起薪超過20K,工資比之前翻了一倍。

內容包括0基礎入門、Hadoop生態系統、真實商業項目實戰3大部分。其中商業案例可以讓你接觸真實的生產環境,訓練自己的開發能力。

(第2篇)一篇文章教你輕松安裝hadoop


向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

东平县| 花莲县| 阿克陶县| 东乌珠穆沁旗| 修水县| 永和县| 化隆| 梓潼县| 海原县| 林周县| 来宾市| 砀山县| 莎车县| 郧西县| 黎城县| 威海市| 西藏| 建始县| 绥中县| 罗定市| 积石山| 宜宾县| 伊金霍洛旗| 剑阁县| 炉霍县| 云霄县| 冷水江市| 城市| 保山市| 望谟县| 大新县| 浦县| 将乐县| 桐乡市| 榆树市| 西乡县| 惠水县| 兰考县| 丰城市| 轮台县| 湘潭县|