怎么搭建hadoop平臺

這篇文章主要為大家展示了“怎么搭建hadoop平臺”，內容簡而易懂，條理清晰，希望能夠幫助大家解決疑惑，下面讓小編帶領大家一起研究并學習一下“怎么搭建hadoop平臺”這篇文章吧。

一、虛擬機及系統安裝

1. 下載vmware，并成功安裝；

2. 在vmware中安裝CentOS系統；

二、在虛擬機中配置JAVA環境

1.安裝java虛擬機（jdk-6u31-linux-i586.bin）；

2.配置環境變量

（1） vi /etc/profile （編輯文件）

（2） 添加

（3） source /etc/profile （注入環境變量）

注：使用ROOT和戶

三、修改hosts

vim /etc/hosts 修改為： 127.0.0.1 qiangjin

注：使用ROOT和戶

四、修改hostname vim /etc/sysconfig/network

修改為： NETWORKING=yes HOSTNAME=qiangjin

臨時修改hostname，使用

hostname qiangjin 查看當前hostname，使用

hostname 注：使用ROOT和戶

五、配置ssh

1. 在當前用戶主目錄下執行

（1）ssh-keygen

（2）cat .ssh/id_rsa.pub 》》 .ssh/authorized_keys

（3）chmod 700 .ssh

（4）chmod 600 .ssh/authorized_keys

（5）ssh qiangjin 成功

六、壓縮包解壓

1. 解壓hadoop-0.20.2-cdh4u3.tar.gz；

2. 解壓hbase-0.90.4-cdh4u3.tar.gz；

3. 解壓hive-0.7.1-cdh4u3.tar.gz；

4. 解壓zookeeper-3.3.4-cdh4u3.tar.gz；

5. 解壓sqoop-1.3.0-cdh4u3.tar.gz；

6. 解壓mahout-0.5-cdh4u3.tar.gz；（數據挖掘算法專用）

注：tar –xvf xxxx.tar.gz

七、修改hadoop配置文件

（1）進入到cdh4/hadoop-0.20.2-cdh4u3/conf

（2）修改

core-site.xml

注：fs.default.name配置中用到了自己配的hostname；

（3）修改hdfs-site.xml

注：單機時，一般將dfs.replicaTIon設置為1

（4）修改

mapred-site.xml

注：mapred.job.tracker中用到了自己配的hostname；

（5）修改

Masters

（6）修改

slaves

（7）修改

hadoop-env.sh

需要添加環境變量

八、修改HBase配置

（1）進入cdh4/hbase-0.90.4-cdh4u3/conf

（2）修改hbase-site.xml

（3）修改

Regionserver

（4）修改

hbase-env.sh

需要添加環境變量

九、修改hive配置

（1）進入cdh4/hive-0.7.1-cdh4u3/conf

（2）添加hive-site.xml，并配置

注：需要注意hbase.zookeeper.quorum、mapred.job.tracker、hive.exec.scratchdir、javax.jdo.opTIon.ConnecTIonURL、

javax.jdo.opTIon.ConnectionUserName、javax.jdo.option.ConnectionPassword處配置 需要添加環境變量

十、修改sqoop配置

需要添加環境變量

十一、修改zookeeper配置

（1）進入cdh4/zookeeper-3.3.4-cdh4u3

（2）新建目錄zookeeper-data

（3）進入zookeeper-data，并新建myid，里面填0

（4）進入cdh4/zookeeper-3.3.4-cdh4u3/conf

（5）修改

zoo.cfg

注：dataDir和server.0的配置；

需要添加環境變量

十二、修改mahout配置 需要添加環境變量

十三、數據庫JAR包

（1）將mysql-connector-java-5.1.6.jar放入到cdh4/hive-0.7.1-cdh4u3/lib

（2）將ojdbc14.jar放入到cdh4/sqoop-1.3.0-cdh4u3/lib

十四、hadoop首次format及啟動，停止

1.hadoop的format hadoop namenode -format

2.hadoop的啟動 start-all.sh

3.hadoop的停止 stop-all.sh

注：使用jps或ps查看hadoop是否啟動，啟動時如果有問題，會在屏幕上顯示出來的。 可以輸入網址： http://qiangjin:50070 查看hadoop的運行情況

十五、啟動hbase

（1）啟動

hbase，命令如下： start-hbase.sh （2）停止

hbase，命令如下： stop-hbase.sh （3）進入hbase的

shell，命令如下 hbase shell

（4）查看hbase中的表，命令如下（需進入到hbase shell中） list

（5）注：需要hadoop處于啟動中。

注：需要hadoop處于啟動中。 可以輸入網址： http://qiangjin:60010

查看hbase的運行情況 十六、啟動zookeeper

（1）啟動zookeeper，命令如下 zkServer.sh start

（2）停止zookeeper，命令如下 zkServer.sh stop

注：如果是單機情況下，hbase的啟動會帶動zookeeper的啟動；

十七、啟動hive

（1）啟動hive，命令如下 hive

（2）查看表，命令如下：（必須在hive命令窗口下執行） show tables;

十八、運行wordcount實例

（1）新建file01和file02，并設置內容；

（2）在hdfs中建立一個input目錄： Hadoop fs –mkdir input

（3）將file01和file02

拷貝到hdfs中 hadoop fs -copyFromLocal file0* input

（4）執行wordcount hadoop jar hadoop-examples-0.20.2-cdh4u3.jar wordcount input output

（5）查看結果 hadoop fs -cat output/part -r -00000

十九、將oracle數據導入hive

（1）進入cdh4/sqoop-1.3.0-cdh4u3/bin

（2）新建目錄importdata

（3）進入目錄importdata

（4）新建sh文件

oracle-test.sh

（5）執行。/ oracle- test.sh

（6）進入hive，查看是否導入成功；

注：hive導入使用的參數 。./sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --m 1 --table $oracleTableName --columns $columns --hive-import

二十、將oracle數據導入hbase

（1）進入cdh4/sqoop-1.3.0-cdh4u3/bin

（2）新建目錄importdata

（3）進入目錄importdata

（4）新建sh文件

oracle-hbase.sh

（5）執行。/ oracle-hbase.sh

（6）進入hbase shell，查看是否導入成功；

注：hbase導入使用的參數 。./sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --m 1 --table $oracleTableName --columns $columns -hbase-create-table --hbase-table $hbaseTableName --hbase-row-key ID --column-family cf1

二十一、配置hbase到hive的映射

（1）進入cdh4/hive-0.7.1-cdh4u3/bin

（2）新建目錄mapdata

（3）進入mapdata

（4）新建

hbasemaphivetest.q

（5）執行

hive -f hbasemaphivetest.q

注：列之間要對應，類型要匹配；

二十二、mahout運行

1、運行example

（1）導入實例所用數據“synthetic_control.data”，在控制臺運行 hadoop fs -put synthetic_control.data /user/liuhx/testdata/

（2）運行實例程序，在控制臺運行，運行時間比較長，需要迭代10次

Hadoop jar mahout-examples-0.5-cdh4u3-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job

2、運行結果查看，輸入命令

mahout vectordump --seqFile /user/liuhx/output/data/part-m-00000

3、圖形化顯示，輸入以下命令

hadoop jar mahout-examples-0.5-cdh4u3-job.jar org.apache.mahout.clustering.display.DisplayKMeans

二十三、Eclipse配置

1、安裝Eclipse

2、導入cdh4/hadoop-0.20.2-cdh4u3/src/contrib/eclipse-plugin工程

3、修改plugin.xml 主要更改runtime中jar包的配置；

4、運行Run As-》Eclipse Application

5、在運行得到的eclipse sdk中配置map/reduce location 在其中配置hadoop的運行環境

以上是“怎么搭建hadoop平臺”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！