魯春利的工作筆記,好記性不如爛筆頭 Hadoop是適用于大數據處理的、分布式的存儲(HDFS)和計算(MapReduce)平臺,在Hadoop2.0版本開始引入了yarn來實現資源管理與作業
1.1.什么是hadoop 1.hadoop是apache旗下的一套開源軟件平臺,可以通過http://apache.org/--->project- ->hadoop打開 2
~~~~~~~~~~~~~~~~~~~~~
1.設置ip service network restart 重啟網卡生效2.關閉防火墻(在hadoop中要使用到許多端口,為了避免麻煩之間對防火墻進行關閉) service
6、問題及解決方案1. 問題描述:WARN util.NativeCodeLoader: Unable to load native-hadoop library foryour platform…
分布式安裝(至少三臺主機):環境所需軟件:CentOS7hadoop-2.7.3.tar.gzjdk-8u102-linux-x64.tar.gz 安裝前準備工作: 修改 /etc/hosts 文件
首先參考離線安裝版教程:http://www.jianshu.com/p/debf0e6a3f3b 里面說的是針對ubuntu1404版本,但是1604也可以裝。 在迅雷上下
一、進入登陸頁面1.在瀏覽器中輸入ambari-server端地址,初始賬戶和密碼都是admin2.登陸后進入向導界面,點擊Launch Install Wizard3.設置集群名稱二、安裝相關組件1
Hadoop 安裝 Ubuntu環境192.168.1.64 HNClient192.168.1.65 HNName SUSE,Ubuntu的vi不能使用退格鍵刪除數據刪除的時候,要按ES
【vm.swappiness】設置為0,指示內核不交換應用數據到磁盤。如果磁盤正在執行其他I/O操作,將Hadoop守護進程的數據交換到磁盤可能導致操作超時從而有可能失敗。對于HBase來說,由于HB