Alluxio HA 安裝

Alluxio is a memory speed virtual distributed storage system.Alluxio是一個開源的基于內存的分布式存儲系統，現在成為開源社區中成長最快的大數據開源項目之一。

alluxio下載地址https://www.alluxio.org/download

考慮系統的可用性，對Alluxio Master做HA，具體步驟如下：

-1. 在alluxio-env.sh 中添加zookeeper的信息，并附上hdfs的路徑。如果是單機的alluxio master，就不需要hdfs作為alluxio的存儲。但是對于Master HA的模式，就需要共享文件路徑來存放文件，就選擇hdfs作為master的信息存儲

cat alluxio-env.sh 
JAVA_HOME=/usr/local/jvm/jdk1.7.0_75
ALLUXIO_HOME=/data1/alluxio-1.4.0
ALLUXIO_RAM_FOLDER=/data1/alluxio-1.4.0/ramdisk
ALLUXIO_UNDERFS_ADDRESS=/data1/alluxio-data
ALLUXIO_WORKER_MEMORY_SIZE=1000MB
ALLUXIO_JAVA_OPTS="-Dalluxio.zookeeper.enabled=true -Dalluxio.zookeeper.address=192.168.101.72:2181,192.168.101.73:2181,192.168.101.74:2181 -Dalluxio.master.journal.folder=hdfs://liangbeta/user/hadoop/alluxio/journal"

-2. 在alluxio-site.properties 中也添加zookeeper的信息，并附上hdfs的路徑

# cat alluxio-site.properties 
alluxio.worker.tieredstore.levels=2
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.path=/mnt/ramdisk
alluxio.worker.tieredstore.level0.dirs.quota=1GB
alluxio.worker.tieredstore.level0.watermark.high.ratio=0.9
alluxio.worker.tieredstore.level0.watermark.low.ratio=0.7
alluxio.worker.tieredstore.level1.alias=HDD
alluxio.worker.tieredstore.level1.dirs.path=/data1/alluxio-data
alluxio.worker.tieredstore.level1.dirs.quota=500GB
alluxio.worker.tieredstore.level1.watermark.high.ratio=0.9
alluxio.worker.tieredstore.level1.watermark.low.ratio=0.7
~HA相關設置~
alluxio.zookeeper.enabled=true
alluxio.zookeeper.address=192.168.101.72:2181,192.168.101.73:2181,192.168.101.74:2181
alluxio.master.journal.folder=hdfs://liangbeta/user/hadoop/alluxio/journal
alluxio.worker.block.heartbeat.timeout.ms=300000
~~~

-3. 配置文件中，涉及到hdfs的目錄，需要創建一下

su - hdfs
hdfs dfs -mkdir -p /user/hadoop/alluxio/journal
hdfs dfs -chown alluxio:hadoop /user/hadoop/alluxio
hdfs://liangbeta/user/hadoop/alluxio/journal

-4. 設置一下/etc/profile

export JAVA_HOME=/usr/local/jvm/jdk1.7.0_75
export HADOOP_HOME=/usr/local/hadoop/hadoop-release
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-release/etc/hadoop
export ALLUXIO_HOME=/data1/alluxio-1.4.0
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ALLUXIO_HOME/bin:$PATH

-5. 需要把hadoop的 core-site.xml和hdfs-site.xml需要拷貝到alluxio conf下

-# ls  /data1/alluxio-1.4.0/conf
alluxio-env.sh       alluxio-site.properties       core-site.xml        hdfs-site.xml     log4j.properties  workers

-6. 對于新搭建的集群，需要對master和worker進行format才能啟動服務。
格式化master

Format Master
alluxio format

格式化worker

Format Worker
alluxio formatWorker

-7. 給Worker機器加上起Worker服務的用戶的免密sudo權限, 不然在啟動worker的時候需要輸入alluxio的密碼
在/etc/sudoers中添加如下內容

<user_name> ALL=(ALL)       NOPASSWD: ALL
實際設置如下：
alluxio     ALL=(ALL)       NOPASSWD: ALL

-8. 這里要特別強調，由于安全需求，大數據環境，都是通過kerberos進行認證的，需要在KDC上創建alluxio用戶，并生成keytab，拷貝到alluxio服務器上，創建定時任務，進行kinit

$ id
uid=1100(alluxio) gid=1091(hadoop) groups=1091(hadoop)
$ crontab -l
0 * * * *  kinit -kt /etc/security/keytab/alluxio.keytab alluxio

$ klist
Ticket cache: FILE:/tmp/krb5cc_1100
Default principal: alluxio@LIANG.COM

Valid starting     Expires            Service principal
12/26/17 18:00:01  12/27/17 18:00:01  krbtgt/LIANG.COM@LIANG.COM
        renew until 12/26/17 18:00:01

-9. 啟動Master
sh alluxio-start.sh master

-10. 啟動Worker
sh alluxio-start.sh worker

-11. 啟動關閉Proxy
Alluxio proxy進程可以向外提供REST接口，可以在master節點和worker節點上啟動。
目前我們在master節點和worker節點上都啟動了proxy進程。
sh alluxio-start.sh proxy

-12. 啟動之后，可以通過網頁查詢

-13. worker信息頁面

-14. 創建的目錄，在Browse頁，可以看到

-15. 創建一個/user/test目錄

$ alluxio fs mkdir /user/test
Successfully created directory /user/test 

-16. Alluxio命令匯總
啟動關閉Master

sh alluxio-start.sh master
sh alluxio-stop.sh master

啟動關閉Worker

sh alluxio-start.sh worker
sh alluxio-stop.sh worker

啟動關閉Proxy

sh alluxio-start.sh proxy
sh alluxio-stop.sh proxy

-17. 新建目錄及授權方法
檢查啟動alluxio的用戶

ps -ef|grep alluxio
切換到用戶
su - alluxio
創建用戶
alluxio fs mkdir <path>
為用戶賦權
alluxio fs chown <user> <path>

Updated on 2018-4-3
需要注意的是，在worker的配置上，需要配置alluxio-site.properties文件，設置alluxio的訪問層級，不然，默認只是使用memory，不會使用SSD或者磁盤

cat alluxio-site.properties
alluxio.worker.tieredstore.levels=2
alluxio.worker.tieredstore.level0.alias=MEM
alluxio.worker.tieredstore.level0.dirs.path=/data1/alluxio-ramdisk
alluxio.worker.tieredstore.level0.dirs.quota=20GB
alluxio.worker.tieredstore.level0.watermark.high.ratio=0.9
alluxio.worker.tieredstore.level0.watermark.low.ratio=0.7
alluxio.worker.tieredstore.level1.alias=SSD
alluxio.worker.tieredstore.level1.dirs.path=/data1/alluxio-data
alluxio.worker.tieredstore.level1.dirs.quota=450GB
alluxio.worker.tieredstore.level1.watermark.high.ratio=0.9
alluxio.worker.tieredstore.level1.watermark.low.ratio=0.7

-# User properties
-# alluxio.user.file.readtype.default=CACHE_PROMOTE
-# alluxio.user.file.writetype.default=MUST_CACHE

-# HA
alluxio.zookeeper.enabled=true
alluxio.zookeeper.address=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181

alluxio.master.journal.folder=hdfs://lialng/user/alluxio/journal
alluxio.worker.block.heartbeat.timeout.ms=300000

存儲層級問題，參考鏈接：
https://blog.csdn.net/lipeng_bigdata/article/details/50948184