如何理解CentOS7中安裝LZO壓縮程序

如何理解CentOS7中安裝LZO壓縮程序，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

一、準備工作：
yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool

二、安裝LZO
1、解壓編譯，并安裝
cd /opt/software
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gz
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install

2、復制文件
將/usr/local/hadoop/lzo/lib/* 復制到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/

3、修改配置環境變量(vi ~/.bash_profile)，增加如下內容：
export PATH=/usr/local/hadoop/lzo/:$PATH

三、安裝LZOP
1、下載并解壓
cd /opt/software
wget http://www.lzop.org/download/lzop-1.04.tar.gz
tar -zxvf lzop-1.04.tar.gz

2、在編譯前需要的環境變量(~/.bash_profile)中配置如下內容：
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注：如不配置變量，在編譯時會報：configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.

3、進入解壓后目錄，并編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make  && make install

4、將lzop復制到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop

5、測試lzop
輸入：lzop nohup.out
產生：lzo后綴的壓縮文件： /home/hadoop/data/access_20131219.log.lzo即表示成功
注：在測試中可能遇到報錯：lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
    解決辦法：增加環境變量(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64

四、安裝Hadoop-LZO
注：編譯時需要maven，自行配置好maven
1、下載介質：https://github.com/twitter/hadoop-lzo

2、解壓并編譯：
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true

3、編譯完成執行如下命令：
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh6.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/

如果為集群環境，則接下來就是將/app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh6.7.0/lib/native/同步到其它所有的hadoop節點。
注意，要保證目錄/app/hadoop-2.6.0-cdh6.7.0/lib/native/下的jar包，運行hadoop的用戶都有執行權限。

五、產生index文件
cd /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注：lzo文件必須在hdfs文件系統中。
至此完成CentOS7中安裝LZO壓縮程序

關于如何理解CentOS7中安裝LZO壓縮程序問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注億速云行業資訊頻道了解更多相關知識。