Hadoop2.6.0和Spark1.3.1怎么添加LZO壓縮支持

本篇內容主要講解“Hadoop2.6.0和Spark1.3.1怎么添加LZO壓縮支持”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Hadoop2.6.0和Spark1.3.1怎么添加LZO壓縮支持”吧!

?    因為MR在計算過程會產生大量的磁盤和網絡的IO，故如果能對MR的中間結果進行壓縮，勢必能夠進一步提升MR的計算性能。而LZO作為一種壓縮算法，在具有較高的壓縮比例和較好的壓縮速度的同時，也允許壓縮數據進行block分片。所以現行的集群多采用LZO算法進行壓縮。

    本文主要針對Hadoop2.6.0，介紹下添加LZO支持所需要的四個步驟：

1. 安裝LZO

• 在http://www.oberhumer.com/，下載LZO的tar包lzo-2.09.tar.gz

• 解壓tar包

• 安裝LZO

• export CFLAGS=-64m

• ./configure --enable-shared --prefix=/usr/local/lzo/lzo-2.09

• make

• sudo make install

• 安裝Hadoop-LZO

• 將/usr/local/lzo包下所有數據，同步到集群其它所有節點

2. 安裝Hadoop-LZO

• git clone https://github.com/twitter/hadoop-lzo.git

• 修改pom文件，將hadoop.current.version從2.4.0修改為2.6.0

• 安裝Hadoop-LZO

• export CFLAGS=-64m

• export CXXFLAGS=-64m

• export C_INCLUDE_PATH=/usr/local/lzo/lzo-2.09/include

• export LIBRARY_PATH=/usr/local/lzo/lzo-2.09/lib

• mvn clean package -Dmaven.test.skip=true

• cd target/native/Linux-amd64-64

• tar -cBf - -C lib . | tar -xBvf - -C ~

• 將~目錄下生成的libgplcompression.*拷貝到集群各個節點的$HADOOP_HOME/lib/native目錄下

• 將target目錄下生成的hadoop-lzo-0.4.20-SNAPSHOT.jar拷貝到集群各個節點的$HADOOP_HOME/share/hadoop/common目錄下
  

3. Hadoop配置文件修改

• 在hadoop-env.sh中，添加

export LD_LIBRARY_PATH=/usr/local/lzo/lzo-2.09/lib

• 在core-site.xml中，添加

<property>
	<name>io.compression.codecs</name>
	<value>org.apache.hadoop.io.compress.GzipCodec,
	       org.apache.hadoop.io.compress.DefaultCodec,
	       com.hadoop.compression.lzo.LzoCodec,
	       com.hadoop.compression.lzo.LzopCodec,
	       org.apache.hadoop.io.compress.BZip2Codec
        </value>
</property>

<property>
	<name>io.compression.codec.lzo.class</name>
	<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

• 在mapred-site.xml中，添加

<property>
	<name>mapred.compress.map.output</name>
	<value>true</value>
</property>

<property>
	<name>mapred.map.output.compression.codec</name>
	<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

<property>
	<name>mapred.child.env</name>
	<value>LD_LIBRARY_PATH=/usr/local/lzo/lzo-2.09/lib</value>
</property>

• 重新啟動集群后，即可使用LZO進行數據的壓縮操作

4. Sparkp配置文件修改

• 在spark-env.sh中，添加如下配置即可

export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/data/hadoop-2.6.0/lib/native
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/data/hadoop-2.6.0/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar

到此，相信大家對“Hadoop2.6.0和Spark1.3.1怎么添加LZO壓縮支持”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！