hadoop使用lzo壓縮檔案筆記
LZO效能
編譯LZO
下載：
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
安裝：
tar -zxf lzo-2.06.tar.gz
cd lzo-2.06
./configure --enable-shared
make
make install
安裝ant並配置環境變數，這裡略過
vi /etc/profile
PATH=/usr/local/ant/bin/:$PATH
source /etc/profile
編譯hadoop lzo jar
下載原始碼
https://github.com/kevinweil/hadoop-lzo
解壓縮、進入專案目錄
略...
編譯
# 32位OS
export JAVA_HOME=/path/to/32bit/jdk
export CFLAGS=-m32
export CXXFLAGS=-m32
ant compile-native tar
# 64位OS
export JAVA_HOME=/path/to/64bit/jdk
export CFLAGS=-m64
export CXXFLAGS=-m64
ant compile-native tar
成功編譯後，開啟build資料夾，hadoop-lzo*.jar就躺在裡面。
編譯LZOP
簡介：這個東西是使用lzo庫寫的一個程式，用它可以壓縮、解壓縮檔案。
下載
http://www.lzop.org/
http://www.lzop.org/download/lzop-1.03.tar.gz
解壓縮、進入專案目錄（略過）
編譯
cp /usr/local/lib/*lzo* /usr/lib64/
./configure && make && make install
PS：我在64bit機器上編譯發現找不到 lzo 的庫，執行下面命令後再編譯就OK了。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib/
try lzop
# 壓縮檔案
lzop 20110915.log #生成lzop 20110915.log.lzo檔案
# 解壓，並輸出檔案內容
lzop -cd pv.txt.lzo |more
配置Hadoop
Xml程式碼
- cp hadoop-lzo-0.4.13.jar $HADOOP_HOME/lib/
- sudo cp /usr/local/lib/*lzo* /usr/lib64/
- # 如果之前使用過google code的lzo包，要刪除
- rm -f hadoop-gpl-compression-0.1.0-dev.jar
- > core-site.xml
- <property>
- <name>io.compression.codecs</name>
- <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCode
- c</value>
- </property>
- <property>
- <name>io.compression.codec.lzo.class</name>
- <value>com.hadoop.compression.lzo.LzoCodec</value>
- </property>
設定JAVA_LIBRARY_PATH，這裡配置非常容易重要，易出錯
為了讓JNI找到庫檔案需要配置JAVA_LIBRARY_PATH，我自己的方法是：
cp kevinweil-hadoop-lzo-3d19b14/build /opt/hadoop/如果存在$HADOOP_HOME/build/native資料夾，hadoop命令會自動新增“${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib” 到$JAVA_LIBRARY_PATH中，這樣做非常省事。
#單機執行生成lzo index檔案hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jar com.hadoop.compression.lzo.LzoIndexer /pub/cc/20110616/18.log.lzo
#Mapreduce生成lzo index檔案
hadoop jar /opt/hadoop/lib/hadoop-lzo-*.jar com.hadoop.compression.lzo.DistributedLzoIndexer /pub/cc/20110616/18.log.lzo Xml程式碼
- // mapreduce job使用lzo檔案作為輸入檔案
- job.setInputFormatClass(LzoTextInputFormat.class);
-- 配置結束 --
PS: 下面是網上的配置JAVA_LIBRARY_PATH的方法，是不是我的方法更簡單？哈哈~
Xml程式碼
- #copy native檔案到hadoop目錄
- tar -cBf - -C ./build/native . | tar -xBvf - -C /opt/hadoop-0.20.2-cdh3u1/lib/native
- > vi mapred-site.xml
- <property>
- <name>mapred.child.env</name>
- <value>JAVA_LIBRARY_PATH=/opt/hadoop/build/native/Linux-amd64-64</value>
- </property>
PS. 如果上述方式設定的JAVA_LIBRARY_PATH沒有生效（通過“ps -ef | grep tasktracker”檢視），可能需要通過bin/hadoop設定JAVA_LIBRARY_PATH。
Q & A：
Q：java.lang.RuntimeException: native-lzo library not available
A：原因一：sudo cp /usr/local/lib/*lzo* /usr/lib64/；
原因二：%$HADOOP_HOME/lib下有hadoop-gpl-compression-0.1.0-dev.jar，刪除它
原因三：JAVA_LIBRARY_PATH配置錯誤。JNI通過這個環境變數查詢庫檔案，通ps -ef | grep tasktracker，檢視lzo的lib檔案是否在這個環境變數中，要指向 native/Linux-amd64-64/lib檔案，而不是 native/Linux-amd64-64資料夾。通過修改$HADOOP_HOME/bin/hadoop可以修改這個環境變數
Q：lzo檔案是不是生成索引之後才支援自動分片？
A：是的，如果不生成index則lzo檔案會被作為一個input split處理。
Q: 使用客戶端提交job時，報如下錯誤：
java.io.IOException: Codec for file hdfs://BGP-BJ-2-5N1:9000/pub/tencent/20110616/18.log.lzo not found, cannot run
at com.hadoop.mapreduce.LzoLineRecordReader.initialize(LzoLineRecordReader.java:97)
at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.initialize(MapTask.java:451)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:646)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:323)
at org.apache.hadoop.mapred.Child$4.run(Child.java:270)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127)
at org.apache.hadoop.mapred.Child.main(Child.java:264)
A：在程式碼中，或者配置檔案中新增下面配置：
conf.set("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,com.hadoop.compression.lzo.LzopCodec");conf.set("io.compression.codec.lzo.class", "com.hadoop.compression.lzo.LzoCodec");
參考文章：
-- end --