在使用hive或者是kylin時，可以選擇文件的壓縮格式，但是這個需要有hadoop native庫的支持，默認情況下，hadoop官方發布的二進制包中是不包含native庫的，所以無法使用一些壓縮相關的算法。本例中選擇自己手動編譯hadoop源碼，並將native文件部署到hadoop安裝目錄/lib目錄下。

1. 環境準備

a) 安裝JDK(1.7以上版本),本例中安裝jdk1.8
b) 安裝maven(3.0以上版本)，參見本人博文
c) yum install -y CMake openssl-devel ncurses-devel gcc gcc-c++ #cmake必須是2.6以上版本

d) 安裝findbugs

2. 安裝JDK1.8

詳情請參見本人博文

3. 安裝依賴包

yum install -y CMake openssl-devel ncurses-devel gcc gcc-c++

4. 安裝protobuf-2.5.0

下載protobuf-2.5.0

mkdir  -p /home/workspace/software
wget https://github-production-release-asset-2e65be.s3.amazonaws.com/23357588/09f5cfca-d24e-11e4-9840-20d894b9ee09?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20190206%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20190206T094303Z&X-Amz-Expires=300&X-Amz-Signature=566da401f7f657ebf24ce768f0f2000ab1ab2d6815d9b6c289bb70335b119602&X-Amz-SignedHeaders=host&actor_id=30103731&response-content-disposition=attachment%3B filename%3Dprotobuf-2.5.0.tar.gz&response-content-type=application%2Foctet-stream
 
tar -xzvf protobuf-2.5.0.tar.gz    #解壓protobuf2.5.0
cd protobug-2.5.0                  #進入protobuf源碼目錄
mkdir installed       

編譯protobuf-2.5.0源碼

./configure --prefix=/home/workspace/software/protobuf-2.5.0/installed     #make install之後的二進制文件安裝的目錄通過--prefix指定
make                                                                       #編譯protobuf-2.5
 
.0源碼
make install                                                               #安裝編譯好的文件到/home/workspace/software/protobuf-2.5.0/installed

配置protobuf環境變量

vim /etc/profile

文件末尾添加

export PROTOBUF_HOME=/home/workspace/software/protobuf-2.5.0/installed
export PATH=$PROTOBUF_HOME/bin/:$PATH

保存退出，並執行 source /etc/profile使環境變量配置生效

5. 安裝findbugs-3.0.1

cd /home/workspace/software
wget https://nchc.dl.sourceforge.net/project/findbugs/findbugs/3.0.1/findbugs-3.0.1.tar.gz
tar -xzvf findbugs-3.0.1.tar.gz
cd findbugs-3.0.1

配置環境變量

vim /etc/profile

在文件末尾添加

export FINDBUGS_HOME=/home/workspace/softwares/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin

保存退出，並使更改生效。
查看安裝結果

findbugs -version

6. 編譯hadoop2.7.3

下載hadoop2.7.3

cd /home/workspace/software
wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3-src.tar.gz
tar -xzvf hadoop-2.7.3-src.tar.gz
cd hadoop-2.7.3-src

編譯hadoop2.7.3

mvn clean package -DskipTests -Pdist,native -Dtar

編譯將會持續一段時間，取決於maven倉庫的速度，大概需要半小時以上

編譯好的文件路徑為:/home/workspace/software/hadoop-2.7.3-src/hadoop-dist/target/hadoop-2.7.3.tar.gz

7. 替換原來的native包

rm -rf $HADOOP_HOME/lib/native
cp  -r /home/workspace/software/hadoop-2.7.3-src/hadoop-dist/target/  $HADOOP_HOME/lib

CentOS7.3編譯hadoop2.7.3源碼