1. 程式人生 > >hadoop2.6.1原始碼編譯

hadoop2.6.1原始碼編譯

編譯步驟:
首先需要在虛擬機器進行下面軟體的安裝

1、安裝jdk 配置環境變數

2、安裝maven 配置環境變數

解壓   tar -zxvf apache-maven-3.3.3-bin.tar.gz  到  /usr/soft 配置maven環境變數
$ sudo sudo vim /etc/profile
export MAVEN_HOME=/usr/soft/apache-maven-3.3.3
export PATH=.:$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin
$ source/etc/profile
 mvn -version  檢驗是否安裝成功;

3、安裝依賴庫

sudo apt-get install g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

4、安裝protobuf

之前我使用的是2.4.1版本 報錯了。改為2.5.0
 解壓   tar -zxvf protobuf-2.5.0.tar.gz  到  /usr/soft
$ cd  /usr/soft/protobuf-2.5.0
$ ./configure --prefix=/usr/soft/protobuf-2.5.0
$ make
$ make install
輸入  protoc --version 驗證是否成功,
出現 libprotoc 2.5.0證明成功!

5、編譯hadoop

先把原始碼拷貝到 linux上,hadoop版本下載地址: 我使用的是2.6.1版本,進入原始碼目錄 我的是  /home/lin 解壓原始碼:
$ tar -zxvf hadoop-2.6.1-src.tar.gz
進入原始碼目錄執行
$ cd hadoop-2.6.1-src
$ mvn clean package -Pdist,native -DskipTests -Dtar 
等待結果......經過漫長的等待。如果看到如下結果證明編譯成功!

5、檢視編譯後的檔案

進入目錄:
$ cd 
/hadoop/hadoop-2.6.1-src/hadoop-dist/target/hadoop-2.6.1/lib/native
$ file*

編譯成功!

相關推薦

hadoop2.6.1原始碼編譯

編譯步驟: 首先需要在虛擬機器進行下面軟體的安裝 1、安裝jdk 配置環境變數 2、安裝maven 配置環境變數 解壓   tar -zxvf apache-ma

Hadoop2.7.1+Hbase1.2.1叢集環境搭建(1)hadoop2.7.1原始碼編譯

        官網目前提供的下載包為32位系統的安裝包,在linux 64位系統下安裝後會一直提示錯誤“WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-j

編譯spark1.6.1原始碼

正常的情況下從spark官方網站下載的發行包已經可以滿足正常使用(預設支援了hive),但如果要編譯相應cdh版本的hadoop或者把ganglia打包進來等,那就要重新指定編譯引數來重新編譯原始碼了。建議最好在linux環境下進行編譯。 原始碼下載

MAC OS 下protobuf 2.6.1 版本編譯安裝及proto型別檔案編譯

由於工程中proto語法採用的是2.0的,所以選擇安裝2.6.1版本的protobuf。(3.0和2.0語法不同,如果安裝3.0以上版本的protobuf,在編譯的時候應該需要增加啥~~~) 編譯安裝步驟: 1. 安裝 protobuf 依賴項, 其依賴於autoconf、 a

hadoop2.6.0原始碼剖析-客戶端(第二部分--讀(open)HDFS檔案)

在讀HDFS檔案前,需要先open該檔案,這個呼叫的是org.apache.hadoop.fs.FileSystem類物件,但是由於實際建立的物件是org.apache.hadoop.hdfs.DistributedFileSystem類物件,後者是前者的子類,所以呼叫父類中的FSDataInput

hadoop2.6.0原始碼剖析-客戶端(第二部分--DFSClient)下(HA代理)

我們繼續進入到org.apache.hadoop.hdfs.NameNodeProxies的函式 public static <T> ProxyAndInfo<T> createProxy(Configuration conf,URI nameNodeUri, Class

hadoop2.6.0原始碼剖析-客戶端(第二部分--DFSClient)上(非HA代理)

我們講解完了DistributedFileSystem,隨著程式碼我們來到了DFSClient建構函式中,該函式程式碼如下: /**     * Create a new DFSClient connected to the given nameNodeUri or

hadoop2.6.0原始碼剖析-客戶端(第二部分--DistributedFileSystem)

DistributedFileSystem這個類在包package org.apache.hadoop.hdfs中,為使用者開發基於HDFS的應用程式提供了API,這個類有幾個成員變數: private Path workingDir; private URI uri; private Stri

hadoop2.6.0原始碼剖析-客戶端(第二部分--Configuration)

我們來講講Configuration類,從名字可以看出,這個類跟配置檔案有關,它的繼承關係如下: 這個類比較大,我們先從一個點切入,後面有需要會追加其他部分,我們的切入點是getDefaultUri函式,但如下: public static URI getDefaultUri(Conf

hadoop2.6.0原始碼剖析-客戶端(第二部分--讀(read)HDFS檔案)

上篇文章我們分析了open函式,這個函式會獲取要開啟檔案的塊資訊,接下來我們開始分析讀檔案部分的程式碼。 我們先來看一個示例,程式碼如下: package com.hadoop.senior.hdfs; import java.io.File; import java.io.FileIn

超簡單!!centos 6離線原始碼編譯安裝升級gcc、binutils、automake、autoconf

centos 6系列的Linux發行版,是非常成功(具足UNIX精神)的發行版,可能大家都已經用得非常習慣了。 但問題是,其核心及附帶的工具軟體,版本卻都非常老了。 centos 7上的軟體版本雖然比較新,但centos 7設計風格的突變(主要是引入了很不符合UNIX精神的systemd),可能在業

Windows下Qt5.9.1原始碼編譯

(預設 PREFIX/demos); 14】-buildkey : 通過指定的key生成QT庫和外掛; 15】-release :此選項在編譯過程QT會對程式進行優化,在釋出軟體的時候應該用此選項,是預設選項; 16】-debug :加上此選項編譯程式QT不會做出優化,往往在開發過程使用此選項; 17】-

ambari2.6.2原始碼編譯

mvn versions:set -DnewVersion=2.6.2.0.0 pushd ambari-metrics mvn versions:set -DnewVersion=2.6.2.0.0 popd mvn -B clean install rpm:rpm -DnewVersion

Android 5.1原始碼編譯環境搭建

      根據官方及網路上的教程,成功搭建了Android 5.1原始碼的編譯環境併成功編譯。過程如下: 一: 使用虛擬機器,安裝ubuntu。 ubuntu-14.04.5-desktop-amd

Android實戰技巧之四十:Android5.1.1原始碼編譯與燒寫

購買Nexus手機的朋友大多是為了自己修改系統玩,再加上其較高的價效比,在開發者中還是廣受歡迎的。我的5太子被我升級到了6.0預覽版,玩的正嗨,捨不得換回到5.1時代了。不過鑑於距6.0原始碼釋出還有段日子,5.1的原始碼編譯與燒寫仍是主流,下面就記錄了整個過程

Ogre 1.8.1原始碼編譯和錯誤修改

寫在一邊,最好不要略過的話。 這篇blog是按照編譯–>出錯–>解決錯誤–>再編譯 的方式寫的。 我認為這種逐步改錯的過程有助於學習和理解,所以這樣寫的。 最節約時間的方法,就是先全部看完,解決所有的錯誤,然後編譯,一次成功。 一、編譯生成Ogre

Android原始碼編譯——RK3128開發板基於Android5.1原始碼編譯小記

前言: 本次小記主要分為三段。前兩段相當於對原始碼編譯的一個回顧。本次小記主要第三段,記下了編譯中出現的幾個問題,以便日後需要。 1、編譯時編譯執行緒過多。導致編譯失敗。 2、編譯image沒問題打包OTA時出現錯誤。 一、編譯環境 1、硬體環境:(以

MySQL5.6.12原始碼編譯安裝詳細過程

本人轉自:http://blog.csdn.net/mchdba/article/details/35994251 1 下載安裝包download tar.gz wget http://download.csdn.net/detail/mchdba/7545037​ ps:

flowable-engine6.3.1原始碼編譯

最近專案要整合流程引擎,專案本身使用的是springboot,網上搜索鋪天蓋地的是Activiti和Flowable。兩者區別大家自行百度。最後選擇的是Flowable的最新版本6.3.1。 1、下載原始碼 2、解壓 將原始碼的zip包解壓後方到指定的目錄,修改目錄

Android 7.1 原始碼編譯

一、下載原始碼 需要curl和git,沒有需要裝一下 sudo apt-get install curl sudo apt-get install git git需要配置使用者名稱和郵箱 git config --global user.name