友情推廣

hadoop

版本 2.7.3

下邊將一步一步的介紹在ubuntu系統中搭建hadoop環境。

• 建立免密碼登入使用者
• 安裝sun jdk
• 下載hadoop可執行包
• 修改hadoop配置檔案
• 啟動hadoop服務

建立免密碼登入的使用者

首先請先確保安裝ssh軟體，然後生成金鑰。

sudo adduser -ingroup hadoop hadoop
sudo adduser hadoop sudo
sudo apt-get install install ssh
su - hadoop
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub  >>~/.ssh/authorized_keys
 

接下來驗證ssh是否可以免密碼登入

 ssh localhost

成功登入，則繼續往下邊操作。

安裝sun jdk

如果你的機器上已經安裝了openjdk，請先解除安裝，如果沒有，請按照下面方法繼續操作。
在oracle官網上下載最新的jdk包，在這裡我選則的是jdk1.8.0_121，具體下載地址，請訪問 JAVA SEE 下載地址
將下載後的檔案解壓到/opt目錄中，然後配置環境變數

[email protected]:/opt/jdk1.8.0_121$ pwd
/opt/jdk1.8.0_121
[email protected]:/opt/jdk1.8.0_121$ 

修改~/.profile檔案內容，在末尾追加下面資訊：

export JAVA_HOME=/opt/jdk1.8.0_121
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

接著source一下該檔案，讓環境變數生效

source ~/.profile

下載hadoop可執行包

hadoop下載地址
請選擇binary包，這樣就不用自己去編譯hadoop，在這裡，我下載的是2.7.3 binary包。
將下載下來的包解壓到/opt目錄中，接著配置環境變數

export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

 

如上圖所示，解壓後的hadoop被放在/opt目錄中，將HADOOP_HOME目錄指向hadoop檔案所在路徑。

修改hadoop配置檔案

hadoop配置檔案在$HADOOP_HOME/etc/hadoop目錄中，下邊以最簡單的方式啟動hadoop，大部分引數沿用預設值。
1.修改core-site.xml

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/home/hadoop/tmp</value>
                <description>Abase for other temporary directories.</description>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

# The java implementation to use.
export JAVA_HOME=/opt/jdk1.8.0_121

3.修改hdfs-site.xml，使用單節點啟動hadoop。

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>file:/home/hadoop/tmp/dfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>file:/home/hadoop/tmp/dfs/data</value>
　　</property>
</configuration>

到此，配置檔案修改完成。再次source一下環境使用者配置資訊

source ~/.profile

啟動hadoop服務

1.初始化namenode，僅僅第一次安裝時使用，後邊再次啟動不需要執行。

hdfs namenode -format

2.啟動hadoop服務

cd $HADOOP_HOME/sbin
./start-all.sh

等待命令成功執行後，檢視jvm是否存在hadoop程序

[email protected]:/opt/hadoop-2.7.3/sbin$ jps
5632 ResourceManager
6448 NodeManager
3746 NameNode
4554 DataNode
12763 Jps
5467 SecondaryNameNode

向hdfs傳入檔案

hdfs dfs -put $HADOOP_HOME/sbin/start-all.sh /

檢視檔案是否傳入hdfs

hdfs dfs -ls /

如果能夠檢視到start-all.sh檔案，表明hadoop單節點版本已經搭建完成。如果要在生產環境中使用hadoop，複雜程度遠遠比這個多，所以，再次，僅供入門參考。不過話又說回來，複雜的的東西也是從簡單的東西竄起來的，打好基礎很重要。