1. 程式人生 > >程式設計字典-詳細的大資料Hadoop環境設定

程式設計字典-詳細的大資料Hadoop環境設定

Hadoop受GNU / Linux平臺及其風格的支援。因此,我們必須安裝一個Linux作業系統來設定Hadoop環境。如果您的作業系統不是Linux,您可以在其中安裝Virtualbox軟體,並在Virtualbox中安裝Linux。

預安裝安裝程式
在將Hadoop安裝到Linux環境中之前,我們需要使用ssh(Secure Shell)設定Linux。按照下面給出的步驟設定Linux環境。

建立一個使用者
在開始時,建議為Hadoop建立一個單獨的使用者,以將Hadoop檔案系統與Unix檔案系統隔離。按照以下步驟建立使用者:

使用命令“su”開啟根目錄。
使用命令“useradd username”從root帳戶建立一個使用者。
現在您可以使用命令“su username”開啟現有的使用者帳戶。
開啟Linux終端並鍵入以下命令來建立使用者。

$ su
   password:
# useradd hadoop
# passwd hadoop
   New passwd:
   Retype new passwd

SSH設定和金鑰生成
SSH需要在叢集上執行不同的操作,例如啟動,停止,分散式守護程序shell操作。要驗證Hadoop的不同使用者,需要為Hadoop使用者提供公鑰/私鑰對,並與不同的使用者共享。

以下命令用於使用SSH生成鍵值對。將公鑰從id_rsa.pub複製到authorized_keys,併為owner分別提供對authorized_keys檔案的讀寫許可權。

$ ssh-keygen -t rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

安裝Java
Java是Hadoop的主要先決條件。首先,您應該使用命令“java -version”來驗證系統中是否存在java。java version命令的語法如下所示。

$ java -version

如果一切順利,它會給你以下輸出。

java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

如果你的系統中沒有安裝java,那麼按照下面給出的步驟來安裝java。

然後將jdk-7u71-linux-x64.tar.gz下載到您的系統中。

第2步
通常,您會在Downloads資料夾中找到下載的java檔案。驗證它並使用以下命令提取jdk-7u71-linux-x64.gz檔案。

$ cd Downloads/
$ ls
jdk-7u71-linux-x64.gz
$ tar zxf jdk-7u71-linux-x64.gz
$ ls
jdk1.7.0_71   jdk-7u71-linux-x64.gz

第3步
要使所有使用者都可以使用Java,必須將其移動到“/ usr / local /”位置。開啟root並鍵入以下命令。

$ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

步驟4
要設定PATH和JAVA_HOME變數,請將以下命令新增到〜/ .bashrc檔案中。

export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=$PATH:$JAVA_HOME/bin

現在將所有更改應用到當前正在執行的系統中。

$ source ~/.bashrc

第5步
使用以下命令配置java選項:

# alternatives --install /usr/bin/java java usr/local/java/bin/java 2

# alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2

# alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2

# alternatives --set java usr/local/java/bin/java

# alternatives --set javac usr/local/java/bin/javac

# alternatives --set jar usr/local/java/bin/jar

現在如上所述從終端驗證java -version命令。