1. 程式人生 > >VMware 虛擬機器 +安裝linux +搭建Hadoop

VMware 虛擬機器 +安裝linux +搭建Hadoop

2、接著下載linux套件,比如說unbutu,穩定的版本推薦12.04
直接在官網下載即可,地址:
http://ubuntu-china.cn/download
找個符合自己的版本,先下載iso檔案到本地。

4、安裝好後開啟VMware,開始建立自己的虛擬機器。開啟VMware的後會出現主頁,點選建立虛擬機器。緊接著又是一套傻瓜式建立的過程,其中包括安裝的檔案位置和選擇本地映象檔案需要注意外,其餘的都按預設的就可以,建立時間比較慢,可以看個小說等它。具有教程參考如下連結:
http://jingyan.baidu.com/article/676629974f3ac454d51b8437.html

7、配置jdk
將jdk下載下來後,放到主資料夾下(複製貼上),ps:別說你找不到主資料夾!移動到usr/local資料夾下,

sudo cp jdk-7u45-linux-x64.tar.gz/usr/local

然後解壓,解壓命令如下:

sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz

然後就看到usr/local 資料夾下有一個jdk的檔案夾了。
接下來就要配置環境變量了,開啟/etc/profile檔案。命令如下:

sudo gedit  /etc/profile

新增變數如下:

export JAVA_HOME=/usr/local/jdk1.6.0
_30 export JRE_HOME=/usr/local/jdk1.6.0_30/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH

儲存,退出。然後重新整理幾次,重啟虛擬機器。
檢查jdk是否安裝好:

java c;java -version;java

至此jdk就已經配置好了(如果輸入java -version有版本資訊的話)
8、配置SSH
首先確認電腦連上網了,然後輸入指令:

sudo apt-get install ssh

配置為免密碼登陸本機,先檢視在使用者u下是否存在.ssh資料夾,指令為:

ls -a /home/u

如果沒有,手動建立一個。
接下來設定祕鑰為空。輸入指令:

ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa

把公共祕鑰追加到授權的key裡面去,輸入指令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置完成,檢查是否配置成功,輸入:

ssh -version

輸入:ssh localhost會有相應的提示,說明配置成功

8、安裝Hadoop
到官網下載hadoop原始檔,這裡選擇hadoop 1.0.2
解壓並放到你希望的目錄中。我是放到/usr/local/hadoop

~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop

要確保所有的操作都是在使用者hadoop下完成的:

~$ sudo chown -R hadoop:hadoop /usr/local/hadoop

設定hadoop-env.sh(Java 安裝路徑)
進入hadoop目錄,開啟conf目錄下到hadoop-env.sh,新增以下資訊:

 export JAVA_HOME=/usr/local/jdk1.6.0_30  (視你機器的java安裝路徑而定)
 export HADOOP_HOME=/usr/local/hadoop
 export PATH=$PATH:/usr/local/hadoop/bin

配置hadoop-1.0.2/conf/core-site.xml,命令列:

gedit /usr/local/hadoop/hadoop-1.0.2/conf/core-site.xml

在hadoop新建hadoop_tmp目錄,sudo mkdir ~/hadoop_tmp並在core-site.xml進行如下修改:


<configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/usr/local/hadoop/hadoop-1.0.2/hadoop_tmp</value>
         <description>A base for other temporary directories.</description>
    </property>
</configuration>

配置hadoop-1.0.2/conf/mapre-site.xml,命令列:

gedit /usr/local/hadoop/hadoop-1.0.2/conf/mapre-site.xml.xml

作如下修改:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

配置hadoop-1.0.2/conf/hdfs-site.xml,命令列:

gedit /usr/local/hadoop/hadoop-1.0.2/conf/hdfs-site.xml

做如下修改:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>

利用source指令讓更改立即生效。
例如:source hadoop-env.sh
至此hadoop的安裝配置已經完畢。還需要格式化hdfs檔案系統。

bin/hadoop namedode -format

9 啟動服務(一定要在Hadoop的目錄下!)
有時候啟動不了是因為Hadoop安裝目錄的資料夾使用者許可權不夠。解除許可權就可以了:

sudo chown -R user:user hadoop1.2.1

格式是:sudo chown -R 使用者名稱@使用者組 目錄名

然後再啟動:

/bin/start-all.sh

啟動完成後,檢驗一下。
輸入jps 若不計jps,有五個hadoop相關執行緒,恭喜你,hadoop安裝配置成功,執行正常。
開啟瀏覽器驗證:

http://localhost:50030
http://localhost:50070

可以檢視Hadoop的工作情況。
退出:

bin/stop-all.sh

注意:這個是單機模式下的分散式,也就是偽分散式。

完全分散式的參考:

http://www.weixuehao.com/archives/577