VMware 虛擬機器 +安裝linux +搭建Hadoop
2、接著下載linux套件,比如說unbutu,穩定的版本推薦12.04
直接在官網下載即可,地址:
http://ubuntu-china.cn/download
找個符合自己的版本,先下載iso檔案到本地。
4、安裝好後開啟VMware,開始建立自己的虛擬機器。開啟VMware的後會出現主頁,點選建立虛擬機器。緊接著又是一套傻瓜式建立的過程,其中包括安裝的檔案位置和選擇本地映象檔案需要注意外,其餘的都按預設的就可以,建立時間比較慢,可以看個小說等它。具有教程參考如下連結:
http://jingyan.baidu.com/article/676629974f3ac454d51b8437.html
7、配置jdk
將jdk下載下來後,放到主資料夾下(複製貼上),ps:別說你找不到主資料夾!移動到usr/local資料夾下,
sudo cp jdk-7u45-linux-x64.tar.gz/usr/local
然後解壓,解壓命令如下:
sudo tar zxvf ./jdk-7u45-linux-x64.tar.gz
然後就看到usr/local 資料夾下有一個jdk的檔案夾了。
接下來就要配置環境變量了,開啟/etc/profile檔案。命令如下:
sudo gedit /etc/profile
新增變數如下:
export JAVA_HOME=/usr/local/jdk1.6.0 _30
export JRE_HOME=/usr/local/jdk1.6.0_30/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
儲存,退出。然後重新整理幾次,重啟虛擬機器。
檢查jdk是否安裝好:
java c;java -version;java
至此jdk就已經配置好了(如果輸入java -version有版本資訊的話)
8、配置SSH
首先確認電腦連上網了,然後輸入指令:
sudo apt-get install ssh
配置為免密碼登陸本機,先檢視在使用者u下是否存在.ssh資料夾,指令為:
ls -a /home/u
如果沒有,手動建立一個。
接下來設定祕鑰為空。輸入指令:
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa
把公共祕鑰追加到授權的key裡面去,輸入指令
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
配置完成,檢查是否配置成功,輸入:
ssh -version
輸入:ssh localhost
會有相應的提示,說明配置成功
8、安裝Hadoop
到官網下載hadoop原始檔,這裡選擇hadoop 1.0.2
解壓並放到你希望的目錄中。我是放到/usr/local/hadoop
~$ sudo tar xzf hadoop-1.0.2.tar.gz
~$ sudo mv hadoop-1.0.2 /usr/local/hadoop
要確保所有的操作都是在使用者hadoop下完成的:
~$ sudo chown -R hadoop:hadoop /usr/local/hadoop
設定hadoop-env.sh(Java 安裝路徑)
進入hadoop目錄,開啟conf目錄下到hadoop-env.sh,新增以下資訊:
export JAVA_HOME=/usr/local/jdk1.6.0_30 (視你機器的java安裝路徑而定)
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
配置hadoop-1.0.2/conf/core-site.xml,命令列:
gedit /usr/local/hadoop/hadoop-1.0.2/conf/core-site.xml
在hadoop新建hadoop_tmp目錄,sudo mkdir ~/hadoop_tmp
並在core-site.xml進行如下修改:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/hadoop-1.0.2/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
配置hadoop-1.0.2/conf/mapre-site.xml,命令列:
gedit /usr/local/hadoop/hadoop-1.0.2/conf/mapre-site.xml.xml
作如下修改:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置hadoop-1.0.2/conf/hdfs-site.xml,命令列:
gedit /usr/local/hadoop/hadoop-1.0.2/conf/hdfs-site.xml
做如下修改:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
利用source指令讓更改立即生效。
例如:source hadoop-env.sh
至此hadoop的安裝配置已經完畢。還需要格式化hdfs檔案系統。
bin/hadoop namedode -format
9 啟動服務(一定要在Hadoop的目錄下!)
有時候啟動不了是因為Hadoop安裝目錄的資料夾使用者許可權不夠。解除許可權就可以了:
sudo chown -R user:user hadoop1.2.1
格式是:sudo chown -R 使用者名稱@使用者組 目錄名
然後再啟動:
/bin/start-all.sh
啟動完成後,檢驗一下。
輸入jps
若不計jps,有五個hadoop相關執行緒,恭喜你,hadoop安裝配置成功,執行正常。
開啟瀏覽器驗證:
http://localhost:50030
http://localhost:50070
可以檢視Hadoop的工作情況。
退出:
bin/stop-all.sh
注意:這個是單機模式下的分散式,也就是偽分散式。
完全分散式的參考:
http://www.weixuehao.com/archives/577