Ubuntu16.04如何安裝Hadoop2.6.0(單機偽分佈方式)
阿新 • • 發佈：2019-01-05
一、首先安裝JDK，安裝方法請檢視本人之前的部落格。
二、然後是設定SSH無密碼登陸
第一步 安裝SSH
執行命令：
sudo apt-get install ssh過程中需要輸入“Y”。
第二步 安裝rsync
執行命令：
sudo apt-get install rsync第三步 產生SSH Key
執行命令：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa第四步 檢視產生的SSH Key
執行命令：
ll ~/.ssh
第五步 將產生的Key放置到許可證檔案中
執行命令：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
三、安裝Hadoop
第一步 在官網上下載hadoop2.6.0
第二步 解壓壓縮包
執行命令：
sudo tar -zxvf hadoop-2.6.0.tar.gz並移動解壓後的檔案
執行命令：
sudo mv hadoop-2.6.0 /usr/local/hadoop第三步 設定hadoop環境變數
執行命令：
sudo gedit ~/.bashrc在開啟的文件最後加上以下內容：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
儲存後退出
執行命令：
source ~/.bashrc使修改生效。
第四步 修改hadoop配置設定檔案
1、修改hadoop-env.sh
執行命令：
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh輸入下列內容：
2、修改core-site.xml
執行命令：
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml輸入下列內容：
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
3、修改yarn-site.xml
執行命令：
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml輸入下列內容：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>4、修改mapred-site.xml
執行命令：
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml輸入下列內容：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>5、修改hdfs-site.xml
執行命令：
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml輸入下列內容：
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>第五步 建立與格式化HDFS 目錄
建立namenode和datanode資料儲存目錄
執行命令：
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown hduser:hduser -R /usr/local/hadoop格式化namenode
執行命令：
hadoop namenode -format
第六步 啟動hadoop
執行命令：
start-all.sh第一次執行時中間需要輸入兩次“yes”
第七步 檢視結果
執行命令：jps
PS：另外，可通過ubuntu系統的瀏覽器
開啟Hadoop ResourceManager Web介面
http://localhost:8088/
可用於檢視當前Hadoop的狀態：Node節點、應用程式、程序執行狀態
NameNode HDFS Web介面
http://localhost:50070/
可用於檢查當前HDFS與DataNode的執行情況