一次完整的大資料環境搭建——Hadoop安裝
摘要：
所用軟體 版本號
hadoop hadoop-2.7.3.tar.gz
（1） 建立對應工作目錄/usr/hadoop並解壓 hadoop 到相應目錄：
m...
所用軟體 版本號
hadoop hadoop-2.7.3.tar.gz
（1） 建立對應工作目錄/usr/hadoop並解壓 hadoop 到相應目錄：
mkdir -p/usr/hadoop tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/
（2）配置環境變數：
vim /etc/profile expor tHADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/bin（當然具體的工作路徑視情況而定）
使用命令使 profile 生效：
source /etc/profile
（3）編輯 hadoop 環境配置檔案hadoop-env.sh
圖1 hadoop-env.sh檔案位置
exportJAVA_HOME=/usr/java/jdk1.8.0_171
（4）編輯core-site.xml檔案
<configuration><property> <name>fs.default.name</name> <value>hdfs://master:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value><description>A base for other temporarydirectories.</description></property><property> <name>io.file.buffer.size</name> <value>131072</value></property><property> <name>fs.checkpoint.period</name> <value>60</value></property><property> <name>fs.checkpoint.size</name> <value>67108864</value></property></configuration>
（5）編輯yarn-site.xml檔案
<configuration><property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!-- Site specific YARNconfiguration properties --> </configuration>
（6）編寫 slaves 檔案
圖2 slaves檔案內容
（7）編寫master 檔案
圖3 master檔案內容
（8）hdfs-site.xml
<configuration><property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> <final>true</final></property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property></configuration>
（9）修改mapred-site.xml，首先將模板檔案複製為 xml 檔案，對其進行編輯：
cpmapred-site.xml.template mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
（10）分發 hadoop：
scp -r /usr/hadoop root@slave1:/usr/ scp -r /usr/hadoop root@slave2:/usr/
注意：slave各個 節點上還需要配置環境變數，參考 hadoop 中第（2）。
Vi /etc/profile export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib exportPATH=$PATH:$HADOOP_HOME/bin source /etc/profile
（11）master 中格式化hadoop（注意在Hadoop路徑下，本文也就是 /usr/hadoop/hadoop-2.7.3）
hadoop namenode -format sbin/start-all.sh（可以遠端啟動子節點的Hadoop，子節點可以不用任何操作）
（12）各個節點的程序如下：（slave子節點的程序都一樣）
圖4 slave節點的程序
圖5 master節點程序
（13）同時可以訪問主節點 master：50070（注意關閉防火牆哦！50070 是 hdfs 的 web 管理頁面）
圖6 hdfs的web管理介面
一次完整的大資料環境搭建目錄：
ofollow,noindex">一、zookeeper安裝及配置
說明：此係列文章是為了記錄本人學習過程，以此來加深理解，希望各位大神路過！！！