hadoop叢集環境搭建之偽分散式叢集環境搭建
阿新 • • 發佈：2018-12-14
搭建叢集的模式有三種
1.偽分散式：在一臺伺服器上，啟動多個執行緒分別代表多個角色(因為角色在叢集中使用程序表現的) 2.完全分散式：在多臺伺服器上，每臺伺服器啟動不同角色的程序，多臺伺服器構成叢集 node01:NameNode node02:SecondaryNameNode DataNode node03:DataNode node04:DataNode 3.高可用的完全分散式 node01:NameNode node02:SecondaryNameNode DataNode node03:DataNode NameNode node04:DataNode
這篇文章是對偽分散式叢集的搭建，採用的是centOS6.5版本的系統
1、Linux基本環境配置
1.1修改主機名
vim /etc/hosts
修改 HOSTNAME=node01
vim /etc/sysconfig/network
修改
127.0.0.1 localhost node01
::1 localhost node01
1.2Java環境的配置
因為Linux系統自帶Java，但是它自帶Java的版本很低，故我們 刪除低版本的Java，用壓縮包安裝高版本的Java我使用的是1.8版本, 低版本的Java會對我們的操作進行影響 1.刪除系統自帶的Java 2.解壓縮新版的Java，放入某資料夾例如/opt/software/ 3.配置全域性環境變數(為每個使用者設定環境資訊)
1.解除安裝rpm安裝的jkd版本
檢視安裝的jdk： rpm -qa|grep jdk
可能看到如下類似的資訊： jdk-1.6.0_22-fcs
解除安裝： rpm -e --nodeps jdk-1.6.0_22-fcs
2.tar -zxvf jkk-8u151-linux-x64.tar.gz
3.vim /etc/profile
新增
export JAVA_HOME=/opt/software/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
4.source /etc/profile 重新整理變數
測試Java是否安裝成功 java -version 看是否顯示版本號
2.Hadoop的安裝和環境變數
1.解壓Hadoop於某個路徑，例如/opt/software,tar -zxvf xxx
2.我此次配置的是.bashrc環境變數(專屬於個人的bash shell資訊)
cd ~
vim .bashrc
export HADOOP_HOME=/hadoop/hadoop-2.7.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source .bashrc
測試Hadoop ：echo ${HADOOP_HOME}
3.修改Hadoop的配置
3.1修改hdfs-site.xml配置檔案
<!-- 指定HDFS副本的數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定secondaryNameNode -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
3.2修改core-site.xml配置檔案
<property>
<!-- 指定HADOOP所使用的檔案系統schema（URI），HDFS的老大（NameNode）的地址 -->
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<!-- 指定hadoop執行時產生臨時檔案的儲存目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/var/abc/hadoop/local</value>
</property>
3.3修改slaves配置檔案
<!-- 這是告訴hadoop程序哪些機器是從節點 -->
node01
3.4hadoop-env.sh的Java_home修改
sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
# 修改JAVA_HOME的環境配置為如下所示：
export JAVA_HOME=/opt/software/jdk1.8.0_151
4.HDFS的啟動
格式化NameNode(建立目錄以及檔案)：hdfs namenode -format
啟動HDFS start-dfs.sh