1. 程式人生 > >大資料環境搭建------基礎環境配置

大資料環境搭建------基礎環境配置

準備材料:

作業系統:Centos7(最好有網路)

軟體:JDK:jdk-8u171-linux-x64.tar.gz(最好使用JDK1.8以上)


 在虛擬機器中搭建三個linux系統,分別代表三個節點 {主節點:master 從節點:slave1、slave2}

此次操作均在root使用者下進行

1.修改主機名稱(三臺機器均修改)

  (1)臨時修改

    命令:hostnamectl set-hostname master  (以主節點master為例)

  (2)永久修改

    命令:vi /etc/sysconfig/network

    更改:NETWORKING=yes

       HOSTNAME=master (以主節點master為例)

    儲存檔案並重新啟動

2.配置hosts檔案(三臺機器均修改)

  (1)檢視IP地址

    命令:ifconfig

  (2)修改hosts檔案

    命令:vi /etc/hosts

    (以主節點master為例,master的IP地址是192.168.109.125)

    在檔案下寫入:192.168.109.125   master  

           192.168.109.126   slave1  (slave1的IP地址是192.168.109.125)

           192.168.109.127   slave2  (slave2的IP地址是192.168.109.127)

    儲存退出

3.關閉防火牆(三臺機器均修改)

   命令:systemctl stop firewalld   (Centos7)

   命令:service iptables stop    (Centos6)

4.時間同步(三臺均安裝)

  (1)沒有網路的條件下

    命令:date -s 00:00    (三臺機器的date一致無需更改)  

  (1)有網路的條件下

    命令:date        (檢視當前機器的時間)

    命令:tzselect       (選擇時區)

    {  5)Asia   9)Chian  1)Beijing Time  1)Yes}

  (2)下載ntp(三臺機器)

    命令:yum -y install ntp

  (3)修改ntp配置檔案(master上執行)

    (為區域網使用者提供服務)

    命令:vi /etc/ntp.conf  

    新增內容:server   127.127.1.0

          fudge   127.127.1.0  stratum 10   (設定為其他的值也是可以的)

  (4)重新啟動ntp服務

     命令:systemctl restart ntpd.service  (Centos7)

     命令:ntpd start           (Centos6)

     等待5-10分鐘,在到其他機器(slave1、slave2)上同步機器時間

  (5)測試

    命令:ntpdate master

5.配置ssh免密登入

  (1)產生公私祕鑰(三臺機器)

     命令:ssh-keygen (四次回車)

  (2)將三臺機器的公鑰寫在authorized_keys檔案

    命令:cat id_dsa.pub >> authorized_keys  (master機器)

    命令:scp authorized_keys slave1:~/.ssh/  (將檔案拷貝到slave1機器上)

    命令:cat id_dsa.pub >> authorized_keys  (slave1機器)

    命令:scp authorized_keys slave2:~/.ssh/  (將檔案拷貝到slave2機器上)

    命令:cat id_dsa.pub >> authorized_keys  (slave2機器)

    命令:scp authorized_keys master:~/.ssh/  (slave2機器,覆蓋掉master機器上的authorized_keys)

    命令:scp authorized_keys slave1:~/.ssh/  (slave2機器,覆蓋掉slave1機器上的authorized_keys)

  (3)測試

    命令:ssh slave1  (master機器上)

    命令:ssh slave2  (master機器上)

    命令:ssh master  (master機器上)

6.安裝JDK (三臺均安裝)

   (1)在/usr下建立java資料夾  (master機器上)

    命令:mkdir -p /usr/java

   (2)將JDK壓縮包解壓到 /usr/java/ 下  (master機器上)

    命令:tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java

   (3)修改環境變數  (master機器上)

    命令:vi /etc/profile

    新增:

export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin

   (4)生效環境變數

     命令:source /etc/profile

   (5)測試

     命令:java -version  (master機器上)

   (6)成功後將profile檔案和java壓縮後的檔案拷貝到slave1和slave2機器上的相應的路徑上

     命令:scp /etc/profile slave1:/etc/  (以slave1為例)

     命令:scp /usr/java/jdk1.8.0_171 slave1:/usr/java/  (以slave1為例,在slave1相應的位置建立java資料夾)

    命令:source /etc/profile      (以slave1為例)

    命令:java -version        (測試)


此篇文章是大資料的前期搭建過程

後續有zookeeper、hadoop、hbase、hive搭建過程