1. 程式人生 > >【搭建Hadoop叢集看一篇成高手系列01】hadoop執行環境的搭建篇——虛擬機器準備

【搭建Hadoop叢集看一篇成高手系列01】hadoop執行環境的搭建篇——虛擬機器準備

版權宣告:本文為博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/wx1528159409

目錄

1. 在VMware Workstation下安裝CentOs,新建虛擬機器並安裝VMtools

2. 修改虛擬機器IP,聯網並連線Xshell

3. 修改主機名

4. 修改linux和win10中的hosts檔案

5. 關閉防火牆

6. 建立自定義使用者kevin

7. 配置自定義使用者kevin具有root使用者許可權

8. 在/opt目錄下,新建兩個資料夾module和software,並給kevin使用者授權

9. 關機、快照、克隆

10. 修改克隆虛擬機器的靜態ip(詳見步驟3)


一、虛擬機器準備

1. 在VMware Workstation下安裝CentOs,新建虛擬機器並安裝VMtools

這裡我建立了一個記憶體4G(/Boot200M、swap2G、剩下的全部給/目錄),硬碟50G的虛擬機器

ps:這一步附上一個博主覺得非常詳細的說明書——史上最詳細版Centos6安裝詳細教程

博主用的是CentOs6.8的版本,建3個虛擬機器的叢集,我的電腦是16G記憶體,所以分配一個虛擬機器記憶體4G,這個可根據自身電腦配置來修改。

 

2. 修改虛擬機器IP,聯網並連線Xshell

目前虛擬機器還沒聯網,我們需要通過修改虛擬機器IP的方式讓其實現聯網,並與Xshell外掛連線;

vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改linux網絡卡配置檔案,即ifconfig-eth0,修改後如下:

由上至下,

DEVICE(介面名,預設eth0),HWADDR(MAC地址,預設),TYPE(網路型別,預設Ethernet),UUID(隨機id,不用管它),NM_CONTROLLED(network mamager的引數,實時生效,不需要重啟,預設)

ONBOOT(系統啟動時網路介面是否有效;預設是no,改為yes

BOOTPROTO(IP的配置方法,後面需要用固定ip連線虛擬機器,所以設定為靜態ip,改為static

IPADDR(虛擬機器的IP地址,手動新增,注意網段要與win中ip網段一致,改為192.168.5.100

GATEWAY(閘道器,手動新增,這裡使用192.168.5.2

DNS1(第一個域名解析器,用的國內的,114.114.114.114

DNS2(第二個域名解析器,用的Google的,8.8.8.8

 

現在,我們可以愉快的用Xshell通過ip連線虛擬機器了。

ps 順便吐槽一下,博主的thinkpad x1 carbon2018,那個2560的高分屏,開虛擬機器字型那叫一個小,忍不了啊有木有!!!

有了Xshell就好多了,絕對是高分屏的福音!!!

 

3. 修改主機名

進etc目錄(存放linux的各種配置檔案)下的系統配置目錄sysconfig,修改network檔案;這裡我們改成hadoop100;

vim /etc/sysconfig/network

 

4. 修改linux和win10中的hosts檔案

ps: hosts檔案中記錄了虛擬機器的主機名和對應IP,這樣我們就可以在win10系統下通過ip找到對應主機名的虛擬機器了,將linux系統下的虛擬機器與win10系統端連線起來。

(1)首先修改linux系統的hosts檔案

vim /etc/hosts

新增如下內容,這裡我添加了9臺虛擬機器的ip-主機名,但是實際只建立三臺虛擬機器,其餘的備用:

設定好後重啟系統;

(2)然後修改win10系統下的hosts檔案

進入C:\Windows\System32\drivers\etc路徑,將其中的hosts中新增這九個ip-主機名內容即可;

 

5. 關閉防火牆

在伺服器自啟配置chkconfig中關閉防火牆iptables,減少一些驗證通訊的麻煩;

chkconfig iptables off

現在關閉了開機自啟防火牆,我們來看一下目前的防火牆狀態:

 

6. 建立自定義使用者kevin

由於日常工作中我們一般是不會使用到root使用者的,所以現在新建一個自定義使用者kevin,作為以後的日常登入使用者。

useradd kevin
passwd 自己填

 

7. 配置自定義使用者kevin具有root使用者許可權

vi /etc/sudoers
## Allow root to run any commands anywhere
root      ALL=(ALL)     ALL
kevin   ALL=(ALL)     NOPASSWD:ALL

現在,我們可以用普通使用者kevin登入,然後用命令 sudo ,即可獲得root許可權進行操作。

 

8. 在/opt目錄下,新建兩個資料夾module和software,並給kevin使用者授權

新建module目錄和software,以備後續存放和安裝JDK和Hadoop安裝包

mkdir /opt/module /opt/software

然後通過chown -R命令遞迴更改這兩個目錄中所有檔案的所有者和組,更改為使用者kevin和組kevin

chown -R kevin:kevin /opt/module /opt/software

9. 關機、快照、克隆

至此,我們第一臺虛擬機器hadoop100的配置就over了,

然後進行一下快照記錄當前狀態以備後續虛擬機器崩了需要新建時使用,

最後通過克隆,建立另外兩臺虛擬機器hadoop101和hadoop102。

 

10. 修改克隆虛擬機器的靜態ip(詳見步驟3)

將克隆虛擬機器hadoop101的靜態ip改成192.168.5.101,

將克隆虛擬機器hadoop102的靜態ip改成192.168.5.102,

與Xshell新建會話連通;

 

到這裡,hadoop叢集搭建所需要的三臺虛擬機器配置完畢,

在下一篇【搭建Hadoop叢集看一篇成高手系列02】hadoop執行環境的搭建篇——JDK和Hadoop安裝,中我們會通過這三臺虛擬機器,搭建hadoop的執行環境。