1. 程式人生 > >hadoop-3.0.0-beta1運維手冊(003):安裝全分布式HDFS3.0.0-準備軟件

hadoop-3.0.0-beta1運維手冊(003):安裝全分布式HDFS3.0.0-準備軟件

hadoop3.0.0 hdfs3.0.0 centos7 hadoop的jdk hadoop軟件上傳

3.1 準備軟件

HDFSHadoop的一個組件,它並沒有單獨發布,因此,我們需要下載Hadoop的安裝包。

1. 下載Hadoop3.0.0-beta1,保存到d:\hdfs3\soft

技術分享圖片

3-1 Hadoop存儲路徑圖

有關beta1版本的介紹:它是API穩定的版本,但不保證質量,並且不打算用於生產環境。因此,此版本可以用來提前學習,待stable版本出來後,可以直接替換上生產環境。

2. 下載JDK

Hadoop是用java編寫的,JDK提供了java程序的運行環境,因此,需要下載JDK

Hadoop3.0版本要求JDK1.8以上,不兼容JDK1.7以及之前的版本。

JDK1.832bit64bit

兩種,那麽我們應該選哪一個版本呢?

Java程序本身不區分32bit64bit,因為它面對的是一個統一的JVMJDK則區分32bit64bitJDK 32bit表示它運行在32位機器上,JDK 64bit則表示它運行在64位的機器上。

我們安裝的Centos764位的,因此,要選擇64bitJDK

下載jdk-8u152-linux-x64.tar.gz

同樣保存到d:\hdfs3\soft

3.2 配置Centos網絡

我們下載的Hadoop3.0.0JDK1.8保存在Host(Win7)上,需要通過網絡上傳到GuestCentos7)。因此,需要配置Guest上的網絡,使得HostGuest

能夠聯通。

HostGuest之間的網絡連接如下圖所示:

技術分享圖片

3-2 Vmware workstation host-only虛擬網絡連接圖

1. HostGuest之間是通過Host-only虛擬網絡連接的。

註意HostGuest之間有3種類型的虛擬網絡可以連接,分別是BridgedNATHost-only。其中Bridge可以使得Guest能夠被Host所連接的網絡上的機器所訪問,但它需要Host真正連接到了一個物理網絡;NAT可以共享Host的外部IP上互聯網;Host-onlyGuestHost之間的一個私有網絡,它不要求Host真正連接到一個物理網絡,因此,最方便。有關這三種網絡的原理和使用,請參考艾叔的高清視頻

VMware Workstation虛擬機實戰入門》,視頻中有詳細的說明。

2. Host連接到虛擬網絡的網卡名字是VMNet1。這是如何知道的呢?我們可以打開VMware workstationVirtual Network Editor,如下圖。

技術分享圖片

3-3 Vmware workstation 虛擬網絡編輯器

然後,我們可以看到虛擬網絡的信息,我們看到的VMnet0對應Bridged虛擬網絡,VMnet1對應Host-only虛擬網絡;VMnet8對應NAT虛擬網絡。

選中VMnet1,向下紅色的部分,我們可以看到Host virtual adapter name: VMware Network Adapter VMnet1”,這個就是Host-only虛擬網絡中,Host主機的虛擬網卡名。如果我們選中VMnet0,則可以看到Bridged虛擬網絡中,Host主機的虛擬網卡名為VMnet0

技術分享圖片

3-4 Vmware workstation host-only虛擬網絡配置界面

3. VMnet1IP地址是192.168.182.1。這個是如何知道的呢?

首先,我們看VMnet1虛擬網絡子網地址是:192.168.182.0VMnet1網卡具體的IP地址,要到Windows的網絡連接裏去看。

打開Windows的網絡連接,找到網卡VMnet1,如下。

技術分享圖片

3-5 Vmware workstation host虛擬網卡

查看IP地址,可以看到是192.168.182.1

技術分享圖片

3-6 Vmware workstation host-only虛擬網絡連接圖

驗證,在CMDping 192.168.182.1

註意:這一步非常重要!!!

技術分享圖片

3-7 Vmware workstation host ping自己

註意:如果Ping不通的話,Guest關機,然後嘗試恢復虛擬機網絡的默認值,如下,點擊Restore Default

恢復需要等待一段時間,然後Host-only的子網地址會改變,VMnet1IP同樣會改變。因此,需要再次查看VMnet1IP,然後ping這個新的IP

技術分享圖片

3-8 Vmware workstation 恢復默認網絡設置圖

4. 我們要檢查Guest是否選擇了Host-only網絡

首先,確認下面的Device status的復選框都選中;

其次,Network connection下面的單選框要選中:Host-only,如下紅線所示。

技術分享圖片

3-9 Vmware workstation 網絡設備狀態圖

5. 查看Guest上的網絡的網卡和IP

Guest登錄

輸入命令:ip a

將顯示Guest上的網卡和IP信息,我們可以看到Guest上有一塊網卡,名字為ens33,它的Mac地址為:00:0C:29:77:B8:70IP地址由於沒有設置,因此,在mac地址下面沒有顯示。

技術分享圖片

3-10 CentOS網絡設備查看圖

6. 設置IP

使用文本編輯器vi(有關Linux命令,vi的使用,請參考高清視頻《艾叔:Linux入門-零基礎會用Linux,精選了Linux下使用最頻繁的命令進行講解,用最短的時間掌握最有用的操作。)打開網卡的配置文件。

技術分享圖片

3-11 vi編輯網卡配置文件

內容如下

技術分享圖片

3-12 CentOS網卡配置圖

按下i,應該可以看到左下角出現INSERT

技術分享圖片

3-13 vi插入狀態圖

編輯下面紅色的部分

技術分享圖片

3-14 新的CentOS網卡配置圖

按下ESC,應該可以看到左下角的INSERT消失

輸入引號:,左下角應該出現一個引號

技術分享圖片

3-15 vi末行狀態

輸入wq

技術分享圖片

3-16 vi保存退出

回車,此時保存文件並退出

關閉網卡

技術分享圖片

3-17 CentOS關閉網絡

啟動網卡,將加載我們剛才的配置

技術分享圖片

3-18 CentOS開啟網絡

驗證,可以看到網卡ens33IP已經設置

技術分享圖片

3-19 CentOS查看網絡

重啟,看配置是否仍然生效

技術分享圖片

3-20 CentOS重啟

重啟登錄,查看IP地址,可以看到192.168.182.11,說明配置已經生效

技術分享圖片

3-21 CentOS查看IP地址

驗證GuestHost是否聯通

HostPing Guest,看是否能夠Ping通,如下所示,是可以Ping通的。

技術分享圖片

3-22 Host ping Guest

3.3 上傳軟件到Centos

1. 創建普通用戶

在上傳軟件之前,我們要在Centos上創建一個普通用戶,在Linux下,我們要盡可能地在普通用戶下工作,這是一個好習慣。

使用下面的命令創建一個普通用戶,用戶名為user,並且為該用戶?????????建它的home目錄。

技術分享圖片

3-23 創建普通用戶及其home目錄

設置user用戶的密碼,為簡單起見,我們密碼同樣設置為123456

註意,設置密碼的命令為:passwd user

在下面的橫線處,輸入123456,註意123456不會有回顯。

技術分享圖片

3-24 設置普通用戶密碼

如果我們可以看到sucessfully,則說明設置成功。

切換到user,切換過去後,我們可以看到#變成了$$表示當前用戶為普通用戶。

技術分享圖片

3-25 切換到普通用戶

打印當前工作路徑,是/home/user,這個是userhome目錄,後續我們將軟件上傳到此目錄下。

技術分享圖片

3-26 顯示當前工作路徑

2. 確認sshd服務

通過sshd服務,我們可以軟件從Host上傳到Guest,下面的命令將確認Centos上是否開啟了sshd服務,如果可以看到紅圈內的22,則說明服務已經開啟。

技術分享圖片

3-27 顯示當前端口

3. 下載WinSCP

WinSCP是一個WindowsHost)下的軟件,它與Guest上的sshd交互,可以完成文件的傳輸。

下載後,直接解壓即可,無需安裝。

技術分享圖片

3-28 解壓目錄

點擊WinSCP

在右側文件協議中選擇SCP

主機名:192.168.182.11

端口號:22

用戶名:user,密碼:123456

點擊登錄

技術分享圖片

3-29 winscp連接配置界面

在彈出的對話框中選擇Y

技術分享圖片

3-30 winscp連接對話框

登錄,界面如下,左側為Host主機的目錄,右側為Guest主機的目錄

技術分享圖片

3-31 winscp傳輸界面

右側Guest目錄為/home/user

在左側找到我們要上傳的文件,然後將其拖拽到右側,如下,註意紅線所指的路徑是/home/user

技術分享圖片

3-32 winscp本地存儲路徑

上一篇:hadoop-3.0.0-beta1運維手冊(002):安裝Guest操作系統》

原創文章,轉載請註明: 轉載自大數據學習網,作者:艾叔

本文鏈接地址: http://www.bigdatastudy.net/show.aspx?id=435&cid=8


hadoop-3.0.0-beta1運維手冊(003):安裝全分布式HDFS3.0.0-準備軟件