1. 程式人生 > >8.Hadoop的學習(Hadoop的配置--搭建完全分散式)

8.Hadoop的學習(Hadoop的配置--搭建完全分散式)

 搭建偽分散式請檢視本部落格https://blog.csdn.net/wei18791957243   裡面的三個搭建偽分散式的部落格

  1. 前提是偽分散式可以正常啟動。
  2. 點開虛擬機器上邊的選單欄中的虛擬機器內的快照功能。(快照:可以及時儲存當前操作,也就是儲存這個節點,等需要的話可以讓系統恢復到這個節點上。)
  3. 進入作業系統後:(cd /etc)檢視本機名(cat hostname)修改本機名(sudo gedit hostname)修改的時候儘量修改成簡單的,後面設定完全分散式的時候會比較方便。如:修改主機名為:hadoop
  4. 修改完之後重新啟動
  5. 關閉系統,點選克隆。(克隆的時候選擇第2個,建立完整克隆)
  6. 克隆3份,然後依次開啟克隆的1,2。(虛擬機器在開啟的時候會預設給作業系統分配虛擬ip地址。)
  7. 首先分別檢視克隆的這2臺虛擬機器的ip地址
  8. (1)在克隆虛擬機器1上面開啟命令列,修改主機名為:hadoop-1  ,然後儲存

        ( 2)進入到etc目錄下修改  passwd檔案裡面的使用者名稱為ubuntu    如圖

                  

   (3) 然後要修改etc裡面的hosts檔案的許可權   : 設定許可權為所有的都為rwx     :  執行命令:sudo chmod 777 hosts

    (4)  在第二個克隆機裡面修改主機名為:hadoop-2

               並且在執行(2)  修改passwd 檔案    ,再執行(3)  修改hosts檔案的許可權

     (5)兩個克隆機都修改完之後,都要重新啟動

  9.在主機名為hadoop的虛擬機器裡面開始配置檔案。

    (1)執行命令進入到如下的資料夾     cd /usr/soft/hadoop-2.7.1/etc/hadoop_pseudo/

             進入後修改兩個檔案  ,  

            修改core-site.xml檔案 畫紅線即為修改後的  如圖

          

       修改  hdfs-site.xml     數字2 即有兩個克隆機(修改成完全分散式叢集需要幾個偽分散式,這裡填寫2)

         

   (2)然後修改檔案裡面的內容,修改完之後(修改成完全分散式叢集需要的叢集主機名)如圖

          

  (3)切換目錄到 /etc下     , (修改hosts檔案,在後面加上ip地址 主機名(一個三個))

           給hosts檔案後面新增內容,新增完內容之後,檢視檔案,檔案就會如圖:

         

    注意:ip的地址和主機名不要新增錯了。

   (4)  然後將hosts檔案依次拷貝到其他的兩個克隆機裡面

            執行命令:命令的格式:    

        

      按照我們之前配置好的,

    輸入命令:scp /etc/hosts [email protected]:/etc     給第一個克隆機拷貝

    輸入命令:scp /etc/hosts [email protected]:/etc     給第二個克隆機拷貝

    在輸入命令後按照提示輸入密碼,或者yes!

10 .完成上面的步驟,完全分散式就配置完成了,  

     然後開啟完全分散式  ,和開啟偽分散式一樣

     格式化   hadoop namenode  -format

    然後   ssh localhost   

    然後按照偽分散式的啟動方式來啟動完全分散式就行了

11.   啟動後,輸入如下的命令,如圖  完全分散式就啟動成功了
    

   11.  可一看到節點分別再其他的主機上面了,這樣就完成了  完全分散式啟動

          關閉完全分散式也是和關閉偽分散式的是一樣的·