開篇：在本筆記系列的第一篇中，我們介紹瞭如何搭建偽分佈與分佈模式的Hadoop叢集。現在，我們來了解一下在一個Hadoop分散式叢集中，如何動態（不關機且正在執行的情況下）地新增一個Hadoop節點與下架一個Hadoop節點。

一、實驗環境結構

　　本次試驗，我們構建的叢集是一個主節點，三個從節點的結構，其中三個從節點的效能配置各不相同，這裡我們主要在虛擬機器中的記憶體設定這三個從節點分別為：512MB、512MB與256MB。首先，我們暫時只設置兩個從節點，另外一個作為動態新增節點的時候使用。主節點與從節點所扮演的角色如下所示：

　　主節點(1個，主機名：hadoop-master)：NameNode、JobTracker、SecondaryNameNode

　　從節點(3個，主機名：hadoop-slave1、hadoop-slave2、hadoop-slave3)：DataNode、TaskTracker

TIPS：當然，我們也可以將SecondaryNameNode作為一個獨立的節點分離出去，只需要增加一臺伺服器，並在主節點中修改hadoop中的配置檔案：masters，將新節點的主機名新增進去即可。

二、動態新增節點

　　在實際生產應用中，很多時候因為現有叢集的效能問題需要增加伺服器節點以提高整體效能（一般是增加從節點，在Hadoop2.x之後解決了主節點的單點問題，可以增加主節點以保持HA高可用性），這就涉及到動態新增節點的問題。還好，Hadoop早就提供了很好的解決方法，我們只需要如下幾步就可以輕鬆地新增一個節點：

　　（1）準備工作：配置新節點的各種環境

　　主要包括：設定IP地址、主機名、繫結IP地址與主機名的對映、生成SSH與各節點之間的無密碼登入、安裝JDK與Hadoop、設定配置檔案；當然，都可以通過複製解決；

　　（2）在主節點中的slaves配置檔案中新增要新加入的節點的主機名hadoop-slave3（在hadoop目錄下/conf/slaves）

　　（3）在新節點hadoop-slave3中，通過Hadoop Shell啟動datanode與tasktracker程序：

　　這兩句shell命令分別是：

　　hadoop-daemon.sh start datanode

　　（4）在主節點中通過Hadoop Shell重新整理從節點列表，獲取新加入的節點資訊：hadoop dfsadmin -refreshNodes

　　（5）在主節點的Web介面中檢視Live Nodes數量變為了3，代表動態新增從節點成功

三、動態下架節點

　　在實際生產應用中，也會存在某個節點或某些節點因為某種原因而停止服務或者宕機的情況，Hadoop會通知一定的感知機制得到這些停止服務的節點的資訊，從而通過其他節點獲取檔案（前提是我們所設定的副本數量>=2，預設為3）。

　　（1）通過關閉hadoop-slave3的電源或者輸入一個shell命令停止datanode程序：hadoop-daemon.sh stop datanode

　　->這裡我們可以通過後者，這個shell命令來看看

　　（2）我們現在再通過主節點的Web介面來看看執行情況：

PS：停止hadoop-slave3的datanode程序後發現，NameNode的Web介面上hadoop-slave節點的LastContact欄位的值會不斷地增大。這是因為DataNode每次啟動時都會向NameNode彙報，NameNode會記錄下它的訪問時間，然後NameNode用當前訪問時間減去上次訪問時間，就得出LastContact的值，也就是多長時間未訪問。又由於實際環境中經常存在網路問題造成短暫掉線，所以NameNode會等待一段時間（預設等10分鐘）之後，才會將它視為死節點。所以，為了防止資料丟失所以在實際中副本數一般會設為2以上（預設為3），當某個節點死掉以後，可以通過副本找回資料。

　　（3）重新啟動hadoop-slave3的datanode程序：hadoop-daemon.sh start datanode

　　（4）現在再次通過主節點的Web介面來看看執行情況：變為了0

四、Hadoop中的安全模式

　　當Hadoop的NameNode節點啟動時，會進入安全模式階段。

　　（1）在此階段，DataNode會向NameNode上傳它們資料塊的列表，讓 NameNode得到塊的位置資訊，並對每個檔案對應的資料塊副本進行統計。當最小副本條件滿足時，即一定比例的資料塊都達到最小副本數，系統就會退出安全模式，而這需要一定的延遲時間。

　　（2）當最小副本條件未達到要求時，就會對副本數不足的資料塊安排DataNode進行復制，直至達到最小副本數。而在安全模式下，系統會處於只讀狀態，NameNode不會處理任何塊的複製和刪除命令。

　　那麼，如何判斷HDFS是否處於安全模式呢？hadoop dfsadmin -safemode get

　　如何手動進入和離開安全模式呢？hadoop dfsadmin -safemode enter/leave

　　進入安全模式後，再向HDFS上傳或修改檔案會出現什麼情況？一個提示“正在處於安全模式”的異常

 　org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.從字面上來理解：“Name nodeis in safe mode.”hadoop的namenode處於安全模式。

參考資料

作者：周旭龍

本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連結。