乾貨：如何將Hadoop儲存容量提升4倍？
本文主要介紹如何通過Federation使用多個獨立的Namenodes Namespaces水平擴充套件名稱空間。Namenodes彼此獨立，互不通訊，可以共享相同的Datanode儲存。
在Hadoop 1.0中，HDFS的單NameNode設計帶來諸多問題，包括單點故障、記憶體受限制約叢集擴充套件性和缺乏隔離機制(不同業務使用同一個NameNode導致業務相互影響)等。為了解決這些問題， Hadoop 2.0就引入了基於共享儲存的HA解決方案和HDFS Federation，HDFS Federation是指HDFS叢集可同時存在多個NameNode，這些NameNode分別管理一部分資料，且共享所有DataNode儲存資源。
Apache Hadoop 分散式檔案系統(HDFS)具有高度可擴充套件性，可支援PB級群集。但是，整個名稱空間(檔案系統元資料)儲存在記憶體中。因此，即使儲存可以水平擴充套件，名稱空間也只能垂直擴充套件，它受限於單個NameNode程序可儲存的檔案、塊和目錄的數量。
本文主要介紹如何通過Federation使用多個獨立的Namenodes/Namespaces水平擴充套件名稱空間。Namenodes彼此獨立，互不通訊，可以共享相同的Datanode儲存。Federation和Namespaces可以為整個叢集提供可伸縮性，Federation增加了對Namespace水平擴充套件的支援;新增更多的NameNode，增加叢集的聚合讀/寫能力和吞吐量;使用者和應用程式可以通過Namenodes隔離。
1、示例
Federation在可伸縮性、效能和隔離方面的優勢為它建立了許多用例，本文僅列舉一些簡單示例。
1.1 HIVE ON FEDERATION
Hive將表資料組織到分割槽中以提高查詢效能，它將分割槽儲存在不同的位置，這為在不同名稱空間中儲存、管理和配置hive資料提供了機會。使用federated叢集，我們可以將不同的表儲存在不同的名稱空間，或者將同一個表的不同分割槽儲存在不同的名稱空間。
例如，我們可以將不經常訪問的資料歸檔儲存到單獨的名稱空間，並將當前頻繁使用的資料儲存在單獨的名稱空間，這將提高服務於當前資料名稱空間的效能效率，並減少負載。
假設我們一年有一個分割槽hive表，我們希望將2000年以後的所有資料儲存在一個名稱空間中，將其餘資料儲存在一個名稱空間中，這就可以通過federation實現。
下圖顯示了 NSI中Students 表year=‘2018’分割槽下的資料。
如果想在NS2中儲存1990年的記錄，我們必須改變表格以將其位置設定為NS2。
需要Hadoop資料的可以加群：834325294 註明簡書 免費領取
將表的位置更改為新名稱空間NS2之後，我們可以將資料插入到所需的分割槽中，現在將在NS2中建立分割槽。
我們可以在同一個查詢中執行跨越不同名稱空間的多個分割槽操作。例如，表上的“SELECT *”將從不同名稱空間的分割槽返回記錄。
下圖顯示了在nameservice NS1(在node-1上執行的namenode)中儲存的2007和2018年的hive分割槽資料。
1990年的歸檔資料儲存在NS2中(namenode在node-3上執行)，如下所示：
1.2 應用程式隔離
假設我們需要執行一個較龐大的應用程式，它可能會佔用Namenode上的大量資源，這很可能導致其他應用程式延遲。通過federation，我們可以將這些應用程式移動到不同的名稱空間。
2. AMBARI概述
Ambari中的federated叢集檢視如下所示，這兩個服務將各自具有相應的元件和度量資訊。其他元件(如Datanodes和Journalnodes)將由這兩個服務共享。 如下所述，啟用federated所需的所有配置更改都由Ambari自動完成。
3.配置更改
要啟用federated並在叢集中具有多個名稱空間，需要在hdfs-site.xml中進行一些配置更改。 如果使用Ambari安裝federated叢集，則會自動設定以下配置。但是，學會如何通過頁面配置federated是有幫助的，以下是具有兩個Nameservices叢集的示例- NS1和NS2。
3.1 NAMESERVICEIDS
使用逗號分隔的NameserviceID列表將此配置新增到hdfs-site.xml。
3.2 NAMENODEIDS
對於具有HA設定的Nameservice，我們需要為屬於該Nameservice的Namenode指定NamenodeID。這是通過將NamenodeID列表新增到與名稱服務ID一起使用的金鑰dfs.ha.namenodessuffixed中來完成的。
3.3 RPC ADDRESSES
應使用配置金鑰為叢集中的每個Namenode配置RPC和Service-RPC地址 - dfs.namenode.rpc-address和dfs.namenode.servicerpc-address(可選)。這是通過使用NameserviceID和NamenodeID為config鍵新增字尾來完成的。
3.4 HTTP地址
HTTP和HTTPS地址(dfs.namenode.http-address和dfs.namenode.https-address)是可選引數，可以配置為類似於RPC地址。
3.5 其他NAMESERVICE特定金鑰
通過使用NameserviceID字尾鍵名，可以為每個名稱服務配置以下鍵：
4.叢集設定
federated叢集中的所有Namenode應具有相同的clusterID，應使用以下命令格式化一個namenode，選擇唯一的clusterID，使其不與環境中的其他叢集衝突。如果未提供clusterID，則會自動生成唯一ID。
叢集中的所有其他名稱節點必須使用與第一個namenode相同的clusterID進行格式化。
如果向現有叢集新增新名稱服務，則應使用與現有名稱節點相同的clusterID格式化新名稱節點，可以從Namenode中的VERSION檔案檢索clusterID。