1. 程式人生 > >構建一個跨機房的Hadoop叢集,有非常多的技術難點(顛覆你以往的認知)

構建一個跨機房的Hadoop叢集,有非常多的技術難點(顛覆你以往的認知)

經過上述多個步驟,雲梯叢集就實現了多NameNode切分、資料的跨機房分佈和管理、計算的 跨機房排程等,雖然物理上雲梯叢集跨越兩個資料中心,但對上層業務來說,完全感知不到底層的變動。不僅如此,由於實現了多Master的切分,讓多個 NameNode來分擔以前一個NameNode來管理的所有資料,所以也很大程度上釋放了以前單NameNode節點在擴充套件性和效能上的瓶頸,讓以前因 為單Master節點帶來的種種問題全部都迎刃而解。同時也為將來叢集的進一步擴充留下很大的餘地。基本上,在基於跨機房的那個版本和框架下,雲梯 Hadoop叢集幾乎是沒有物理上限的一個叢集了。