1. 程式人生 > >雲伺服器搭建Hadoop叢集

雲伺服器搭建Hadoop叢集

使用兩個阿里雲和一個騰訊雲搭建Hadoop叢集方法和  hadoop分散式叢集搭建  一樣

但是同樣的步驟會出現下面的錯誤

NameNode和ResourceManager、SecondrryNameNode三個程序都沒有開啟

主要原因是hosts中三個IP網段不一樣導致的問題

解決方法很簡單:每個雲伺服器會有1個公網ip和1個私網ip,在配置hosts對映時,對於對應的伺服器要填私網ip。

比如在Master主節點中,Master就需要配置相應的私網ip,從節點配置相應的公網ip

 同樣的在Slave伺服器上,要將自己的ip設定成內網ip,而將另一臺Master伺服器的ip設定成外網ip。

補充網路知識:

  伺服器公網ip:   可以用於域名解析ip,伺服器遠端登入ip,是最主要的伺服器ip地址。    伺服器內網ip:   不能用於域名解析,不可以直接用於伺服器遠端登入,其主要作用是:跟當前帳號下的其他同叢集的機器通訊。    

       一些小型企業或者學校,通常都是申請一個固定的IP地址,然後通過IP共享(IP Sharing),使用整個公司或學校的機器都能夠訪問網際網路。而這些企業或學校的機器使用的IP地址就是內網IP,內網IP是在規劃IPv4協議時,考慮到IP地址資源可能不足,就專門為內部網設計私有IP地址,一般常用內網IP地址都是這種形式的:10.X.X.X、172.16.X.X 、192.168.X.X等。

         需要注意的是,內網的計算機可向Internet上的其他計算機發送連線請求,但Internet上其他的計算機無法向內網的計算機發送連線請求。     公網IP就是除了保留IP地址以外的IP地址,可以與Internet上的其他計算機隨意互相訪問。我們通常所說的IP地址,其實就是指的公網 IP。網際網路上的每臺計算機都有一個獨立的IP地址,該IP地址唯一確定網際網路上的一臺計算機。這裡的IP地址就是指的公網IP地址。     其實,網際網路上的計算機是通過“公網IP+內網IP”來唯一確定的,就像很多大樓都是201房間一樣,房間號可能一樣,但是大樓肯定是唯一的。公網 IP地址和內網IP地址也是同樣,不同企業或學校的機器可能有相同的內網IP地址,但是他們的公網IP地址肯定不同。那麼這些企業或學校的計算機是怎樣。          IP地址如何共享的呢?這就需要使用NAT(Network Address Translation,網路地址轉換)功能。當內部計算機要連線網際網路時,首先需要通過NAT技術,將內部計算機資料包中有關IP地址的設定都設成 NAT主機的公共IP地址,然後再傳送到Internet,雖然內部計算機使用的是私有IP地址,但在連線Internet時,就可以通過NAT主機的 NAT技術,將內網我IP地址修改為公網IP地址,如此一來,內網計算機就可以向Internet請求資料了。