1. 程式人生 > >大快搜索資料爬蟲技術例項安裝教學

大快搜索資料爬蟲技術例項安裝教學

 

Hadoop作為搭建大資料處理平臺的重要“基石”,關於它的分析和講解的文章已經有很多了。Hadoop本身是一分散式的系統,因此在安裝的時候,需要多每一個節點進行組建的安裝。並且由於是開源軟體,其安裝過程相對比較複雜。這也是很多人在搭建hadoop執行環境時總是不能一次性成功的主要原因。

hadoop每個組建都要做很多的配置工作,如果手動去完成這個工作,工作量其實還是非常龐大。正是這一點我覺得很多做國產發行版hadoop軟體開發的都沒有大快的DKhadoop發行版做的好。我記得在之前寫DKHadoop執行環境搭建流程的時候也提到過這個問題,DKH可以說是把易用性做的非常好了,無論是對於老手還是新入門者,上手速度要比其他的一些發行版快的多。

針對hadoop每個組建都要配置的這種情況,DKH提供了自動化安裝應用來部署Hadoop。這就大大縮短了Hadoop的安裝時間,同時也簡化了安裝Hadoop的過程。如果你在安裝之後想要拓展節點,其實也不用擔心。因為DKH中提供了節點管理的功能。

“節點”是叢集中的伺服器。DKH叢集中的節點擔任不同服務的不同角色,協同工作。我們可以在DKH管理介面新增節點。 然後在相應的服務中選擇“新增角色”,那麼新新增的節點就有了該服務的功能。

1、進入管理介面(在“主機”選單中)

 

 

這裡你可以檢視節點的基本資訊,並且可以新增和刪除節點。

2、新增節點:點選“向叢集新增主機”進入“新增節點”介面

 

 

 

輸入對應節點的IP地址即可。

3、為節點指定服務:在每一個服務介面中,選擇“新增角色”如下圖所示

 

 

選擇要新增的節點,點選“繼續”即可完成新增。