1. 程式人生 > >從Elasticsearch詳解Ambari與第三方軟體的整合(一)

從Elasticsearch詳解Ambari與第三方軟體的整合(一)

一. 簡單介紹

1. 軟體介紹

1)Ambari(HDP)

玩過大資料的人都知道,除了原生的apache hadoop,有兩大hadoop廠商(現在已經合併了。。喜聞樂見。。。):HortonworksCloudera。Cloudera的hadoop產品相對來講成熟度高,商業化程度高。而Hortonworks的hadoop產品種類更多,且開源度高,社群活躍。正是因為開源,才能自定義第三方軟體整合,所以本文接下來的內容也是由此引出的。關於Ambari的安裝,請參考本人之前的教程文件

2)Elasticsearch

現在非常流行的開源全文索引工具,與apache的solr並列。雖然solr誕生的更早,但是就近來講

elasticsearch的活躍度更高,迭代也更頻繁。加之Elastic的大家族,功能之強大不言而喻。

2. 實現目的

雖然上述兩個生態應用軟體在資料處理上都頗為重要,但是畢竟不是一家人。可是在打造工業產品的過程中,hadoop和elasticsearch經常是缺一不可的(一個用於高吞吐高延遲場景,一個用於低延遲搜尋場景)。因此將二者合二為一的需求也是比較明顯的。

3. 已完成的專案

Redis的整合: