1. 程式人生 > >CentOS 7下Cloudera Manager及CDH 6.0.1安裝過程詳解

CentOS 7下Cloudera Manager及CDH 6.0.1安裝過程詳解

一、概念介紹

1、CDH 概覽

CDH是Apache Hadoop和相關專案的最完整、最受測試和最流行的發行版。CDH提供Hadoop的核心元素-可伸縮儲存和分散式計算-以及基於web的使用者介面和重要的企業功能。CDH是Apache許可的開放原始碼,是唯一提供統一批處理、互動式SQL和互動式搜尋以及基於角色的訪問控制的Hadoop解決方案。

CDH 提供以下特性:

  • 靈活性:儲存任何型別的資料並使用各種不同的計算框架進行操作,包括批處理、互動式SQL、免費文字搜尋、機器學習和統計計算。
  • 整合:在一個完整的Hadoop平臺上快速啟動和執行,該平臺與廣泛的硬體和軟體解決方案一起工作。
  • 安全:處理和控制敏感資料。
  • 可伸縮性:啟用廣泛的應用程式和規模,並擴充套件它們以滿足您的需求。
  • 高可用性:滿懷信心地執行任務關鍵的業務任務。
  • 相容性:利用您現有的IT基礎設施和投資。

CDH 元件如下圖:

CentOS 7下Cloudera Manager及CDH 6.0.1安裝過程詳解

2、Cloudera Manager 概覽

Cloudera Manager 是用於管理cdh叢集的端到端應用程式。Cloudera Manager通過向CDH叢集的每個部分提供細粒度的可見性並對其進行控制來設定企業部署標準-授權運營商提高效能、提高服務質量、提高遵從性和降低管理成本。使用Cloudera Manager,您可以輕鬆地部署和集中操作完整的CDH堆疊和其他託管服務。應用程式自動化安裝過程,將部署時間從數週減少到分鐘;為您提供在叢集範圍內執行主機和服務的實時檢視;提供一個單一的中央控制檯來執行整個叢集的配置更改;並整合各種報告和診斷工具,以幫助您進行操作。

CentOS 7下Cloudera Manager及CDH 6.0.1安裝過程詳解

Cloudera Manager 的架構如上圖所示(cs結構),主要由如下幾部分組成:

  • 服務端/Server:
    Cloudera Manager 的核心。主要用於管理 web server 和應 用邏輯。它用於安裝軟體,配置,開始和停止服務,以及管理服務執行的叢集。

  • 代理/agent:
    安裝在每臺主機上。它負責啟動和停止的程序,部署配置,觸發安裝和監控主機。

  • 資料庫/Database:
    儲存配置和監控資訊。通常可以在一個或多個數據庫伺服器上執行的多個邏輯資料庫。例如,所述的 Cloudera 管理器服務和監視,後臺程式使用不同的邏輯資料庫。

  • Cloudera Repository

    :由cloudera manager 提供的軟體分發庫。

  • 客戶端/Clients:
    提供了一個與 Server 互動的介面。