[譯] Cloudera Manager (CDH) 入門系列之一:概述
長按圖片關注"Kooola大資料"
Cloudera Manager 是一個端到端用於管理CDH叢集的程式。Cloudera Manager提供了CDH群集很多細節的視覺化和控制,因此它為企業化部署提供了一個標準。它使得企業能夠高效、合理地管理叢集。使用Cloudera Manager,使用者可以輕鬆部署和集中操作完整的CDH堆疊和其他託管服務。這個程式可以自動地安裝相關服務,將部署時間大大縮短。它為您提供執行主機和服務的叢集範圍的實時檢視; 提供單箇中央控制檯,以在整個群集中實施配置更改; 並集成了全套的報告和診斷工具,可幫助您優化效能和利用率。本文主要介紹Cloudera Manager的一些基本概念、結構以及功能。
術語(Terminology)
為了更好地使用 Cloudera Manager,我們需要先了解它的一些術語。術語的定義以及相互之間的關係如下:
這些概念中,cluster和service不需要過多解釋。其他一些概念,我們將在後面的章節中展開介紹,例如:role group、gateway、host template以及parcel等。
service、 role 的型別以及例項這兩個概念容易造成混淆。對於這兩個概念,Cloudera Manager 以及本文經常會不進行明確的區分。例如 Cloudera Manager 管理員頁面的 Home > Status 和 Clusters > ClusterName 都會列出叢集的服務列表。這個很像程式語言裡面 "string" 既可以表示型別(java.lang.String),也可以表示字串例項("in here")。當需要區分型別和例項時,附加單詞“type”以表示型別,同樣,附加單詞“instance”以明確表示例項。
部署(deployment)
Cloudera Manager 的配置以及所有叢集的管理
動態資源池(dynamic resource pool)
在 Cloudera Manager 中,負責池中應用服務(例如yarn、Impala等)的資源排程(使用一些可配置的資源以及策略)。
叢集(cluster)
包含HDFS、Mapreduce以及其他服務的一系列主機以及機架。可以單臺機器上部署偽叢集CDH,用於演示或學習。
在 Cloudera Manager 中,一個邏輯實體包含一系列主機(host),這些主機上執行著CDH,已經服務(service)和角色(role)的例項。一個主機只隸屬於一個叢集。Cloudera Manager 可以同時管理 多個 CDH 叢集。但是,每個群集只能與單個Cloudera Manager Server或 Cloudera Manager HA pair 關聯。
主機(host)
在 Cloudera Manager 中,執行角色例項的物理機或虛擬機器。一個主機只隸屬於一個叢集。
機架(rack)
在 Cloudera Manager 中,一個物理實體,包含通常由同一交換機提供服務的一組物理主機。
服務(service)
Cloudera Manager 中的一類託管功能,可以在群集中執行,可以是分散式或者單節點。這裡的服務通常是指服務的型別。例如:MapReduce,HDFS,YARN,Spark,Accumulo等等。傳統環境下,多個服務執行在一個主機上,在分散式系統下,一個服務執行在多個主機上。
服務例項(service instance)
在 Cloudera Manager 中,在群集上執行的服務例項。 例如:“HDFS-1”和“yarn”。服務例項跨越許多角色例項。
角色(role)
在 Cloudera Manager 中,服務中的一類功能。例如,HDFS服務有以下多個角色:NameNode,SecondaryNameNode,DataNode已經Balancer。角色在這裡指的是角色型別。詳情請檢視user role。
角色例項(role instance)
在 Cloudera Manager 中,執行在主機上上一個角色例項。它類似於Unix程序。例如:"NameNode-h1" , "DataNode-h1"。
角色組(role group)
一系列角色例項的組合。
主機模板(host template)
一系列角色組可以認為一個模板。當這個模板應用到某個主機上,每個角色組中的角色會被建立並分配到這個主機上。
閘道器(gateway)
In Cloudera Manager, role that designates a host that should receive a client configuration for a service when the host does not have any role instances for that service running on it.
parcel
二進位制格式,包含已編譯的程式碼和元資訊,例如包描述,版本和依賴關係。
static service pool
在 Cloudera Manager 中,跨服務對群集總的資源(CPU,記憶體和I / O權重)進行靜態分割槽。
叢集示例(Cluster Example)
四個主機組成的叢集:
該叢集中,tcdn501-1 是"master"主機,所以他有21個角色例項,而其他主機只有7個。
使用者還可以檢視每個主機所擁有的服務角色,下圖是cdn501-1的服務角色圖:
長按圖片關注"Kooola大資料"