1. 程式人生 > >Cloudera Manager(CDH5)內部結構、功能包括配置檔案、目錄位置等 2016-05-26 15:46 2112人閱讀 評論(0) 收藏 舉報 分類: CDH(19) 1. 相關

Cloudera Manager(CDH5)內部結構、功能包括配置檔案、目錄位置等 2016-05-26 15:46 2112人閱讀 評論(0) 收藏 舉報 分類: CDH(19) 1. 相關

/var/log/* : 相關日誌檔案(相關服務的及CM的)。
/usr/share/cmf/ : 程式安裝目錄。
/usr/lib64/cmf/ : Agent程式程式碼。
/var/lib/cloudera-scm-server-db/data : 內嵌資料庫目錄。
/usr/bin/postgres : 內嵌資料庫程式。
/etc/cloudera-scm-agent/ : agent的配置目錄。
/etc/cloudera-scm-server/ : server的配置目錄。
/opt/cloudera/parcels/ : Hadoop相關服務安裝目錄。
/opt/cloudera/parcel-repo/ : 下載的服務軟體包資料,資料格式為parcels。
/opt/cloudera/parcel-cache/ : 下載的服務軟體包快取資料。
/etc/hadoop/* : 客戶端配置檔案目錄。

2. 配置

Hadoop配置檔案
 
配置檔案放置於/var/run/cloudera-scm-agent/process/目錄下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置檔案是通過Cloudera Manager啟動相應服務(如HDFS)時生成的,內容從資料庫中獲得(即通過介面配置的引數)。
 
在CM介面上更改配置是不會立即反映到配置檔案中,這些資訊會儲存於資料庫中,等下次重啟服務時才會生成配置檔案。且每次啟動時都會產生新的配置檔案。
 
CM Server主要資料庫為scm基中放置配置的資料表為configs。裡面包含了服務的配置資訊,每一次配置的更改會把當前頁面的所有配置內容新增到資料庫中,以此儲存配置修改歷史。

scm資料庫被配置成只能從localhost訪問,如果需要從外部連線此資料庫,修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf檔案,之後重啟資料庫。執行資料庫的使用者為cloudera-scm。
 
檢視配置內容
 
1). 直接查詢scm資料庫的configs資料表的內容。
2). 訪問REST API: http://hostname:7180/api/v4/cm/deployment,返回JSON格式部署配置資訊。

配置生成方式
CM為每個服務程序生成獨立的配置目錄(檔案)。所有配置統一在服務端查詢資料庫生成(因為scm資料庫只能在localhost下訪問)生成配置檔案,再由agent通過網路下載包含配置檔案的zip包到本地解壓到指定的目錄。
 
配置修改
CM對於需要修改的配置預先定義,對於沒有預先定義的配置,則通過在高階配置項中使用xml配置片段的方式進行配置。而對於/etc/hadoop/下的配置檔案是客戶端的配置,可以在CM通過部署客戶端生成客戶端配置。
 
3. 資料庫 

Cloudera manager主要的資料庫為scm,儲存Cloudera manager執行所需要的資訊:配置,主機,使用者等。
 
4. CM結構 
CM分為Server與Agent兩部分及資料庫(自帶更改過的嵌入Postgresql)。它主要做三件事件:
1). 管理監控叢集主機。
2). 統一管理配置。
3). 管理維護Hadoop平臺系統。
 
實現採用C/S結構,Agent為客戶端負責執行服務端發來的命令,執行方式一般為使用python呼叫相應的服務shell指令碼。Server端為Java REST服務,提供REST API,Web管理端通過REST API呼叫Server端功能,Web介面使用富客戶端技術(Knockout)。
1). Server端主體使用Java實現。
2). Agent端主體使用Python, 服務的啟動通過呼叫相應的shell指令碼進行啟動,如果啟動失敗會重複4次呼叫啟動指令碼。
3). Agent與Server保持心跳,使用Thrift RPC框架。
 
5. 升級 

在CM中可以通過介面嚮導升級相關服務。升級過程為三步:
1). 下載服務軟體包。
2). 把所下載的服務軟體包分發到叢集中受管的機器上。
3). 安裝服務軟體包,使用軟連結的方式把服務程式目錄連結到新安裝的軟體包目錄上。
 
6. 解除安裝 
sudo /usr/share/cmf/uninstall-scm-express.sh, 然後刪除/var/lib/cloudera-scm-server-db/目錄,不然下次安裝可能不成功。
 
7. 開啟postgresql遠端訪問 
CM內嵌資料庫被配置成只能從localhost訪問,如果需要從外部檢視資料,資料修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf檔案,之後重啟資料庫。執行資料庫的使用者為cloudera-scm。

相關推薦

Cloudera Manager(CDH5)內部結構功能包括配置檔案目錄位置 2016-05-26 15:46 2112閱讀 評論(0) 收藏 舉報 分類 CDH19 1. 相關

/var/log/* : 相關日誌檔案(相關服務的及CM的)。 /usr/share/cmf/ : 程式安裝目錄。 /usr/lib64/cmf/ : Agent程式程式碼。 /var/lib/cloudera-scm-server-db/data : 內嵌資料庫目錄。 /usr/bin/postgres

NFS安裝配置及常見問題/etc/exports配置檔案showmount命令

1,伺服器端軟體:安裝nfs-utils和portmap(rpcbind) nfs-utils: 提供rpc.nfsd 及 rpc.mountd這兩個NFS DAEMONS的套件 portmap: NFS其實可以被看作是一個RPC SERVER PROGRAM,而要啟動一個RPC SERVER PROGRAM

命令NFS安裝配置及常見問題/etc/exports配置檔案showmount命令 (深度好文

轉載:http://desert3.iteye.com/blog/1675522 1,伺服器端軟體:安裝nfs-utils和portmap(rpcbind) nfs-utils: 提供rpc.nfsd 及 rpc.mountd這兩個NFS DAEMONS的套件 portma

結構設計器EZDML1.98版公布

導出 asp 每一個 fcm blog iss pl/sql 字符串 分享 表結構設計器(EZDML)是一個免費的數據庫建表的小軟件,可高速的進行數據庫表結構設計。建立數據模型,能迅速生成代碼模板、簡單界面和字典文檔,支持腳本編程。

1安裝Ubuntu

char file 界面 class 不能 linu war color core 所需工具:        1、VMware Workstation 14 Player— 虛擬機軟件,可在本機安裝另外的OS 2、ubuntu-16.04.3 — Linux 服務器 3

圖解TCP/IP協議IP相關技術—DNSARPICMPDHCPNATIP隧道

1.DNS DNS(Demain name System)有效管理主機名和IP地址之間的對應關係的系統。 2.ARP ARP(Address Revolution Protocol)是一種解決地址問題的協議,以目標地址為線索,用來定位下一個應該接收資料分包的網路裝置對應的MAC

Linkerd 2.1 釋出,路由級指標服務配置檔案UI 改進

   Linkerd 2.1 釋出了,Linkerd 是一個提供彈性雲端原生應用服務網格(Service Mesh)的開源專案,也是面向微服務的開源 RPC 代理,它的核心是一個透明代理。 此版本更新亮點包括路由級別指標、服務配置檔案和改進的儀表板 UI,還添加了一些

Java框架學習_SpringSpring相關的概念Spring的配置和屬性注入

學習java框架的路線定為Spring + Mybatis + SpringMVC,即SSM,下面先開始經典的Spring的學習 Spring的開發包:spring-framework-4.2.4.RELEASE-dist 1、Spring相關的概念: Spring:ful

Java框架學習_SpringSpring_AOP相關術語AOP_xml的配置和簡單測試涉及junit和aop整合進階

面向切面程式設計的感覺就是:以前程式是由上往下執行的,如果我需要新增一個什麼功能,就需要去改程式碼,但是我用AOP的動態代理,就像膠帶一樣,往上面一貼就行了,不要用的時候再撕下來,是橫向的,後面會有很多膠帶的型別(就是下面的Advice通知),往上貼,往下帖,環繞貼,遇到異常貼等等,就很方便

Mybatis(1核心配置檔案PropertiesSettingstypeAliases...)

此章主要介紹sqlMapConfiguragion.xml的核心配置屬性。 mybatis、mappers、Environments、ObjectFactory、typeHandlers、Proper

5.1介面1定義shape介面,包含求面積和求周長的方法;2定義Circle類Rectangle類Square類;

摩爾的Java學習筆記5.1 第四周作業: 1、(抽象類)1)定義shape抽象類,包含求面積和求周長的方法;2)定義Circle類和Rectangle類繼承shape類;3)定義Square類繼承Rectangle類;4)執行時,讓使用者選擇

1.4JDK安裝與環境變數配置及環境變數相關問題

安裝JDK 選擇安裝目錄 安裝過程中會出現兩次 安裝提示 。第一次是安裝 jdk ,第二次是安裝 jre 。建議兩個都安裝在同一個java資料夾中的不同資料夾中。(不能都安裝在java資料夾的根目錄下,jdk和jre安裝在同一資料夾會出錯) 如下圖所示

閱讀《C++Primer》的個人記錄——2.1基本內置類型-關於浮點數補碼

一個數 過程 取反 反碼 結果 直接 深入 相關 完美解決 學習第二章基本內置類型的過程中,對於書上描寫的單精度浮點數和雙精度浮點數的相關內容和補碼的作用原理沒弄清楚,經過查閱相關資料,整理如下: 現從簡單的補碼說起,原碼:正數的原碼就是它的本身,負數用最高位是1表示負數

容器與Docker簡介Docker相關術語——微軟微服務電子書翻譯系列

進程 數據 public 圖像 over 表示 -c ice ner 本節列出了在更加深入Docker之前應該熟悉的術語和定義。 有關詳細的定義,請參閱Docker提供的術語表。 容器鏡像(Container image):具有創建容器所需要的所有依賴和信息的包。 鏡像

C語言中存儲類別又分為四類自動auto靜態static寄存器的register和外部的extern

字符變量 修飾 例如 register ext 進行 適合 sta -- 除法運算中註意: 如果相除的兩個數都是整數的話,則結果也為整數,小數部分省略,如8/3 = 2;而兩數中有一個為小數,結果則為小數,如:9.0/2 = 4.500000。 取余運算中註意: 該運算只適

vue如何配置路由 獲取路由的參數部分刷新頁面緩存頁面

component 有一個 數據 main -a his 如何配置 自動 收件人 1、路由配置:所有的啟動文件都在最初始的main.js文件裏面,這個文件中首先需要引入: 2、路由文件配置說明: 3、如何獲取頁面url的參數? this.$route.quer

HTML筆記 HTML相關概念

rsquo 運行 開始 idt 2-2 ges 筆記 區分 class 一 HTML概述 1、HTML文檔基本結構   先來看一個關於HTML的例子,裏面包含了幾個主要的HTML標簽: <!DOCTYPE html> <html> &l

深入淺出數據結構C語言版19——堆排序

-- 解決辦法 訪問 nsf 可能 bre 操作 數據塊 src   在介紹優先隊列的博文中,我們提到了數據結構二叉堆,並且說明了二叉堆的一個特殊用途——排序,同時給出了其時間復雜度O(N*logN)。這個時間界是目前我們看到最好的(使用Sedgewick序列的希爾排序時間

Spring Boot參考教程日誌相關使用

tps tex pri csdn fcm dep ont blank hub 6. 日誌相關 Spring Boot默認使用logback日誌,可用配置如下: 不再進行測試,具體使用方法在4.1.1中有詳細介紹。 在開發中一般使用log4j等日誌,具體使用方法如下

K8S 1.9.0二進制包部署

無法 emc mod tps -o cal text tor amd 4、k8s node#############kubelet cp kubelet /usr/bin/chmod 755 /usr/bin/kubeletmkdir -p /app/kubernetes/