1. 程式人生 > >Cloudera Manager 5升級(官方翻譯整理,企業級實戰驗證)

Cloudera Manager 5升級(官方翻譯整理,企業級實戰驗證)

本文件適合Cloudera Manager 5的所有版本的升級,而且使用tarballs進行升級,Tarballs包含Cloudera Manager Server和Cloudera ManagerAgent。

絕大多數的場景下,升級Cloudera Manager是可能不需要關閉大資料CDH服務的,僅僅去停止一些依賴的服務。CDH daemons繼續執行,並不受影響。Cloudera Manager也不會影響CDH的安裝。

使用Tarballs升級Cloudera Manager 5的步驟:

步驟

描述

連結

1

收集需要升級Cloudera Manager的資訊,包含使用者賬號,密碼,資料庫URLs以及其他資訊。你必須從升級的一開始就收集這些資訊,因為一些資訊只能從Cloudera Manager Admin Console中獲取,如果在升級期間再收集就訪問不了了。

3

如果你的Cloudera Manager主機使用一個不支援的JDK版本,那麼你必須在升級Cloudera Manager之前,升級支援的JDK版本。如果你計劃升級CDH,那麼你也必須在所有的叢集節點升級JDK。

4

如果Cloudera Manager節點無法訪問外網,或者你安裝一個低於最新版本的Cloudera Manager,那麼需要配置訪問Cloudera Manager軟體包的Cloudera public repository或者一個本地的package repository。

8

升級任何需要Cloudera Navigator的元件:

Cloudera Manager Key Trustee Server

Cloudera Navigator Key HSM

Cloudera Navigator Key Trustee KMS

Cloudera Navigator Encrypt

當你升級Cloudera Manager時,這些Cloudera Navigator Data Management Componen都會被升級的。

9

(可選)升級CDH。

如果Cloudera Manager升級結束後,你不需要立馬升級CDH的話,後續也可以再考慮升級CDH。

步驟1:收集升級資訊

在升級Cloudera Manager之前,收集下面的資訊:

1.      Host credentials

root或擁有sudo許可權的使用者

2.      Cloudera Manager叢集版本資訊

Support > About

3.      叢集中JDK版本

Support > About

4.      CDH版本

The CDH version number displays next to thecluster name on the Home page.

5.      叢集安裝的方式,parcels或packages

This information displays next to the CDHversion on the Home page of Cloudera Manager.

6.      叢集開啟的服務

Clusters > Cluster name.

7.      作業系統的型別和版本

Go to Hosts and click on a hostname in thelist. The operating system type and version displays in the Distribution row inthe Details section.

步驟2:完成預升級步驟

開始Cloudera Manager升級之前,處理一下事情:

1.      查閱下面網站的內容,對於你升級新版本的環境。

https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html

2.      閱讀Cloudera Manager 5 Release Notes

3.      閱讀Cloudera Security Bulletins

4.      注意下面的說明:

l  Cloudera Management Service TLS/SSL configuration

如果對於Cloudera Manager Admin Console,你開啟了TLS安全控制,因為ClouderaManager 5.1版本,Cloudera service roles使用TLS和Cloudera Manager互動,並且啟動時會失敗直到TLS/SSL屬性被配置。

l  Navigator

如果你開啟了ClouderaNavigator的auditing,在Cloudera Manager 5升級期間,auditing會阻塞,並且當你重啟auditing服務的角色時,它將只能被重啟。你將被指導在後續的步驟中停止一些服務。

5.      如果你之前安裝過Kafka 1.2,並且從Cloudera Manager 5.4或更低版本升級,請remove掉Kafka CSD:

a.      決定CSD目錄的位置

(1)    選擇Administration > Settings

(2)    點選Custom Service Descriptors目錄

(3)    重新從Local Descriptor Repository Path屬性中獲取目錄

b.      從目錄中刪除Kafka CSD

6.      Review使用RPM方式安裝的依賴。ClouderaManager升級可能會引入新的包依賴。

步驟3:升級JDK

升級到JDK 1.7:

升級到JDK 1.8:

步驟4:對於Cloudera Manager,建立和使用Package Repository

建立一個固定的Repo

1.      安裝Apache HTTPD

yum install httpd

service httpd start

2.      下載Tarball

對於Cloudera Navigator data encryption元件,進入每個元件進行下載:

3.      解壓縮CM安裝包,並拷貝到Web Server的目錄,修改許可權

tar xvfz cm5.8.4-centos7.tar.gz

mv cm /var/www/html

chmod -R ugo+rX /var/www/html/cm

建立一個臨時的Repo

>> 下載Tarball

對於Cloudera Navigator data encryption元件,進入每個元件進行下載:

>> 解壓縮CM安裝包,修改許可權

tar xvfz cm5.8.4-centos7.tar.gz

chmod -R ugo+rX /tmp/cm

>> 啟動SimpleHTTPServer

cd /tmp/cm

python -m SimpleHTTPServer 8900

步驟5:升級Cloudera Navigator Data Management Component

如果你從Cloudera Navigator 2.6或低版本升級的話,升級Cloudera Navigator Data Management Component。

步驟6:升級Cloudera Manager Server和Agents

1. 如果你的叢集使用內嵌的PostgreSQL資料庫,停止所有使用PG資料庫的服務,包括:

Hive Service和使用Hive Metastore的服務,比如Impala,Hue等

Oozie

Sentry

2. 停止Cloudera ManagerServer和Agent

a. 使用Cloudera ManagerAdmin Console去停止正在執行的命令,或者等待命令執行完

主要:如果沒有停止所有的命令,那麼Cloudera Manager Server升級完後啟動會失敗。

b. 停止執行的Cloudera ManagerServer

service cloudera-scm-server stop

c. 如果你使用內嵌的PostgreSQL資料庫,停止資料庫

servicecloudera-scm-server-db stop

d. 如果Cloudera Manager節點正在執行ClouderaManager Agent,那麼需要停止

service cloudera-scm-agent stop

3. 下載Tarballs

4.      將下載好的Tarballs拷貝到所有Cloudera Manager Server和Agent,並且解壓縮

mkdir /opt/cloudera-manager

tar xzf cloudera-manager*.tar.gz -C/opt/cloudera-manager

5.      在每一個Cloudera Agent節點,配置Cloudera Manager Agent指向Cloudera Manager Server

tarball_root/etc/cloudera-scm-agent/config.ini

Property

Description

server_host

Name of the host where Cloudera Manager Server is running.

server_port

Port on the host where Cloudera Manager Server is running.

6.      預設情況下,對於Tarball安裝來說,有一個var子目錄用來儲存狀態資訊。對於非Tarball方式部署的話,狀態預設儲存在作業系統的/var目錄下,

相關推薦

Cloudera Manager 5升級官方翻譯整理企業級實戰驗證

本文件適合Cloudera Manager 5的所有版本的升級,而且使用tarballs進行升級,Tarballs包含Cloudera Manager Server和Cloudera ManagerAgent。絕大多數的場景下,升級Cloudera Manager是可能不需要

手動安裝cloudera manager 5.xtar包方式詳解

text res 三種 href none bin -i min devel 官方共給出了3中安裝方式:第一種方法必須要求所有機器都能連網,由於最近各種國外的網站被墻的厲害,我嘗試了幾次各種超時錯誤,巨耽誤時間不說,一旦失敗,重裝非常痛苦。第二種方法下載很多包。第三種方法對

CDH5實踐Cloudera Manager 5安裝中碰到的一些問題和解決辦法

問題一:安裝過程中會出現失敗,檢視detail資訊中,提示 host 無法連線 解決:前面的文章中漏了對主機host的一個修改, 除了修改 /etc/hosts 檔案外,我們還需要修改修改  /et

Cloudera Manager安裝之Cloudera Manager 5.3.X安裝tar方式、rpm方式和yum方式

 前期部落格 ClouderaManager官網安裝 https://www.cloudera.com/documentation/manager/5-0-x/Cloudera-Manager-Installation-Guide/cm5ig_install_path_

Cloudera Manager安裝之Cloudera Manager 5.6.X安裝tar方式、rpm方式和yum方式 Ubuntu14.04

歡迎您的加入! 微信公眾號平臺: 大資料躺過的坑 微信公眾號平臺: 人工智慧躺過的坑 大資料和人工智慧躺過的坑(總群): 161156071 更多QQ技術分群,詳情請見:http://www.cnblogs.com/zls

CDH5實踐本地Yum軟體源安裝Cloudera Manager 5

Cloudera Manager 5(以下簡稱CM)預設採用線上安裝的方式,給不能聯網際網路或者網路不暢的使用者帶來了不便,由於網路問題,屢裝屢敗的挫折感,讓初次學習CDH使用者真心體驗到萬事開頭難。本文講解了在CentOS 6環境下搭建本地Yum軟體源,區域網內的使用者在完全不連網際網路的情況下,完成CM

Cloudera Manager 5 和 CDH5.7.0 本地離線安裝

轉載:http://blog.csdn.net/eason_oracle/article/details/51818423 最近在搞cloudera manager的安裝,經歷了許多坎坷,總結一下: 另外也參考了一些其他人的帖子如: http://blog.csdn

Centos7下Cloudera Manager 5離線部署CDH5

Centos7下Cloudera Manager 5離線部署 CDH5 1.先決條件 2.準備工作 3臺16核32G記憶體260G硬碟CentOS 7機器 機器規劃: HostName

Cloudera Manager 5.12.0圖文詳解安裝過程

這裡介紹的是cdh5的離線安裝方式,需要的檔案提前準備好,安裝過程會快一些。 安裝前提:機器配置記憶體一定要高,我這裡安裝的虛擬機器均是redhat7:記憶體分別是6G,4G,4G。 準備的檔案: mysql-connector-java-5.1.38.jar clou

Cloudera Manager 5和CDH5離線安裝

CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop眾多分支中的一種,由Cloudera維護,基於穩定版本的Apache Hadoop構建,並集成了很多補丁,可直接用於生產環境。 Clou

離線安裝Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

關於CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop眾多分支中的一種,由Cloudera維護,基於穩定版本的Apache Hadoop構建,並集成了很多補丁,可直接用於生產環境。 Cloude

Cloudera Manager 之四管理控制檯

Cloudera 管理控制檯是一個網站頁面,你可以用它來配置、管理以及監控 CDH。 如果服務已經配置,控制檯頭部的導航欄將顯示如下: 導航欄顯示以下資訊: 叢集(Clusters > clu

CENTOS 7.5離線安裝Cloudera Manager 5和CDH5(5.15.0) 完全教程

特別宣告:LZ按照教程完整的走了一遍,最終所有元件都是正常的,中間遇到很多坑,做了一些修改,本文最後會將遇到的一些坑總結到一片新文章中 windows虛擬機器安裝CDH cpu 16G記憶體 預設單核單線 DEV2 Server&&a

Cloudera Manager 5和CDH5離線安裝,CDH-5.7.1

進行了大範圍修改和完善 檔案下載 CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop眾多分支中的一種,由Cloudera維護,基於穩定版本的Apache Hadoop構建,並集成了很多補

cloudera manager 5.7 安裝配置以及一些注意事項

groupadd mysqluseradd -M -g mysql -s /sbin/nologin -d /usr/local/mysql  mysqltar xf /opt/mysql-5.6.34-linux-glibc2.5-x86_64.tar.gz  -C /us

離線安裝Cloudera Manager 5和CDH5及與遇到的問題總結

     今天介紹一下:在linux系統下,如何通過CDH搭建叢集. 1.1Cloudera Manager簡介 Cloudera Manager是一個擁有叢集自動化安裝、中心化管理、叢集監控、報警功能的一個工具(軟體),使得安裝叢集從幾天的時間縮短在幾個小時內,

Cloudera Manager 5.15.2離線安裝筆記(一)

nts post rmi operator supported 出現 nbsp devel 技術 工欲善其事必先利其器,想要學好一門技術首先得有趁手的工具,要想學好大數據技術,還是得有比較好的工具才行。本筆記記錄的是安裝Cloudera Manager的過程。 CDH的全稱

作業系統 作業系統引論—重點整理很奈斯

計算機作業系統是方便使用者管理和控制計算機資源的系統軟體。 資源:硬體資源,軟體資源。硬體資源:CPU/記憶體/外設。軟體資源:分為系統軟體(Windows/unix/linux,系統的補丁,硬體驅動程式),應用軟體(工具,遊戲,管理)。計算機軟體:指計算機的程式及文件。! 作業系

常用格式轉換整理byte轉string int轉string....

1、String和int轉換 (1)Sting 轉為int String str = "123"; try { int a = Integer.parseInt(str); } catch (NumberFormatException e) { e.printStackT

十三款著名跨平臺遊戲引擎原文翻譯部分轉自遊俠網

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!