1. 程式人生 > >大資料平臺運維------CM與CDH的升級

大資料平臺運維------CM與CDH的升級

CM與CDH的升級過程有點類似與安裝過程,這裡我們也是採用離線安裝模式,各軟體版本資訊為:

作業系統:CentOS6.8

CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha

                CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel

                 manifest.json

升級到 5.11.0:CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel

                      CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha

                      manifest.json

*********不要在沒有將parcel包放入相關目錄前就點選升級嚮導,會線上下載且無法關閉***********

  • 檢查是否有SSH免金鑰
  • 檢查作業系統型別和版本支援
  • 檢查jdk版本支援
  • 檢查CDH資訊
  • 檢查CDH安裝來源(parcel)
  • 檢查正在執行的服務
  1. 停止CM服務
  2. 備份如下CM的資料庫

mysqldump -hhostname -uusername -ppassword database > /tmp/databasename-backup.sql

    1、關閉CMserver、資料庫、CMagent的服務

sudo service cloudera-scm-server stop

sudo service cloudera-scm-agent stop

    2、下載CM的壓縮包,連結是

        cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64.rpm

        cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64.rpm

        cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64.rpm

    3、建立安裝包目錄

mkdir /tmp/cloudera-manager-upgrade/cm

    4、分發agent和daemon到agent

scp -r cm [email protected]:/tmp/cloudera-manager-upgrade/cm

    5、升級

rpm -Uvh /tmp/cloudera-manager-upgrade/cm/*.rpm (客戶端和主機都要對應升級)

進入CM控制檯驗證即可。


  • 檢查是否有SSH免金鑰
  • 檢查作業系統型別和版本支援
  • 檢查jdk版本支援
  • 檢查CM資訊
  • 檢查CDH資訊
  • 檢查CDH安裝來源(parcel)
  • 檢查正在執行的服務
  • 檢查資料庫資訊(Oozie、Hue、Hive Metastore、Sentry Server)

hdfs fsck  /

hdfs dfsadmin -report (列印錯誤)

  • 檢查以HBase使用者登入節點,檢查

hbase hbck

  • 如果HUE配置了TLS,且原版本是5.2或5.3,需要建立truststore
  • 如果安裝了Flume或者Kafka,且新版本是5.8,額外進行下面步驟

# cd /data/dfs/nn(通過CM找到的NN資料目錄)

# tar -cvf /root/nn_backup_data.tar .

mysqldump -hhostname -uusername -ppassword database > /tmp/databasename-backup.sql

1、將新版本的CDH的parcel包,也放在/opt/clouera/parcel-repo下,包括parcel和parcel.sha,不需要mainfest.json

2、CM管理頁面中點叢集、升級叢集,一直下一步:


3、選擇下好的parcel包對應版本


4、一路下一步即可

注意檢查是否有失敗的步驟,若有,手動重啟


相關推薦

資料平臺------CMCDH升級

CM與CDH的升級過程有點類似與安裝過程,這裡我們也是採用離線安裝模式,各軟體版本資訊為:作業系統:CentOS6.8CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha                CDH-5.7.1-

資料平臺-----Kerberos環境下Hive及Impala監控指令碼的開發

一、工程目錄二、原理解析    Hive和Impala是兩個最常用的大資料查詢工具,他們的主要區別是Hive適合對實時性要求不太高的業務,對資源的要求較低;而Impala的由於採用了全新的架構,處理速度非常的快,但同樣的也對資源消耗比較大,適合實時性要求高的業務。    在我

亞馬遜AWS創新實踐專場:AWS的資料架構實戰

【CSDN現場報道】5月13日-15日,由全球最大中文IT社群CSDN主辦的“2016中國雲端計算技術大會”(Cloud Computing Technology Conference 2016,簡稱CCTC 2016)在北京新雲南皇冠假日酒店隆重舉行。本次大會

餓了麼資料平臺排程系統演進實踐

背景 隨著餓了麼在大資料應用的不斷深入,需要解決任務數量增長快 ,任務多樣化,任務關係複雜,任務執行效率低,任務失敗不可控等問題。 目前現狀 每天完成大資料任務計算54000+ 節點叢集85臺

資料平臺架構技術選型場景運用

導讀:本文將大資料的工作角色分為三種類型,包括業務相關、資料科學相關和資料工程。大資料平臺偏向於工程方面,大資料平臺一般包括資料來源、資料採集、資料儲存、資料分析等方面。 講師從資料來源、資料來源結構、資料變化程度和資料規模等4個維度對資料來源進行分類,資料來源分類維度的

CM+CDH構建企業資料平臺系列(一)

問題導讀:1、CM是什麼?2、CDH是什麼?3、CM+CDH是什麼?4、什麼是企業大資料平臺?5、如何用CM+CDH構建企業大資料平臺?..........帶著種種疑問讓我們開啟真正的企業級大資料平臺搭建之旅。    隨著網際網路,尤其是移動網際網路和智慧移動裝置的高速發展和

CM+CDH構建企業資料平臺系列(十二)

完整視訊+圖文資料獲取及技術答疑請加:大講臺大資料研習社⑦ :695520445                            搭建時間伺服器並配置叢集自動時鐘同步一、搭建時間伺服器   (一)為什麼要搭建時間伺服器          因為Hadoop 對叢集中各個機

CM+CDH構建企業資料平臺系列(六)

一、克隆Linux虛擬機器    1、為什麼要克隆虛擬機器?    第一:我們要搭建分散式叢集,需要多臺虛擬機器    第二:我們不想像安裝第一臺虛擬機器那樣從頭到尾做多次重複的操作,既浪費時間又沒有什麼技術含量。    那麼怎麼辦呢?    所以我們就採用克隆的方式,你想要多少臺虛擬機器就克隆多少臺。但是我

CM+CDH構建企業資料平臺系列(十六)

完整視訊+圖文資料獲取及技術答疑請加:大講臺大資料研習社⑦ :695520445                        安裝Cloudera Manager Server四、安裝Cloudera

CM+CDH構建企業資料平臺系列(十七)

五、下載CDH的parcels包並配置到Cloudera Manager主伺服器上    CM安裝成功之後,接下來我們就可以通過CM安裝CDH的方式構建企業大資料平臺。所以首先需要把CDH的parcels包下載到CM主伺服器上。    那麼Parcels包是什麼?從哪下載呢?怎麼安裝配置到CM主伺服器上?首先

CM+CDH構建企業資料平臺系列(二)

安裝部署多臺Linux虛擬機器一、如何理解安裝部署多臺Linux虛擬機器   1、什麼是Linux虛擬機器?        虛擬機器簡單的你可以把它理解為虛擬的電腦,從功能角度來說,這個虛擬的電腦和真實的電腦幾乎完全一樣,只是說虛擬機器的硬碟是在一個檔案中虛擬出來的。這個簡單

網站技術實踐之資料採集、傳輸過濾 談談人員謹慎作業系統環境和管理

一、採集點的取捨 說到資料分析,首先當然是資料越全面越詳細越好。因為這有助於分析得出比較正確的結果,從而做出合理的決策。 1.伺服器資料 採集的伺服器資料主要圍繞著這麼幾個? (1)伺服器負載 (2)磁碟讀寫 (3)網絡卡流量 如何採集這些資料,可以通過zabbix監控獲取。 關於zabbix

網站技術實踐之資料分析報警

  對於日益積累的監控資料,顯然需要有規劃地進行儲存和分析,做到“故障沒來時有預防,故障來臨時有提示,故障到來時有解決方案”。      一、時間序列儲存      對於大多數監控資料,都有一個天然的類似資料庫主鍵的屬性,那就是時間。所以,通常情況下,各類監控系統的後臺資料庫都可以認為是時間序列的資

架構師實踐日 11.9 南京站報名 | 技術牛帶你剖析資料平臺內部演進中的挑戰實踐

從網際網路時代到物聯網時代,資料成為了企業的核心資產,挖掘資料價值成為了企業資料探索、技術應用的重中之重,甚至將影響到企業未來的發展和商業模式。但大資料體量大、多樣性、價值密度低、速度快等特徵,也給大資料的應用研發工作帶來了不少挑戰。  如何應對大資料

網站技術實踐之資料採集、傳輸過濾

一、採集點的取捨 說到資料分析,首先當然是資料越全面越詳細越好。因為這有助於分析得出比較正確的結果,從而做出合理的決策。 1.伺服器資料 採集的伺服器資料主要圍繞著這麼幾個? (1)伺服器負載 (2)磁碟讀寫 (3)網絡卡流量 如何採集這些資料,可以通過zabbix監控獲取。 關於zabbix學習,可以參考我

Hadoop資料平臺架構實踐

一、什麼是Apache Hadoop? 1.1 定義和特性 可靠的、可擴充套件的、分散式計算開源軟體。 Apache Hadoop軟體庫是一個框架,允許使用簡單的程式設計模型,在計算機叢集分散式地處理大型資料集。 它可以從單個伺服器擴充套件到數千臺機器,每個機

資料中心工程師的十機房管理制度,你瞭解嗎?

機房管理是傳統IDC以及資料中心的運維工程師、運維經理關注的主要工作,運維派收集整理了一些關於機房管理制度建設的條例分享給大家,如果您有更好的經驗,歡迎留言分享,也歡迎投稿到運維派。 一、機房人員日常行為準則 1、必須注意環境衛生。禁止在機房內吃食物、抽菸、隨地吐痰;對於意外或工作過程中弄汙機房地板

CDH資料平臺優化---hdfs優化

        hdfs作為大資料底層的分散式檔案系統,在大資料生態圈中起著很重要的作用,hdfs檔案系統的效能直接影響著大資料平臺效能。故對hdfs做有效的優化顯得尤其重要。現對hdfs優化總結如下: core-default.xml h

CDH資料平臺優化---作業系統優化

在安裝cdh大資料平臺之前,為了得到更高的效率,需要從作業系統層面做一些簡單的優化。優化主要有以下幾點: 1.Disable the tuned Service systemctl stop tuned systemctl disable tuned 2.Disabling Tr

資料平臺建設方案(專案需求技術方案)

一、專案背景   “十三五”期間,隨著我國現代資訊科技的蓬勃發展,資訊化建設模式發生根本性轉變,一場以雲端計算、大資料、物聯網、移動應用等技術為核心的“新 IT”浪潮風起雲湧,資訊化應用進入一個“新常態”。***(某政府部門)為積極應對“網際網路+”和大資料時代的機遇和挑戰,適應全