大資料平臺運維------CM與CDH的升級
CM與CDH的升級過程有點類似與安裝過程,這裡我們也是採用離線安裝模式,各軟體版本資訊為:
作業系統:CentOS6.8
CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha
CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel
manifest.json
升級到 5.11.0:CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha
manifest.json
*********不要在沒有將parcel包放入相關目錄前就點選升級嚮導,會線上下載且無法關閉***********
- 檢查是否有SSH免金鑰
- 檢查作業系統型別和版本支援
- 檢查jdk版本支援
- 檢查CDH資訊
- 檢查CDH安裝來源(parcel)
- 檢查正在執行的服務
- 停止CM服務
- 備份如下CM的資料庫
mysqldump -hhostname -uusername -ppassword database > /tmp/databasename-backup.sql |
1、關閉CMserver、資料庫、CMagent的服務
sudo service cloudera-scm-server stop sudo service cloudera-scm-agent stop |
2、下載CM的壓縮包,連結是
cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64.rpm
3、建立安裝包目錄
mkdir /tmp/cloudera-manager-upgrade/cm |
4、分發agent和daemon到agent
scp -r cm [email protected]:/tmp/cloudera-manager-upgrade/cm |
5、升級
rpm -Uvh /tmp/cloudera-manager-upgrade/cm/*.rpm (客戶端和主機都要對應升級) |
進入CM控制檯驗證即可。
- 檢查是否有SSH免金鑰
- 檢查作業系統型別和版本支援
- 檢查jdk版本支援
- 檢查CM資訊
- 檢查CDH資訊
- 檢查CDH安裝來源(parcel)
- 檢查正在執行的服務
- 檢查資料庫資訊(Oozie、Hue、Hive Metastore、Sentry Server)
hdfs fsck / hdfs dfsadmin -report (列印錯誤) |
- 檢查以HBase使用者登入節點,檢查
hbase hbck |
- 如果HUE配置了TLS,且原版本是5.2或5.3,需要建立truststore
- 如果安裝了Flume或者Kafka,且新版本是5.8,額外進行下面步驟
# cd /data/dfs/nn(通過CM找到的NN資料目錄) # tar -cvf /root/nn_backup_data.tar . |
mysqldump -hhostname -uusername -ppassword database > /tmp/databasename-backup.sql |
1、將新版本的CDH的parcel包,也放在/opt/clouera/parcel-repo下,包括parcel和parcel.sha,不需要mainfest.json
2、CM管理頁面中點叢集、升級叢集,一直下一步:
3、選擇下好的parcel包對應版本
4、一路下一步即可
注意檢查是否有失敗的步驟,若有,手動重啟
相關推薦
大資料平臺運維------CM與CDH的升級
CM與CDH的升級過程有點類似與安裝過程,這裡我們也是採用離線安裝模式,各軟體版本資訊為:作業系統:CentOS6.8CDH版本:5.7.1:CDH-5.7.1-1.cdh5.7.1.p0.11-el5.parcel.sha CDH-5.7.1-
大資料平臺運維-----Kerberos環境下Hive及Impala監控指令碼的開發
一、工程目錄二、原理解析 Hive和Impala是兩個最常用的大資料查詢工具,他們的主要區別是Hive適合對實時性要求不太高的業務,對資源的要求較低;而Impala的由於採用了全新的架構,處理速度非常的快,但同樣的也對資源消耗比較大,適合實時性要求高的業務。 在我
亞馬遜AWS創新與實踐專場:AWS的大資料、運維與架構實戰
【CSDN現場報道】5月13日-15日,由全球最大中文IT社群CSDN主辦的“2016中國雲端計算技術大會”(Cloud Computing Technology Conference 2016,簡稱CCTC 2016)在北京新雲南皇冠假日酒店隆重舉行。本次大會
餓了麼大資料平臺排程系統演進與實踐
背景 隨著餓了麼在大資料應用的不斷深入,需要解決任務數量增長快 ,任務多樣化,任務關係複雜,任務執行效率低,任務失敗不可控等問題。 目前現狀 每天完成大資料任務計算54000+ 節點叢集85臺
大資料平臺架構技術選型與場景運用
導讀:本文將大資料的工作角色分為三種類型,包括業務相關、資料科學相關和資料工程。大資料平臺偏向於工程方面,大資料平臺一般包括資料來源、資料採集、資料儲存、資料分析等方面。 講師從資料來源、資料來源結構、資料變化程度和資料規模等4個維度對資料來源進行分類,資料來源分類維度的
CM+CDH構建企業大資料平臺系列(一)
問題導讀:1、CM是什麼?2、CDH是什麼?3、CM+CDH是什麼?4、什麼是企業大資料平臺?5、如何用CM+CDH構建企業大資料平臺?..........帶著種種疑問讓我們開啟真正的企業級大資料平臺搭建之旅。 隨著網際網路,尤其是移動網際網路和智慧移動裝置的高速發展和
CM+CDH構建企業大資料平臺系列(十二)
完整視訊+圖文資料獲取及技術答疑請加:大講臺大資料研習社⑦ :695520445 搭建時間伺服器並配置叢集自動時鐘同步一、搭建時間伺服器 (一)為什麼要搭建時間伺服器 因為Hadoop 對叢集中各個機
CM+CDH構建企業大資料平臺系列(六)
一、克隆Linux虛擬機器 1、為什麼要克隆虛擬機器? 第一:我們要搭建分散式叢集,需要多臺虛擬機器 第二:我們不想像安裝第一臺虛擬機器那樣從頭到尾做多次重複的操作,既浪費時間又沒有什麼技術含量。 那麼怎麼辦呢? 所以我們就採用克隆的方式,你想要多少臺虛擬機器就克隆多少臺。但是我
CM+CDH構建企業大資料平臺系列(十六)
完整視訊+圖文資料獲取及技術答疑請加:大講臺大資料研習社⑦ :695520445 安裝Cloudera Manager Server四、安裝Cloudera
CM+CDH構建企業大資料平臺系列(十七)
五、下載CDH的parcels包並配置到Cloudera Manager主伺服器上 CM安裝成功之後,接下來我們就可以通過CM安裝CDH的方式構建企業大資料平臺。所以首先需要把CDH的parcels包下載到CM主伺服器上。 那麼Parcels包是什麼?從哪下載呢?怎麼安裝配置到CM主伺服器上?首先
CM+CDH構建企業大資料平臺系列(二)
安裝部署多臺Linux虛擬機器一、如何理解安裝部署多臺Linux虛擬機器 1、什麼是Linux虛擬機器? 虛擬機器簡單的你可以把它理解為虛擬的電腦,從功能角度來說,這個虛擬的電腦和真實的電腦幾乎完全一樣,只是說虛擬機器的硬碟是在一個檔案中虛擬出來的。這個簡單
網站運維技術與實踐之資料採集、傳輸與過濾 談談運維人員謹慎作業系統環境和管理
一、採集點的取捨 說到資料分析,首先當然是資料越全面越詳細越好。因為這有助於分析得出比較正確的結果,從而做出合理的決策。 1.伺服器資料 採集的伺服器資料主要圍繞著這麼幾個? (1)伺服器負載 (2)磁碟讀寫 (3)網絡卡流量 如何採集這些資料,可以通過zabbix監控獲取。 關於zabbix
網站運維技術與實踐之資料分析與報警
對於日益積累的監控資料,顯然需要有規劃地進行儲存和分析,做到“故障沒來時有預防,故障來臨時有提示,故障到來時有解決方案”。 一、時間序列儲存 對於大多數監控資料,都有一個天然的類似資料庫主鍵的屬性,那就是時間。所以,通常情況下,各類監控系統的後臺資料庫都可以認為是時間序列的資
架構師實踐日 11.9 南京站報名 | 技術大牛帶你剖析大資料平臺內部演進中的挑戰與實踐
從網際網路時代到物聯網時代,資料成為了企業的核心資產,挖掘資料價值成為了企業資料探索、技術應用的重中之重,甚至將影響到企業未來的發展和商業模式。但大資料體量大、多樣性、價值密度低、速度快等特徵,也給大資料的應用研發工作帶來了不少挑戰。  如何應對大資料
網站運維技術與實踐之資料採集、傳輸與過濾
一、採集點的取捨 說到資料分析,首先當然是資料越全面越詳細越好。因為這有助於分析得出比較正確的結果,從而做出合理的決策。 1.伺服器資料 採集的伺服器資料主要圍繞著這麼幾個? (1)伺服器負載 (2)磁碟讀寫 (3)網絡卡流量 如何採集這些資料,可以通過zabbix監控獲取。 關於zabbix學習,可以參考我
Hadoop大資料平臺架構與實踐
一、什麼是Apache Hadoop? 1.1 定義和特性 可靠的、可擴充套件的、分散式計算開源軟體。 Apache Hadoop軟體庫是一個框架,允許使用簡單的程式設計模型,在計算機叢集分散式地處理大型資料集。 它可以從單個伺服器擴充套件到數千臺機器,每個機
資料中心運維工程師的十大機房管理制度,你瞭解嗎?
機房管理是傳統IDC以及資料中心的運維工程師、運維經理關注的主要工作,運維派收集整理了一些關於機房管理制度建設的條例分享給大家,如果您有更好的經驗,歡迎留言分享,也歡迎投稿到運維派。 一、機房人員日常行為準則 1、必須注意環境衛生。禁止在機房內吃食物、抽菸、隨地吐痰;對於意外或工作過程中弄汙機房地板
CDH大資料平臺優化---hdfs優化
hdfs作為大資料底層的分散式檔案系統,在大資料生態圈中起著很重要的作用,hdfs檔案系統的效能直接影響著大資料平臺效能。故對hdfs做有效的優化顯得尤其重要。現對hdfs優化總結如下: core-default.xml h
CDH大資料平臺優化---作業系統優化
在安裝cdh大資料平臺之前,為了得到更高的效率,需要從作業系統層面做一些簡單的優化。優化主要有以下幾點: 1.Disable the tuned Service systemctl stop tuned systemctl disable tuned 2.Disabling Tr
大資料平臺建設方案(專案需求與技術方案)
一、專案背景 “十三五”期間,隨著我國現代資訊科技的蓬勃發展,資訊化建設模式發生根本性轉變,一場以雲端計算、大資料、物聯網、移動應用等技術為核心的“新 IT”浪潮風起雲湧,資訊化應用進入一個“新常態”。***(某政府部門)為積極應對“網際網路+”和大資料時代的機遇和挑戰,適應全