1. 程式人生 > >從零搭建Hadoop叢集(一)——離線安裝YUM源搭建

從零搭建Hadoop叢集(一)——離線安裝YUM源搭建

概述

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,簡稱“CDH”),基於Web的使用者管理介面,支援大部分Hadoop元件,包括HDFS、YARN、Hive、 Hbase、Zookeeper、Flume、Impala等,簡化了大資料平臺的安裝、監控和管理。 CDH官方提供了三種安裝方式:

  1. 第一種方式,要求伺服器能連外網,由於CDH等國外的網站容易出現超時連線錯誤,耗時也較長,且一旦失敗重灌也很麻煩。
  2. 第二種方式,使用Tarballs安裝,需要下載很多包,而且需要手動操作安裝和配置相關程式。
  3. 第三種方式,可實現全離線安裝,而且重灌十分方便,也有利於後期的叢集統一包升級,因此這也是比較推薦的安裝方式。

本系列主要詳細介紹CDH叢集的搭建步驟,而本文則主要介紹CDH軟體包本地YUM源的搭建。

系統要求

本文基於CentOS7進行部署,Cloudera Manager版本選擇5.8.1,CDH版本5.8.0。高版本的CM可以管理低版本的CDH,但是前提是minor version需要一致,否則可能出現相容性及穩定性風險。若與筆者版本不一,安裝包需根據實際下載。 在這裡插入圖片描述

配置步驟

下載Cloudera Manager相關安裝包

下載CDH parcel包

建立YUM倉庫

啟動httpd服務

vim /etc/httpd/conf/httpd.conf

在這裡插入圖片描述

安裝createrepo

yum install createrepo

配置YUM源

將前面下載的CM Server、parcel安裝包複製到/opt/www/html指定目錄中(CM Server目錄位於/opt/www/html/cloudera-manager-5.8.1,CDH目錄位於/opt/www/html/cloudera-parcel-5.8.0),做成源,執行createrepo後會在該目錄中生成repodata目錄。

cd /opt/www/html
createrepo cloudera-manager-5.8.1

在這裡插入圖片描述 對於cloudera-parcel-5.8.0做類似操作即可。 配置完後,測試瀏覽器上是否能夠訪問響應內容。

所有需要安裝CDH的伺服器更新YUM源配置

/etc/yum.repos.d/cloudera-manager-man.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://you-server-ip/cloudera-manager-5.8.1/
enabled = 1
gpgcheck = 0

/etc/yum.repos.d/cloudera-parcel-man.repo

[cloudera-parcel]
name=Cloudera Parcel
baseurl=http://you-server-ip/cloudera-parcel-5.8.0/
enabled = 1
gpgcheck = 0

執行以下命令

yum clean metadata
yum makecache

自此,CDH相關安裝包的YUM源已經配置好,為之後的離線安裝做好了準備。至於環境的準備及CDH元件的安裝,會在接下來的文章中介紹。