OEMCC 13.2 叢集版本安裝部署

阿新 • • 發佈：2018-11-09

之前測試部署過OEMCC 13.2單機，具體可參考之前隨筆：

OEMCC 13.2 安裝部署

當時環境：兩臺主機，系統RHEL 6.5，分別部署OMS和OMR：
OMS，也就是OEMCC的服務端 IP：192.168.1.88 記憶體：12G+ 硬碟：100G+
OMR，也就是OEM底層的資料庫 IP：192.168.1.89 記憶體：8G+ 硬碟：100G+

相當於OMS和OMR都是單機版，然後有些客戶對監控系統的要求也很高，這就需要叢集來提升高可用性。
對於OMR來說，可以搭建對應版本的RAC來解決單點故障，那麼對於OMS而言，又如何構建具備高可用性的叢集呢？
最近遇到某客戶有這樣的高可用需求，本文總結記錄一下OEMCC叢集版本的完整安裝過程。

1.需求描述
2.環境規劃
3.OMR叢集安裝
3.1 環境準備
3.2 GI安裝
3.3 建立ASM磁碟組、ACFS叢集檔案系統
3.4 DB軟體安裝
3.5 DBCA使用模版建庫
4.OMS叢集安裝
4.1 環境準備
4.2 安裝主節點
4.3 新增OMS節點
4.4 測試OMS高可用性
5.SLB配置

1.需求描述

客戶要求部署OEMCC13.2叢集，包括OMR的叢集和OMS的叢集，其中OMR的叢集就是對應Oracle 12.1.0.2 RAC；OMS的叢集要求Active-Active模式，並配合SLB實現負載均衡。

2.環境規劃

使用兩臺虛擬機器來實現部署。配置資訊如下：

需要提前下載如下安裝介質：

--oemcc13.2安裝介質
em13200p1_linux64.bin
em13200p1_linux64-2.zip
em13200p1_linux64-3.zip
em13200p1_linux64-4.zip
em13200p1_linux64-5.zip
em13200p1_linux64-6.zip
em13200p1_linux64-7.zip
--oracle 12.1.0.2 RAC 安裝介質：
p21419221_121020_Linux-x86-64_1of10.zip
p21419221_121020_Linux-x86-64_2of10.zip
p21419221_121020_Linux-x86-64_5of10.zip
p21419221_121020_Linux-x86-64_6of10.zip
--dbca針對oemcc13.2的建庫模版：
12.1.0.2.0_Database_Template_for_EM13_2_0_0_0_Linux_x64.zip

3.OMR叢集安裝

OMR叢集通過Oracle RAC來實現：OEMCC 13.2提供的模版，要求資料庫（OMR）版本為12.1.0.2。

3.1 環境準備

1) 配置yum源安裝依賴rpm包：

yum install binutils compat-libcap1 compat-libstdc++-33 \
e2fsprogs e2fsprogs-libs glibc glibc-devel ksh libaio-devel libaio libgcc libstdc++ libstdc++-devel \
libxcb libX11 libXau libXi libXtst make \
net-tools nfs-utils smartmontools sysstat

2) 各節點關閉防火牆、SELinux：

--各節點關閉防火牆:
service iptables stop
chkconfig iptables off

--各節點關閉SELinux:
getenforce
修改/etc/selinux/config SELINUX= disabled
--臨時關閉SELinux
setenforce 0

3) 配置 /etc/hosts檔案：

#public ip
10.1.43.211 oemapp1
10.1.43.212 oemapp2
#virtual ip
10.1.43.208 oemapp1-vip
10.1.43.209 oemapp2-vip
#scan ip
10.1.43.210 oemapp-scan

#private ip
172.16.43.211 oemapp1-priv
172.16.43.212 oemapp2-priv

4) 建立使用者、組；

--建立group & user：
groupadd -g 54321 oinstall
groupadd -g 54322 dba
groupadd -g 54323 oper
groupadd -g 54324 backupdba
groupadd -g 54325 dgdba
groupadd -g 54326 kmdba  
groupadd -g 54327 asmdba  
groupadd -g 54328 asmoper  
groupadd -g 54329 asmadmin  
groupadd -g 54330 racdba  
  
useradd -u 54321 -g oinstall -G dba,asmdba,backupdba,dgdba,kmdba,racdba,oper oracle  
useradd -u 54322 -g oinstall -G asmadmin,asmdba,asmoper,dba grid  

--然後給oracle、grid設定密碼：
passwd oracle 
passwd grid

5) 各節點建立安裝目錄(root使用者)：

mkdir -p /app/12.1.0.2/grid
mkdir -p /app/grid
mkdir -p /app/oracle
chown -R grid:oinstall /app
chown oracle:oinstall /app/oracle
chmod -R 775 /app

6) 共享LUN規則配置：

vi /etc/udev/rules.d/99-oracle-asmdevices.rules
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29ad39372db383c7903d31788d0", NAME="asm-data1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c298c085f4e57c1f9fcd7b3d1dbf", NAME="asm-data2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c290b495ab0b6c1b57536f4b3cf8", NAME="asm-ocr1", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29e7743dca47419aca041b88221", NAME="asm-ocr2", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", BUS=="scsi", PROGRAM=="/sbin/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36000c29608a9ddb8b3168936d01a4f7b", NAME="asm-ocr3", OWNER="grid", GROUP="asmadmin", MODE="0660"

過載規則後確認共享LUN名稱和許可權屬組：

[[email protected] media]# udevadm control --reload-rules 
[[email protected] media]# udevadm trigger
[[email protected] media]# ls -l /dev/asm*
brw-rw----. 1 grid asmadmin 8, 16 Oct  9 12:27 /dev/asm-data1
brw-rw----. 1 grid asmadmin 8, 32 Oct  9 12:27 /dev/asm-data2
brw-rw----. 1 grid asmadmin 8, 48 Oct  9 12:27 /dev/asm-ocr1
brw-rw----. 1 grid asmadmin 8, 64 Oct  9 12:27 /dev/asm-ocr2
brw-rw----. 1 grid asmadmin 8, 80 Oct  9 12:27 /dev/asm-ocr3

7) 核心引數修改：

vi /etc/sysctl.conf
# vi /etc/sysctl.conf  增加如下內容：
fs.file-max = 6815744  
kernel.sem = 250 32000 100 128  
kernel.shmmni = 4096  
kernel.shmall = 1073741824  
kernel.shmmax = 6597069766656
kernel.panic_on_oops = 1  
net.core.rmem_default = 262144  
net.core.rmem_max = 4194304  
net.core.wmem_default = 262144  
net.core.wmem_max = 1048576  
net.ipv4.conf.eth1.rp_filter = 2
net.ipv4.conf.eth0.rp_filter = 1  
fs.aio-max-nr = 1048576  
net.ipv4.ip_local_port_range = 9000 65500

修改生效：

# /sbin/sysctl –p

8) 使用者shell的限制：

vi /etc/security/limits.conf
#在/etc/security/limits.conf 增加如下內容：
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240

9) 插入式認證模組配置：

vi /etc/pam.d/login
--載入 pam_limits.so 模組
 使用 root 使用者修改以下檔案/etc/pam.d/login,增加如下內容：
session required pam_limits.so

說明：limits.conf 檔案實際是 Linux PAM（插入式認證模組，Pluggable Authentication Modules）中 pam_limits.so 的配置檔案，而且只針對於單個會話。

10) 各節點設定使用者的環境變數：

--第1個節點grid使用者：
export ORACLE_SID=+ASM1;
export ORACLE_BASE=/app/grid
export ORACLE_HOME=/app/12.1.0.2/grid; 
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib 

--第2個節點grid使用者：
export ORACLE_SID=+ASM2;
export ORACLE_BASE=/app/grid
export ORACLE_HOME=/app/12.1.0.2/grid; 
export PATH=$ORACLE_HOME/bin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;

--第1個節點oracle使用者：
export ORACLE_SID=omr1; 
export ORACLE_BASE=/app/oracle;
export ORACLE_HOME=/app/oracle/product/12.1.0.2/db_1;
export ORACLE_HOSTNAME=;
export PATH=$ORACLE_HOME/bin:$PATH; 
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; 

--第2個節點oracle使用者：
export ORACLE_SID=omr2; 
export ORACLE_BASE=/app/oracle;
export ORACLE_HOME=/app/oracle/product/12.1.0.2/db_1;
export ORACLE_HOSTNAME=;
export PATH=$ORACLE_HOME/bin:$PATH; 
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib; 
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib;

3.2 GI安裝

解壓安裝介質：

unzip p21419221_121020_Linux-x86-64_5of10.zip
unzip p21419221_121020_Linux-x86-64_6of10.zip

配置DISPLAY變數，呼叫圖形介面安裝GI：

[[email protected] grid]$ export DISPLAY=10.1.52.76:0.0
[[email protected] grid]$ ./runInstaller

3.3 建立ASM磁碟組、ACFS叢集檔案系統

配置DISPLAY變數，呼叫圖形介面建立ASM磁碟組、ACFS叢集檔案系統：

[[email protected] grid]$ export DISPLAY=10.1.52.76:0.0
[[email protected] grid]$ asmca

建立ASM磁碟組：

建立ACFS叢集檔案系統：

3.4 DB軟體安裝

解壓安裝介質：

unzip p21419221_121020_Linux-x86-64_1of10.zip
unzip p21419221_121020_Linux-x86-64_2of10.zip

配置DISPLAY變數，呼叫圖形介面安裝DB軟體：

[[email protected] database]$ export DISPLAY=10.1.52.76:0.0
[[email protected] database]$ ./runInstaller

安裝db軟體：

3.5 DBCA使用模版建庫

解壓模版檔案到模版目錄下，之後dbca就可以從這些模版中選擇使用：

[[email protected] media]$ unzip 12.1.0.2.0_Database_Template_for_EM13_2_0_0_0_Linux_x64.zip -d /app/oracle/product/12.1.0.2/db_1/assistants/dbca/templates

DBCA建庫步驟：
注意：資料庫字符集強烈建議選擇AL32UTF8，在後面配置OMS的時候會有對應提示。

4.OMS叢集安裝

本次OMS的叢集要求Active-Active模式，並配合SLB實現負載均衡。

4.1 環境準備

以下環境準備工作是對OMS的兩個節點同步操作：
oracle使用者環境變數新增：

#OMS
export OMS_HOME=$ORACLE_BASE/oms_local/middleware
export AGENT_HOME=$ORACLE_BASE/oms_local/agent/agent_13.2.0.0.0

建立目錄：

su - oracle
mkdir -p /app/oracle/oms_local/agent
mkdir -p /app/oracle/oms_local/middleware

對/etc/hosts 修訂，使符合oemcc對主機名稱的要求（選做）：

#public ip
10.1.43.211 oemapp1 oemapp1.oracle.com
10.1.43.212 oemapp2 oemapp2.oracle.com

4.2 安裝主節點

開始安裝：

su - oracle
export DISPLAY=10.1.52.76:0.0
./em13200p1_linux64.bin

安裝步驟：

4.3 新增OMS節點

本節使用OEMCC來新增OMS節點，需要先新增agent，然後新增OMS節點：

說明：
1./app/oracle/OMS是共享檔案系統；
2./app/oracle/oms_local是各節點本地的檔案系統；
3.OMR資料庫的processes引數需要從預設300修改為600.

1) 新增agent

2) 新增OMS節點
選擇Enterprise menu -> Provisioning and Patching -> Procedure Library.
找到Add Oracle Management Service，點選Launch。
注意：OMS的相關埠，每個OMS節點儘可能保持一致，避免增加後續配置維護的複雜性。

4.4 測試OMS高可用性

分別使用節點1和節點2的IP地址均可以正常訪問到OEMCC網頁介面：

且任意關掉某一節點，另外存活節點訪問不受影響。
附：操作oms啟動／停止／檢視狀態的命令：

--檢視oms狀態
$OMS_HOME/bin/emctl status oms
$OMS_HOME/bin/emctl status oms –details
--停止oms
$OMS_HOME/bin/emctl stop oms
$OMS_HOME/bin/emctl stop oms –all
--啟動oms
$OMS_HOME/bin/emctl start oms

5.SLB配置

負載均衡使用的產品是radware，這部分需要負載均衡工程師進行配置。下面是根據Oracle官方文件結合本次需求整理出的配置要求，供參考：

其他具體配置項，例如Monitors、Pools、Required Virtual Servers等都按此為基準結合官方文件進行規劃設計即可，不再贅述。

在/etc/hosts 新增負載均衡地址名稱解析：

10.1.44.207 myslb.oracle.com

SLB配置後，OMS同步需要配置。

配置OMS：

$OMS_HOME/bin/emctl secure oms -host myslb.oracle.com -secure_port 4903 -slb_port 4903 -slb_console_port 443 -slb_bip_https_port 5443 -slb_jvmd_https_port 7301 -lock_console -lock_upload

配置agent：

$AGENT_HOME/bin/emctl secure agent –emdWalletSrcUrl https://myslb.oracle.com:4903/em

檢視oms狀態：

[[email protected] backup]$ $OMS_HOME/bin/emctl status oms -details
Oracle Enterprise Manager Cloud Control 13c Release 2  
Copyright (c) 1996, 2016 Oracle Corporation.  All rights reserved.
Enter Enterprise Manager Root (SYSMAN) Password : 
Console Server Host        : oemapp1.oracle.com
HTTP Console Port          : 7788
HTTPS Console Port         : 7802
HTTP Upload Port           : 4889
HTTPS Upload Port          : 4903
EM Instance Home           : /app/oracle/oms_local/gc_inst/em/EMGC_OMS1
OMS Log Directory Location : /app/oracle/oms_local/gc_inst/em/EMGC_OMS1/sysman/log
SLB or virtual hostname: myslb.oracle.com
HTTPS SLB Upload Port : 4903
HTTPS SLB Console Port : 443
HTTPS SLB JVMD Port : 7301
Agent Upload is locked.
OMS Console is locked.
Active CA ID: 1
Console URL: https://myslb.oracle.com:443/em
Upload URL: https://myslb.oracle.com:4903/empbs/upload

WLS Domain Information
Domain Name            : GCDomain
Admin Server Host      : oemapp1.oracle.com
Admin Server HTTPS Port: 7102
Admin Server is RUNNING

Oracle Management Server Information
Managed Server Instance Name: EMGC_OMS1
Oracle Management Server Instance Host: oemapp1.oracle.com
WebTier is Up
Oracle Management Server is Up
JVMD Engine is Up

BI Publisher Server Information
BI Publisher Managed Server Name: BIP
BI Publisher Server is Up

BI Publisher HTTP Managed Server Port   : 9701
BI Publisher HTTPS Managed Server Port  : 9803
BI Publisher HTTP OHS Port              : 9788
BI Publisher HTTPS OHS Port             : 9851
BI Publisher HTTPS SLB Port             : 5443
BI Publisher is locked.
BI Publisher Server named 'BIP' running at URL: https://myslb.oracle.com:5443/xmlpserver
BI Publisher Server Logs: /app/oracle/oms_local/gc_inst/user_projects/domains/GCDomain/servers/BIP/logs/
BI Publisher Log        : /app/oracle/oms_local/gc_inst/user_projects/domains/GCDomain/servers/BIP/logs/bipublisher/bipublisher.log

檢視agent狀態：

[[email protected] backup]$ $AGENT_HOME/bin/emctl status agent
Oracle Enterprise Manager Cloud Control 13c Release 2  
Copyright (c) 1996, 2016 Oracle Corporation.  All rights reserved.
---------------------------------------------------------------
Agent Version          : 13.2.0.0.0
OMS Version            : 13.2.0.0.0
Protocol Version       : 12.1.0.1.0
Agent Home             : /app/oracle/oms_local/agent/agent_inst
Agent Log Directory    : /app/oracle/oms_local/agent/agent_inst/sysman/log
Agent Binaries         : /app/oracle/oms_local/agent/agent_13.2.0.0.0
Core JAR Location      : /app/oracle/oms_local/agent/agent_13.2.0.0.0/jlib
Agent Process ID       : 17263
Parent Process ID      : 17060
Agent URL              : https://oemapp1.oracle.com:3872/emd/main/
Local Agent URL in NAT : https://oemapp1.oracle.com:3872/emd/main/
Repository URL         : https://myslb.oracle.com:4903/empbs/upload
Started at             : 2018-10-12 15:49:58
Started by user        : oracle
Operating System       : Linux version 2.6.32-696.el6.x86_64 (amd64)
Number of Targets      : 34
Last Reload            : (none)
Last successful upload                       : 2018-10-12 15:50:53
Last attempted upload                        : 2018-10-12 15:50:53
Total Megabytes of XML files uploaded so far : 0.17
Number of XML files pending upload           : 19
Size of XML files pending upload(MB)         : 0.07
Available disk space on upload filesystem    : 63.80%
Collection Status                            : Collections enabled
Heartbeat Status                             : Ok
Last attempted heartbeat to OMS              : 2018-10-12 15:50:33
Last successful heartbeat to OMS             : 2018-10-12 15:50:33
Next scheduled heartbeat to OMS              : 2018-10-12 15:51:35

---------------------------------------------------------------
Agent is Running and Ready

最終測試，通過負載均衡地址10.1.44.207可以直接訪問OEMCC，進行正常操作：

至此，OEMCC13.2叢集安裝已完成。

OEMCC 13.2 叢集版本安裝部署

1.需求描述

2.環境規劃

3.OMR叢集安裝

3.1 環境準備

3.2 GI安裝

3.3 建立ASM磁碟組、ACFS叢集檔案系統

3.4 DB軟體安裝

3.5 DBCA使用模版建庫

4.OMS叢集安裝

4.1 環境準備

4.2 安裝主節點

4.3 新增OMS節點

4.4 測試OMS高可用性

5.SLB配置

OEMCC 13.2 叢集版本安裝部署

OEMCC 13.2 集群版本安裝部署

SPARK 2.2.1 YARN安裝部署

hive1.2.1版本安裝

hive-2.1.1安裝部署

python3.6 和python 2.7版本安裝pycrypto過程及問題（不需要安裝vs）

kubernetes 叢集的安裝部署

zookeeper+kafka叢集的安裝部署

Apache HAWQ叢集的安裝部署

Centos 7.2.1511版本安裝docker碰到的問題

elasticsearch 6.2.0+kibana安裝部署文件

cloudera CDH5 Hadoop叢集全套安裝部署流程

Python 2.7版本安裝pip,及使用pip碰到的問題

elasticsearch6.2.4版本安裝IK分詞外掛

hadoop3.1.0 HA高可用完全分散式叢集的安裝部署（詳細教程）

Ganglia監控Hadoop叢集的安裝部署

Apache Kylin CDH版本安裝部署

（四）： Flink1.6.1 standalone叢集模式安裝部署，幾個常用引數配置

Mesos叢集yum安裝部署

【Linux】CentOs7下SonarQube7.2.1的安裝部署

OEMCC 13.2 叢集版本安裝部署

1.需求描述

2.環境規劃

3.OMR叢集安裝

3.1 環境準備

3.2 GI安裝

3.3 建立ASM磁碟組、ACFS叢集檔案系統

3.4 DB軟體安裝

3.5 DBCA使用模版建庫

4.OMS叢集安裝

4.1 環境準備

4.2 安裝主節點

4.3 新增OMS節點

4.4 測試OMS高可用性

5.SLB配置

相關推薦