1 共享裝置配置

1.1 裝置劃分說明

冗餘策略	卷劃分及大小說明
OCRVOTING	Ocrvoting01	8G
	Ocrvoting02	8G
	Ocrvoting03	8G
DATAFILE	Data01	8G
DATAFILE	Data02	8G
FRA_ARCH	Fra01	8G
FRA_ARCH	Fra02	8G

我們這裡OCRVOTING 採用Normal,DATA和FRA 採用external。

11g中每個OCR和vote disk 至少需要600M空間。在ASM 的冗餘級別中：

external >= 1

normal >=3

high >=5

在12c裡面，OCR voting disk 外部冗餘，至少需要4342MB的空間，Normal 至少需要8711MB的空間。

Cause - Insufficient spaceavailable in the selected Disks. At least, 4,342 MB of free space isrequired. Action - Chooseadditional disks such that the total size should be at least 4,342 MB.

Cause - Insufficient spaceavailable in the selected Disks. At least, 8,711 MB of free space isrequired. Action - Chooseadditional disks such that the total size should be at least 8,711 MB.

具體建立過程，直接在VBOX上建立，或者參考我以前的blog，這裡不在詳述。

1.2 配置UDEV

用如下指令碼獲取繫結指令碼：

echo "KERNEL==\"sd*\", BUS==\"scsi\",PROGRAM==\"/sbin/scsi_id -g -u /dev/\$name\", RESULT==\"`/sbin/scsi_id -g -u/dev/sd$i`\", NAME=\"asm-disk$i\", OWNER=\"grid\",GROUP=\"asmadmin\", MODE=\"0660\""

done

--在所有節點建立並配置UDEV Rules 檔案

--新增如下內容：

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name",RESULT=="1ATA_VBOX_HARDDISK_VB0fe2de72-ff43e01f",NAME="asm-diskb", OWNER="grid", GROUP="asmadmin",MODE="0660"

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name",RESULT=="1ATA_VBOX_HARDDISK_VBb84b3378-7205c629",NAME="asm-diskc", OWNER="grid", GROUP="asmadmin",MODE="0660"

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name", RESULT=="1ATA_VBOX_HARDDISK_VB8c6d2199-64d26b1e",NAME="asm-diskd", OWNER="grid", GROUP="asmadmin",MODE="0660"

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name",RESULT=="1ATA_VBOX_HARDDISK_VBc86e3f5c-ba9c8397",NAME="asm-diske", OWNER="grid", GROUP="asmadmin",MODE="0660"

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name",RESULT=="1ATA_VBOX_HARDDISK_VB4776a8c1-0b444519",NAME="asm-diskf", OWNER="grid", GROUP="asmadmin",MODE="0660"

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name",RESULT=="1ATA_VBOX_HARDDISK_VBb7771090-d177eeaf",NAME="asm-diskg", OWNER="grid", GROUP="asmadmin",MODE="0660"

KERNEL=="sd*",BUS=="scsi", PROGRAM=="/sbin/scsi_id -g -u /dev/$name",RESULT=="1ATA_VBOX_HARDDISK_VBe7da4ea4-622fea96",NAME="asm-diskh", OWNER="grid", GROUP="asmadmin",MODE="0660"

--重啟UDEV：

[[email protected] rules.d]# start_udev

Starting udev: [ OK ]

--檢查共享裝置的所屬關係和許可權：

[[email protected] ~]# ll /dev/asm*

brw-rw---- 1 grid asmadmin 8, 16 May 28 22:55 /dev/asm-diskb

brw-rw---- 1 grid asmadmin 8, 32 May 28 22:55 /dev/asm-diskc

brw-rw---- 1 grid asmadmin 8, 48 May 28 22:55 /dev/asm-diskd

brw-rw---- 1 grid asmadmin 8, 64 May 28 22:55 /dev/asm-diske

brw-rw---- 1 grid asmadmin 8, 80 May 28 22:55 /dev/asm-diskf

brw-rw---- 1 grid asmadmin 8, 96 May 28 22:55 /dev/asm-diskg

brw-rw---- 1 grid asmadmin 8, 112 May 2822:55 /dev/asm-diskh

[[email protected] ~]#

2 安裝RAC的準備工作

2.1 新增組和使用者（所有節點）

groupadd -g 1000 oinstall

groupadd -g 1200 asmadmin

groupadd -g 1201 asmdba

groupadd -g 1202 asmoper

groupadd -g 1300 dba

groupadd -g 1301 oper

useradd -m -u 1100 -g oinstall -Gasmadmin,asmdba,asmoper,dba -d /home/grid -s /bin/bash grid

useradd -m -u 1101 -g oinstall -Gdba,oper,asmdba -d /home/oracle -s /bin/bash oracle

--將使用者grid新增到dba組：

[[email protected] app]# gpasswd -a grid dba

Adding user grid to group dba

--確認使用者資訊：

[[email protected] ~]# id oracle

uid=502(oracle) gid=507(oinstall)groups=507(oinstall),502(dba),503(oper),506(asmdba)

[[email protected] ~]# id grid

uid=1100(grid) gid=507(oinstall) groups=507(oinstall),504(asmadmin),506(asmdba),505(asmoper)

--修改密碼：

passwd oracle

passwd grid

2.2 禁用防火牆和SELNUX（所有節點）

service iptables status

service iptables stop

chkconfig iptables off

chkconfig iptables --list

[[email protected] ~]# cat/etc/selinux/config

# This file controls the state of SELinuxon the system.

# SELINUX= can take one of these threevalues:

# enforcing - SELinux security policy is enforced.

# permissive - SELinux prints warnings instead of enforcing.

# disabled - No SELinux policy is loaded.

SELINUX=disabled

# SELINUXTYPE= can take one of these twovalues:

# targeted - Targeted processes are protected,

# mls - Multi Level Security protection.

SELINUXTYPE=targeted

這裡我們使用CTSS.所以要停用 NTP 服務，並從初始化序列中禁用該服務，並刪除 ntp.conf 檔案。以 root 使用者身份在兩個 OracleRAC 節點上執行以下命令：

[[email protected] ~]# /sbin/service ntpd stop

Shutting down ntpd: [ OK ]

[[email protected] ~]# chkconfig ntpd off

[[email protected] ~]# mv /etc/ntp.conf/etc/ntp.conf.original

[[email protected] ~]# chkconfig ntpd --list

ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off

[[email protected] ~]# /sbin/service ntpd stop

Shutting down ntpd: [ OK ]

[[email protected] ~]# chkconfig ntpd off

[[email protected] ~]# mv /etc/ntp.conf/etc/ntp.conf.original

[[email protected] ~]# chkconfig ntpd --list

ntpd 0:off 1:off 2:off 3:off 4:off 5:off 6:off

還要刪除以下檔案：

rm /var/run/ntpd.pid

此檔案儲存了 NTP 後臺程式的 pid。

2.4 建立目錄結構（所有節點）

mkdir -p /u01/gridsoft/12.1.0

chown -R grid:oinstall /u01

chmod -R 775 /u01

2.5 配置環境變數

2.5.1 Grid使用者

修改grid使用者的.bash_profile.注意每個節點的不同內容：

export ORACLE_SID=+ASM1

#export ORACLE_SID=+ASM2

export ORACLE_BASE=/u01/gridbase

export ORACLE_HOME=/u01/gridsoft/12.1.0

exportPATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:.

export TEMP=/tmp

export TMP=/tmp

export TMPDIR=/tmp

umask 022

2.5.2 Oracle 使用者

修改oracle 使用者的.bash_profile,注意每個節點的不同內容：

ORACLE_SID=cndba1;export ORACLE_SID

#ORACLE_SID=cndba2;export ORACLE_SID

ORACLE_UNQNAME=cndba;export ORACLE_UNQNAME

JAVA_HOME=/usr/local/Java; export JAVA_HOME

ORACLE_BASE=/u01/oracle; export ORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/12.1.0/db_1; exportORACLE_HOME

ORACLE_TERM=xterm; export ORACLE_TERM

NLS_DATE_FORMAT="YYYY:MM:DDHH24:MI:SS"; export NLS_DATE_FORMAT

NLS_LANG=american_america.ZHS16GBK; exportNLS_LANG

TNS_ADMIN=$ORACLE_HOME/network/admin; exportTNS_ADMIN

ORA_NLS11=$ORACLE_HOME/nls/data; exportORA_NLS11

PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin

PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin

export PATH

LD_LIBRARY_PATH=$ORACLE_HOME/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib

LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib

export LD_LIBRARY_PATH

CLASSPATH=$ORACLE_HOME/JRE

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib

CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib

export CLASSPATH

THREADS_FLAG=native; export THREADS_FLAG

export TEMP=/tmp

export TMPDIR=/tmp

umask 022

2.6 為安裝使用者設定資源限制

2.6.1 修改/etc/security/limits.conf

以 root 使用者身份，在每個 Oracle RAC 節點上，在 /etc/security/limits.conf 檔案中新增如下內容，或者執行執行如下命令：

[[email protected] ~]# cat >> /etc/security/limits.conf <<EOF

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

EOF

2.6.2 修改/etc/pam.d/login

在每個 OracleRAC 節點上，在 /etc/pam.d/login 檔案中新增或編輯下面一行內容：

[[email protected] ~]# cat >> /etc/pam.d/login <<EOF

session required pam_limits.so

EOF

2.6.3 shell 的限制

對預設的 shell 啟動檔案進行以下更改，以便更改所有 Oracle 安裝所有者的 ulimit 設定：

[[email protected] ~]# cat >> /etc/profile <<EOF

if [ /$USER ="oracle" ] || [ /$USER = "grid" ]; then

if[ /$SHELL = "/bin/ksh" ]; then

ulimit-p 16384

ulimit-n 65536

else

ulimit-u 16384 -n 65536

umask022

EOF

注：紅色部分一起執行

2.6.4 修改/etc/sysctl.conf

#vi /etc/sysctl.conf

kernel.shmmax = 4294967295

kernel.shmall = 2097152

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

fs.file-max = 6815744

net.ipv4.ip_local_port_range = 9000 65500

net.core.rmem_default=262144

net.core.rmem_max=4194304

net.core.wmem_default=262144

net.core.wmem_max=1048576

fs.aio-max-nr=1048576

使修改的引數生效：

[[email protected] ~]# sysctl -p

127.0.0.1 localhost

192.168.56.5 rac1

192.168.57.5 rac1-priv

192.168.56.7 rac1-vip

192.168.56.6 rac2

192.168.57.6 rac2-priv

192.168.56.8 rac2-vip

192.168.56.9 rac-scan

3 安裝Grid

在節點1，用grid使用者執行runInstaller。