Oracle 10g RAC with ASM 安裝在 RHEL5上（簡版）

1、準備三個節點

一臺做SAN設備

兩臺做ORACLE RAC節點，每個節點2個網卡

2、分配IP地址

saneth0 10.0.0.1

c1eth0 192.168.33.101 eth0:1 192.168.33.201

c2eth0 192.168.33.102eth0:1 192.168.33.202

給eth0加入虛擬IP使用下面的命令

ifconfig eth0:1 192.168.33.201 netmask 255.255.255.0
ifconfig eth0:1 192.168.33.202 netmask 255.255.255.0

如果配置錯誤使用下面的命令進行刪除

ip addr del 192.168.33.202 dev eth2

3、安裝ntp服務器作為集群時鐘授時系統，可以安裝在ipsan設備上

在san上，編輯/etc/ntp.conf

retrict default nomodify
restrict 127.0.0.1
server 127.127.1.0
fudge 127.127.1.0 stratum 8
driftfile /var/lib/ntp/drift
broadcastdelay 0.008

然后重啟ntpd服務

service ntpd restart

在c1、c2主機上去同步時鐘即可

crontab -e

*/5 * * * * /usr/sbin/ntpdate xxxxx

每五分鐘同步一次

4、修改內核參數在c1、c2上

vim /etc/sysctl.conf

net.ipv4.ip_forward = 1
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 2147483648
kernel.shmall = 268435456
kernel.shmmni = 4096
kernel.shmall = 2097152
kernel.sem = 250 32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 262144

5、創建oracle用戶和dba、oinstall用戶組

groupadd oinstall

groupadd dba

useradd -m -g oinstall -G dba oracle

6、編輯/etc/hosts文件

vim /etc/hosts

127.0.0.1localhost

192.168.33.101c1
192.168.33.201c1-vip
10.0.0.2c1-priv

192.168.33.102c2
192.168.33.202c2-vip
10.0.0.3c2-priv

10.0.0.1san
在c1、c2上都復制這些內容

7、所有節點都要配置hangcheck-timer:用于監視 Linux 內核是否掛起

vim /etc/modprobe.conf
options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180

vim /etc/rc.local
modprobe hangcheck-timer

檢查hangcheck-timer模塊是否已經加載:
lsmod | grep hangcheck_timer

8、配置oracle用戶雙機（多機）互信

su - oracle
ssh-keygen -t rsa
ssh-keygen -t dsa
cd .ssh
cat *.pub > authorized_keys

然后每個節點都進行

cat *.pub > authorized_keys的追加

9、配置ipsan

在san主機上

yum -y install scsi-target-utils
yum -y install iscsi-initiator-utils

vim /etc/tgt/targets.conf

backing-store /dev/sdb1
vender_id IET
product_id V1

backing-store /dev/sdc1
vender_id IET
product_id V2

backing-store /dev/sdd1
vender_id IET
product_id V3

backing-store /dev/sde1
vender_id IET
product_id V4

backing-store /vote/disk1.img
vender_id IET
product_id V5

backing-store /vote/disk2.img
vender_id IET
product_id V6

service tgtd restart

chkconfig tgtd on

10、導入ipsan的公共存儲

yum install iscsi-initiator-utils -y

service iscsid start

iscsiadm -m discovery -t st -p san

service iscsi start

chkconfig iscsid on

chkconfig iscsi on

11、安裝依賴包c1、c2

yum install binutilscompat-libstdc++elfutils-libelfelfutils-libelf-develglibcglibc-commonglibc-develglibc-headersgccgcc-c++libaiolibaio-devel libgcclibstdc++libstdc++-develmakesysstatunixODBCunixODBC-devel-y

12、安裝oracleasm包c1、c2

rpm -ivh oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm oracleasmlib-2.0.4-1.el5.x86_64.rpm oracleasm-support-2.1.7-1.el5.x86_64.rpm

13、安裝cluster

cd /mnt/clusterware/cluvfy/

./runcluvfy.sh stage -pre crsinst -nc1,c2 -verbose

cd /mnt/clusterware/
./runInstaller-ignoreSysPrereqs

在Specify Home Details頁面

手工修改crs安裝終點: /u01/crs_1

在Specify Cluster Configuration頁面

指定兩個節點

c1c1-privc1-vip

c2c2-privc2-vip

在Specify Network Interface Usage頁面

eth0192.168.33.0Public

eth010.0.0.0Private

在Specify Oracle Cluster Registry(OCR) Location頁面

指定

External Redundancy

Specify OCR Location: /dev/raw/raw1

在Specify Voting Disk Location頁面

指定

External Redundancy

Voting Disk Location: /dev/raw/raw2

14、安裝cluster后續工作

在c1運行

/u01/app/oracle/oraInventory/orainstRoot.sh

在c2運行

/u01/app/oracle/oraInventory/orainstRoot.sh

在兩個節點上修改兩個腳本來避免bug出現

vim /u01/crs_1/bin/vipca

LD_ASSUME_KERNEL=2.4.19
export LD_ASSUME_KERNEL
fi
unset LD_ASSUME_KERNEL

vim /u01/crs_1/bin/srvctl

export LD_ASSUME_KERNEL
unset LD_ASSUME_KERNEL

在c1運行

/u01/crs_1/root.sh

在c2運行

/u01/crs_1/root.sh

在最后一個節點運行/u01/crs_1/root.sh會報錯
Running vipca(silent) for configuring nodeapps
Error 0(Native: listNetInterfaces:[3])
[Error 0(Native: listNetInterfaces:[3])]

需要手工設置oracle的IP:
cd /u01/crs_1/bin
-------------------------------------------------------------------
./oifcfg iflist
eth0 192.168.33.0
eth0 192.168.33.0

./oifcfg setif -global eth0/192.168.33.0:public
./oifcfg setif -global eth0:1/192.168.33.0:cluster_interconnect

./oifcfg getif
eth0 192.168.33.0 global public
eth0:1 192.168.33.0 global cluster_interconnect

運行vipca

/u01/crs_1/bin/vipca

在Step2指定IP

c1c1-vip192.168.1.201255.255.255.0

c2c2-vip192.168.1.202255.255.255.0

如果啟動時發現ons服務無法啟動，可以暫時忽略，重啟主機后可以啟動它。

如果碰到CRS-0184錯誤

可以嘗試重啟CRS守護進程/etc/rc.d/init.d/init.crs start

如果有問題可以嘗試查看/var/log/messages查看系統級錯誤

兩個腳本都運行完就安裝完cluster了

然后使用crs_stat -t查看下狀態，如果都是ONLINE狀態就是正常。

15、安裝Oracle數據庫引擎

在Select Installation Type頁面

選擇 Enterprise Edition

在Specify Home Details頁面

填寫Path: /u01/app/oracle/product/10.2.0/db_1

在Specify Hardware Cluster Installation Mode

勾選兩個節點c1，c2

在Select Configuration Option頁面

選擇 Install database Software only

安裝完畢后，先后在c1和c2上運行

/u01/app/oracle/product/10.2.0/db_1/root.sh腳本

16、安裝ASM數據庫實例

在c1上配置oracleasm

/etc/init.d/oracleasm configure

先在c1上創建oracleasm磁盤

/etc/init.d/oracleasm createdisk D1 /dev/sdb1

/etc/init.d/oracleasm createdisk D2 /dev/sdc1

/etc/init.d/oracleasm createdisk D3 /dev/sdd1

/etc/init.d/oracleasm createdisk D4 /dev/sde1

在c2上配置oracleasm

/etc/init.d/oracleasm configure

在c2上掃描oracleasm的變化

/etc/init.d/oracleasm scandisks

在c1用dbca創建ASM實例

選擇D1, D2, D3, D4，選擇Normal模式

17、在ASM上創建數據庫

啟動dbca

略