EHEL4.4_ORACLE10G双机集群实战

环境：

操作系统：redhat as4u4，内核版本2.6.9-42.elsmp

hp_msa2000做双击节点服务器，内存分别是16g，136g硬盘
节点主机名分别是rac1，rac2；分别有俩个网卡分别是eth0和eth1
rac1的ip和主机名分配，其中10.10.10.网段的为eth0，192.168.1为eth1
10.10.10.132   rac1      
10.10.10.136   rac1-vip
192.168.1.132   rac1-pri

rac2的ip和主机名分配，其中10.10.10网段的为eth0，192.168.1为eth1
10.10.10.133   rac2
10.10.10.137   rac2-vip
192.168.1.133   rac2-pri

光纤通道卡HBA:FCA1242SR DRIVER ，驱动版本下载地址：

hp磁盘阵列2.25T容量，3个750G的sata硬盘，做raid5，创建1个vidisk，24个volume

oracle集群软件：
oracle10g
oracle10cluster
oracle 全局名db 各个节点的SID分别是db1和db2，全局服务名为myrac

集群采用ocfs作为共享文件系统，采用asm管理磁盘
其中oracle的spfile(存放在/u03)、集群用到的表决文件（vote，存放在/u01）
和集群前准备文件(ocr存放在/u02)存放在ocfs文件系统上,分别占用一个ocfs分区

ocfs使用到的软件（对应redhat as4u4版本）：
oracleasmlib-2.0.2-1.x86_64.rpm
ocfs2-tools-1.2.4-1.x86_64.rpm
ocfs2console-1.2.4-1.x86_64.rpm
ocfs2-2.6.9-42.ELlargesmp-1.2.4-2.x86_64.rpm

asm使用到的软件（对应redhat as4u4版本）：
oracleasm-support-2.0.3-1.x86_64.rpm
oracleasm-2.6.9-42.ELlargesmp-2.0.3-1.x86_64

----------------------------------------------

++++++++++++++++++++++++++++++++++++++++++++++++++

一、前言

先了解oracle rac的能使用的文件系统，很重要。
待补充

二、安装俩节点操作系统
1.安装方式的选项：
　　⊙ 定制要安装的软件包（C）

　　桌面选项：
　　（√） X窗口系统 （选取全部）

　　（√） GNOME桌面环境 （选取全部）

　　应用程序选项：
　　（ ） 工程和科学 （选取默认）

　　（√） 图形化互联网 （选取默认）

　　（） 基于文本的互联网 （视个人情况选择）

　　（ ） 办公/生产率 （视个人情况选择）

　　服务器选项：
　　（√） 服务器配置工具 （选取全部）

　　（ ） 万维网服务器 （视个人情况选择）

　　（ ） Windows文件服务器 （视个人情况选择）

　　（ ） DNS服务器 （视个人情况选择）

    （ ） 遗留服务 （视个人情况选择）
　　
　　开发选项：
　　（√） 开发工具 （选择全部）
    （√） x开发工具 （选择全部）
  
    （√） 原有开发工具 （全部选取）

　　系统选项：
　　（√） 管理工具 （选取默认）

　　（ ） 打印支持 （视个人情况选择）

2.安装完成后，请：

1).查看操作系统版本
# uname -r 2.6.9-42.ellargesmp

2).检查oracle10g和cluster需要的软件包

# rpm -q --qf '%{NAME}-%{VERSION}-%{RELEASE} (%{ARCH})\n' \
              binutils compat-db control-center gcc gcc-c++ glibc glibc-common gnome-libs \
              libstdc++ libstdc++-devel make pdksh sysstat xscreensaver libaio libaio-devel glibc-devel

binutils-2.15.92.0.2-21 (x86_64)
compat-db-4.1.25-9 (i386)
compat-db-4.1.25-9 (x86_64)
control-center-2.8.0-12.rhel4.5 (x86_64)
gcc-3.4.6-3 (x86_64)
gcc-c++-3.4.6-3 (x86_64)
glibc-2.3.4-2.25 (i686)
glibc-2.3.4-2.25 (x86_64)
glibc-devel(i686)
glibc-devel(x86_64)
glibc-common-2.3.4-2.25 (x86_64)
gnome-libs-1.4.1.2.90-44.1 (x86_64)
libstdc++-3.4.6-3 (i386)
libstdc++-3.4.6-3 (x86_64)
libstdc++-devel-3.4.6-3 (i386)
libstdc++-devel-3.4.6-3 (x86_64)
make-3.80-6.EL4 (x86_64)
pdksh-5.2.14-30.3 (x86_64)
sysstat-5.0.5-11.rhel4 (x86_64)
xscreensaver-4.18-5.rhel4.11 (x86_64)
libaio-0.3.105-2 (i386)
libaio-0.3.105-2 (x86_64)
libaio-devel-0.3.105-2 (x86_64)

以上所有包务必全部安装。否则，oracle集群安装过程会出错。
# rpm -ivh 所缺的软件包名

3.禁用selinux
图形界面下以root身份执行
# /usr/bin/system-config-securitylevel
禁用selinux

三、msa2000磁盘阵列配置
1、连接pc的俩种方式
a.串口线
使用windows系统的超级终端程序连接。
Com口属性设置重置为默认即可。
b.交叉网线
连接到俩个控制口（A口，B口）的其中一个
使用telnet IP 方式登入。默认ip是10.0.0.2 (controller A), 10.0.0.3 (controller B)
2、配置msa2000的俩种方式
1.命令行模式
telnet 10.0.0.2 进入，用户密码 manage/!manage
或者
10.0.0.3进入，用户密码 manage/!manage
2.web管理模式
http:// 10.0.0.2进入，用户密码 manage/!manage
或者
http:// 10.0.0.3进入，用户密码 manage/!manage
3、配置磁盘阵列步骤
1)、创建vdisk
步骤
a. 打开web管理界面，选择 Manage > Virtual Disk Config > Create A Vdisk.
b. 选择 Manual Virtual Disk Creation (Detail-based).
c. 输入virtual disk名称，该名称大小写敏感，17字符以内包括数字，字母，空格，下划线、连接符。
d. 选择 RAID 5 Parity RAID, 打开Parity属性
e. 点击Create New Virtual Disk.
f. 选择现有磁盘，根据磁盘数量来做raid，这里有三块硬盘，适合做raid5
g. 如果需要做成dedicated spare drive, 请选择Yes .
h. 选择多余的一块磁盘做spare冗余，点击Continue.（如果没有多余磁盘则不选）
i. For the number of volumes, 选择 1.
     Notice that by default the volume will not be exposed to (accessible by) hosts.
j. 点击 Create Virtual Disk，开始出现初始化vdisk,这里选择offline模式能加快初始化速度
k. 如果想继续创建vdisk，则点击create another virtual disk.
l. 创建不同的vdisk请重复步骤 b 到 i即可，
命令行模式：
     Create the RAID-1 virtual disk VD1 using two disk drives in the controller enclosure.
     # create vdisk level raid1 disks 1,3 VD1
        Success: Vdisk created.
     delete vdisk vdisks
     # delete vdisk VD1
        Please wait - Vdisk is being deleted.
        Info: Deleted vdisk VD1
        Success: Command completed successfully
     # show vdisks //查看vdisks
     # delete vdisk VD1 // 删除
        Please wait - Vdisk is being deleted.
        Info: Deleted vdisk VD1
        Success: Command completed successfully
2)、创建volume
步骤
a. 打开web管理界面，选择 Manage > volume Config > Create A volume.
b. 输入volume名称、大小(单位为M)和lun号,lun号一定不要选择0，否则无法创建多个volume，点击creat，出现初始化界面。
c. 重复创建多个volume，请重复步骤a到b，选择不同的volume名称和lun号，根据需要输入该volume的大小，单位为M。
命令行模式：
      Create the 10-Gbyte volume V1 on virtual disk VD1, and map it to ports 0 and 1 using LUN 12.
      # create volume vdisk VD1 size 10GB mapping 0-1.12 V1
        Success: volume created and mapped successfully
      # show volume
      # delete volume V1 // 删除
      Success: deleted volume V1
3)、配置主机和光纤卡对应关系：host-wwn-name
    步骤
    a. Select Manage > General Config > host-wwn-name.
    b. 选择对应主机和对应的光纤卡端口，输入一个host-wwn-name
       这里有四个光纤卡控制口和俩胎主机需要做8次
    c. 重复步骤a和b建立好全部对应关系
    命令行模式：
     Create the nickname MyHost for the HBA having WWPN 210000e08b095562
     # create host-wwn-name wwpn 210000e08b095562 MyHost
        Info: Adding hostWnn: 210000e08b095562 and nickName: MyHost
        Success: Command completed successfully
     # Show host-wwn-name //查看
     # delete host-wwn-name MyHost // 删除
       Success: Deleted MyHost
4)、创建volume mapping
      创建好volume后默认map都已经建好，所有主机和光纤卡都有访问权限，无需操作
      命令行模式(跟创建volume相同)：
       Create the 10-Gbyte volume V1 on virtual disk VD1, and map it to ports 0 and 1 using LUN 12.
      # create volume vdisk VD1 size 10GB mapping 0-1.12 V1
        Success: volume created and mapped successfully
      # show volume
      # delete volume V1 // 删除
      Success: deleted volume V1

以下是本人命令行说明:

a.创建vdisk
create vdisk level raid5 disks 1,2,3 myvdisk

b.创建volume并做maping,以及每个volume的作用和文件系统类型，大小和lun号，对应文件系统分区
TYPE VOLUME   GB     SIZE(MB) LUN COMMNANDS OF CREATING VOLUME                                    DISK          partition
ASM DB_SDATA 40.5 41472 1 create volume vdisk data size 41472MB DB_SDATA mapping 0-1.1 /dev/sda /dev/sda1
RAW DB_CRS         0.5 512 2 create volume vdisk data size 512MB DB_CRS mapping 0-1.2 /dev/sdb /dev/sdb1
RAW DB_VOT         0.5 512 3 create volume vdisk data size 512MB DB_VOT mapping 0-1.3 /dev/sdc /dev/sdc1
OCFS2 DB_SPF         0.5 512 4 create volume vdisk data size 512MB DB_SPF mapping 0-1.4 /dev/sdd /dev/sdd1
ASM DB_DATA01 96 98304 5 create volume vdisk data size 98304MB DB_DATA01 mapping 0-1.5 /dev/sde /dev/sde1
ASM DB_DATA02 96 98304 6 create volume vdisk data size 98304MB DB_DATA02 mapping 0-1.6 /dev/sdf /dev/sdf1
ASM DB_DATA03 96 98304 7 create volume vdisk data size 98304MB DB_DATA03 mapping 0-1.7 /dev/sdg /dev/sdg1
ASM DB_DATA04 96 98304 8 create volume vdisk data size 98304MB DB_DATA04 mapping 0-1.8 /dev/sdh /dev/sdh1
ASM DB_DATA05 96 98304 9 create volume vdisk data size 98304MB DB_DATA05 mapping 0-1.9 /dev/sdi /dev/sdi1
ASM DB_DATA06 96 98304 10 create volume vdisk data size 98304MB DB_DATA06 mapping 0-1.10 /dev/sdj /dev/sdj1
ASM DB_DATA07 96 98304 11 create volume vdisk data size 98304MB DB_DATA07 mapping 0-1.11 /dev/sdk /dev/sdk1
ASM DB_DATA08 96 98304 12 create volume vdisk data size 98304MB DB_DATA08 mapping 0-1.12 /dev/sdl /dev/sdl1
ASM DB_DATA09 96 98304 13 create volume vdisk data size 98304MB DB_DATA09 mapping 0-1.13 /dev/sdm /dev/sdm1
ASM DB_DATA10 96 98304 14 create volume vdisk data size 98304MB DB_DATA10 mapping 0-1.14 /dev/sdn /dev/sdn1
ASM DB_DATA11 96 98304 15 create volume vdisk data size 98304MB DB_DATA11 mapping 0-1.15 /dev/sdo /dev/sdo1
ASM DB_DATA12 96 98304 16 create volume vdisk data size 98304MB DB_DATA12 mapping 0-1.16 /dev/sdp /dev/sdp1
ASM DB_DATA13 96 98304 17 create volume vdisk data size 98304MB DB_DATA13 mapping 0-1.17 /dev/sdq /dev/sdq1
ASM DB_DATA14 31 31744 18 create volume vdisk data size 31744MB DB_DATA14 mapping 0-1.18 /dev/sdr /dev/sdr1
ASM DB_REDO01 24 24576 19 create volume vdisk data size 24576MB DB_REDO01 mapping 0-1.19 /dev/sds /dev/sds1
ASM DB_REDO02 24 24576 20 create volume vdisk data size 24576MB DB_REDO02 mapping 0-1.20 /dev/sdt /dev/sdt1
ASM DB_REDO03 24 24576 21 create volume vdisk data size 24576MB DB_REDO03 mapping 0-1.21 /dev/sdu /dev/sdu1
ASM DB_REDO04 24 24576 22 create volume vdisk data size 24576MB DB_REDO04 mapping 0-1.22 /dev/sdv /dev/sdv1
ASM DB_REDO05 24 24576 23 create volume vdisk data size 24576MB DB_REDO05 mapping 0-1.23 /dev/sdw /dev/sdw1
ASM DB_REDO06 24 24576 24 create volume vdisk data size 24576MB DB_REDO06 mapping 0-1.24 /dev/sdx /dev/sdx1

c.安装hp光纤卡驱动,以便操作系统识别所建的逻辑卷volume。

# tar -zxvf hp_qla2x00-2008-05-09.tar.gz
# cd hp_qla2x00-2008-05-09
# rpm -ivh hp_qla2x00src-8.02.11-1.linux.noarch.rpm

重启所有节点的服务器，如果能看到创建的volume既说明启动可用。

# reboot

d.重启操作系统后，在其中一节点上给volume分区，分区完毕后重启所有节点操作系统。
# fdisk /dev/sda
按n，然后按p，再按1,创建一主分区，按w保存分区信息，其他分区操作方法类似

# reboot
重启后，fdisk -l查看分区好后的磁盘信息。

四、安装oracle前期准备，分别在俩个节点服务器上操作。

1：创建oracle用户和用户组、从属组
------------------------------------------------------------------------------------
/usr/sbin/groupadd oinstall
/usr/sbin/groupadd dba
/usr/sbin/useradd -m -g oinstall -G dba oracle
---------------------------------------------
id oracle   //查看相关信息，看起来类似如下：
---------------------------------------------
/usr/sbin/groupadd -g 501 oinstall
/usr/sbin/groupadd -g 502 dba
/usr/sbin/useradd -m -u 501 -g oinstall -G dba oracle

passwd oracle

------------------------------------------------
mkdir -p /home/app/oracle
chown -R oracle:oinstall /home/app/oracle
chmod -R 775 /home/app/oracle

2：设置oracle运行参数
----------------------------------------------------------------------------------------
1）.设置sysctl.conf文件
------------------------------------
#vi /etc/sysctl.conf //添加一下几行,以下是16g物理内存，200 processes的设置

kernel.shmall = 16179869184
kernel.shmmax = 10737418240
kernel.shmmni = 4096
kernel.sem = 250 32000 300 250
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_max = 262144

#su - root
#sysctl -p   //使设置的值生效

-------------------------------------------------
2）.设置limits.conf
# cat >> /etc/security/limits.conf << EOF
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
EOF
-------------------------------------------------
3）.设置login
# cat >> /etc/pam.d/login << EOF
session required /lib/security/pam_limits.so
EOF
------------------------------------------------
4）.设置profile
# cat >> /etc/profile << EOF
if [ \$USER = "oracle" ]; then
if [ \$SHELL = "/bin/ksh" ]; then
      ulimit -p 16384
      ulimit -n 65536
else
   ulimit -u 16384 -n 65536
fi
umask 022
fi
EOF
--------------------------------------------------
5）.设置csh.login
# cat >> /etc/csh.login << EOF
if ( \$USER == "oracle" ) then
limit maxproc 16384
limit descriptors 65536
umask 022
endif
EOF
---------------------------------------------------
6）.设置rc.local
# cat >> /etc/rc.d/rc.local << EOF
modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180
EOF
---------------------------------------------------

3：设置俩节点服务器oracle的环境变量。
1）节点rac1
使用oracle用户登入：
$ vi .bash_profile   //增加如下几行
export ORACLE_BASE=/home/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
export CRS_HOME=$ORACLE_BASE/product/10.2.0/crs
export ORACLE_SID=db1
export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/jre
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

1）节点rac2
使用oracle用户登入：
$ vi .bash_profile   //增加如下几行
export ORACLE_BASE=/home/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
export CRS_HOME=$ORACLE_BASE/product/10.2.0/crs
export ORACLE_SID=db2
export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/jre
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

4.安装asm
# rpm -ivh oracleasm-support-2.0.3-1.x86_64.rpm
# rpm -ivh oracleasm-2.6.9-42.ELlargesmp-2.0.3-1.x86_64
# rpm -ivh oracleasmlib-2.0.2-1.x86_64.rpm

5.配置asm
# /etc/init.d/oracleasm configure
Configuring the Oracle ASM library driver.

This will configure the on-boot properties of the Oracle ASM library
driver.The following questions will determine whether the driver is
loaded on boot and what permissions it will have.The current values
will be shown in brackets ('[]').Hitting without typing an
answer will keep that current value.Ctrl-C will abort.

Default user to own the driver interface []:oracle
Default group to own the driver interface []:dba
Start Oracle ASM library driver on boot (y/n) [n]:y
Fix permissions of Oracle ASM disks on boot (y/n) [y]:y
Writing Oracle ASM library driver configuration            [ OK ]
Creating /dev/oracleasm mount point                        [ OK ]
Loading module "oracleasm"                                 [ OK ]
Mounting ASMlib driver filesystem                          [ OK ]
Scanning system for ASM disks                              [ OK ]

6.创建asm磁盘，此操作只要在其中一节点执行就ok。
# /etc/init.d/oracleasm createdisk DB_SDATA /dev/sda1
# /etc/init.d/oracleasm createdisk DB_DATA01 /dev/sde1
# /etc/init.d/oracleasm createdisk DB_DATA02 /dev/sdf1
# /etc/init.d/oracleasm createdisk DB_DATA03 /dev/sdg1
# /etc/init.d/oracleasm createdisk DB_DATA04 /dev/sdh1
# /etc/init.d/oracleasm createdisk DB_DATA05 /dev/sdi1
# /etc/init.d/oracleasm createdisk DB_DATA06 /dev/sdj1
# /etc/init.d/oracleasm createdisk DB_DATA07 /dev/sdk1
# /etc/init.d/oracleasm createdisk DB_DATA08 /dev/sdl1
# /etc/init.d/oracleasm createdisk DB_DATA09 /dev/sdm1
# /etc/init.d/oracleasm createdisk DB_DATA10 /dev/sdn1
# /etc/init.d/oracleasm createdisk DB_DATA11 /dev/sdo1
# /etc/init.d/oracleasm createdisk DB_DATA12 /dev/sdp1
# /etc/init.d/oracleasm createdisk DB_DATA13 /dev/sdq1
# /etc/init.d/oracleasm createdisk DB_DATA14 /dev/sdr1
# /etc/init.d/oracleasm createdisk DB_REDO01 /dev/sds1
# /etc/init.d/oracleasm createdisk DB_REDO02 /dev/sdt1
# /etc/init.d/oracleasm createdisk DB_REDO03 /dev/sdu1
# /etc/init.d/oracleasm createdisk DB_REDO04 /dev/sdv1
# /etc/init.d/oracleasm createdisk DB_REDO05 /dev/sdw1
# /etc/init.d/oracleasm createdisk DB_REDO06 /dev/sdx1
在另外一节点上执行以下命令即可，如果看到了刚才创建的asm磁盘，则成功。
# /etc/init.d/oracleasm scandisks
# /etc/init.d/oracleasm listdisks

其他：删除asm磁盘
# /etc/init.d/oracleasm deletedisk asm磁盘名

7.安装ocfs2
# rpm -ivh ocfs2-tools-1.2.4-1.x86_64.rpm
# rpm -ivh ocfs2console-1.2.4-1.x86_64.rpm
# rpm -ivh ocfs2-2.6.9-42.ELlargesmp-1.2.4-2.x86_64.rpm

8.配置ocfs2
1)开机自启动等设置
# /etc/init.d/o2cb configure
Load O2CB driver on boot (y/n) [y]:y
Cluster to start on boot (Enter "none" to clear) [ocfs2]:ocfs2
Writing O2CB configuration:OK
Loading module "configfs":OK
Mounting configfs filesystem at /config:OK
Loading module "ocfs2_nodemanager":OK
Loading module "ocfs2_dlm":OK
Loading module "ocfs2_dlmfs":OK
Mounting ocfs2_dlmfs filesystem at /dlm:OK
Starting cluster ocfs2:OK
2）配置集群节点
# vi /etc/cluster.conf
node:
ip_port = 7777
ip_address = 10.10.10.132
number = 0
name = rac1
cluster = ocfs2

node:
ip_port = 7777
ip_address = 10.10.10.133
number = 1
name = linux2
cluster = ocfs2

cluster:
node_count = 2
name = ocfs2

或者图形界面下以root身份运行
# ocfs2console
配置cluster/node configure

3）创建ocfs2文件系统
或者图形界面下以root身份运行
# ocfs2console
图形界面下：菜单 [Tasks] - [Format]。
命令行：
# mkfs.ocfs2 -b 4K -C 32K -N 4 -L ocfs2磁盘标签名 /dev/物理磁盘分区名

4）建立存放voting、ocr、spfile要用的ocfs2文件系统
# mkdir /u01 /u02 /u03
# mkfs.ocfs2 -b 4K -C 32K -N 4 -L voting /dev/sdc1
# mkfs.ocfs2 -b 4K -C 32K -N 4 -L ocr /dev/sdb1
# mkfs.ocfs2 -b 4K -C 32K -N 4 -L spfile /dev/sda1
# mount -t ocfs2 -o _netdev,datavolume /u01 /dev/sdc1
# mount -t ocfs2 -o _netdev,datavolume /u02 /dev/sdb1
# mount -t ocfs2 -o _netdev,datavolume /u03 /dev/sda1
开机自动挂载ocfs2文件系统
# vi /etc/fstab
/dev/cciss/sdc1     /u01    ocfs2   _netdev,datavolume     1 2
/dev/cciss/sdb1     /u02    ocfs2   _netdev,datavolume     1 2
/dev/cciss/sda1     /u03    ocfs2   _netdev,datavolume     1 2

5) 给u01 u02 u03文件家赋权给oracle和oinstall组，很重要，千万别漏了！

# chown -R oracle:oinstall /u01 /u02 /u03

6）在所有ocfs2文件系统上创建文件试试，看看俩个节点是否都能正常访问
# cd /u01
# vi test.txt 随便输入点东西，在另外一节点访问，能访问则正常
# cd /u02
# vi test.txt 随便输入点东西，在另外一节点访问，能访问则正常
# cd /u03
# vi test.txt 随便输入点东西，在另外一节点访问，能访问则正常

9.配置hosts文件
# vi /etc/hosts 内容如下
10.10.10.132   rac1      
10.10.10.136   rac1-vip
192.168.1.132   rac1-pri
10.10.10.133   rac2
10.10.10.137   rac2-vip
192.168.1.133   rac2-pri
修改完后重启所有节点。

10.设置oracle的对等关系，这里以ssh为列
俩节点分别执行：
# su - oracle
$ ssh-keygen -t rsa
$ ssh-keygen -t dsa
$ cd
$ mkdir .ssh //如果有就不用了。
$ cd .ssh
$ touch authorized_keys
$ cat id_dsa.pub >> authorized_keys
$ cat id_rsa.pub >> authorized_keys
在节点rac1上执行
$ scp authorized_keys :~
在节点rac2上执行
$ cd
$ cat authorized_keys >> .ssh/authorized_keys
$ scp .ssh/authorized_keys
按y覆盖现有的authorized_keys文件。

在节点rac1上执行
$ ssh rac1
$ ssh localhost
$ ssh rac2
$ ssh rac2-pri
$ ssh rac2-vip
每个命令回车后输入y，再回车
在节点rac2上执行
$ ssh rac2
$ ssh localhost
$ ssh rac1
$ ssh rac1-pri
$ ssh rac1-vip
每个命令回车后输入y，再回车

执行以上操作后，直接ssh连接任何节点都无需输入密码则ssh的对等关系建立完毕。

11.找其中一台做时钟同步服务器
1）ntp时间服务器端配置
# vi /etc/ntp.conf 内容如下

restrict default nomodify notrap noquery
restrict 127.0.0.1

fudge   127.127.1.0 stratum 10

driftfile /var/lib/ntp/drift
broadcastdelay 0.008

keys            /etc/ntp/keys

server rac1
restrict rac1 mask 255.255.255.255 nomodify notrap noquery
# 注释，如果使用双机节点外的其他内部服务器做始终服务器，
# 则需要把该服务器的服务器名写入所有节点的/etc/hosts文件里头
# 格式： ip 主机名

2) ntp时间服务器
# vi /etc/ntp.conf 内容如下

restrict default nomodify notrap noquery

restrict 127.0.0.1

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
restrict 10.10.10.0 mask 255.255.255.0 nomodify notrap

server 127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

driftfile /var/lib/ntp/drift
broadcastdelay 0.008
keys            /etc/ntp/keys

3）双节点重启时间服务
# service ntpd restart

4) 双节点的时间精确到同一秒则时间服务器配置成功，时间同步是oracle集群成功运行的重要一步。