分类： Oracle
2008-04-23 11:29:08
一、简介
熟悉 Oracle 真正应用集群 (RAC) 10g 技术的最有效方法之一是访问一个实际的 Oracle RAC 10g 集群。没有什么方法比直接体验它们能够更好地理解其好处的了 — 包括容错、安全性、负载均衡和可伸缩性。
Oracle RAC 的核心是共享磁盘子系统。集群中的所有节点必须能够访问集群中所有节点的所有数据、重做日志文件、控制文件和参数文件。数据磁盘必须在全局范围内可用，以便允许所有节点访问数据库。每个节点拥有自己的重做日志和控制文件，但是其他节点必须能够访问这些文件，以便在系统故障时恢复该节点。
希望本文能对一些手头上只有一台PC而没有真正的双机环境的朋友提供一个参考。
二、本文实践环境
1、PC主要配置：
Celeron(R) CPU 1.80GHz
Maxtor 6E040L0, ATA DISK drive 40G
RelTek 8139C 网卡 一块
内存DDR333 512MB * 2
显示卡：ATI [Radeon 9200 SE]
操作系统：White Box Enterprise Linux 3 （本文同样适用于RedHat企业版,不同之处是WBEL3目前可以免费运用于商业)
远程终端一台，装有windowsXP和远程X-server软件
2、服务器分区方案
Oracle 数据库文件
RAC节点名
实例名
数据库名
$ORACLE_BASE
文件系统
dbrac
orcl1
orcl
/home/oracle
ASM
Oracle CRS 共享文件
文件类型
文件名
分区
挂载点
文件系统
oracle集群注册表
/u01/orcl/orcfile
/dev/hda8
/u01
OCFS
CRS表决磁盘
/u01/orcl/cssfile
/dev/hda8
/u01
OCFS
3、所涉及软件
1)oracle 10g 数据库软件
ship.db.lnx32.cpio.gz
2)oracle 10g 集群服务软件
ship.crs.lnx32.cpio.gz
3)OCFS文件系统支持
ocfs-2.4.21-EL-1.0.14-1.i686.rpm
ocfs-support-1.0.10-1.i386.rpm
ocfs-tools-1.0.10-1.i386.rpm
4)ASMlib驱动程序
oracleasm-2.4.21-EL-1.0.3-1.i686.rpm
oracleasm-support-1.0.3-1.i386.rpm
oracleasmlib-1.0.0-1.i386.rpm
以上软件包均可以从oracle官方网站下载
WBEL linux下载地址：
三、基础操作
1、安装linux
安装过程中一些需要注意的地方：
1)磁盘分区:swap分区大小建议是内存的2倍，这里是2048MB,划出一些系统必要的分区根分区/,var分区/var,usr分区 /usr,home分区/home,临时文件分区/tmp。注意：这里不要把所有的硬盘空间划分进操作系统，留下一半给后面安装oarcle集群磁盘使用，本文示例
2)文件系统 容量 挂载点
/dev/hda1 1012M /
/dev/hda2 7.7G /home
/dev/hda7 1012M /tmp
/dev/hda3 5.8G /usr
/dev/hda5 2.0G /var
3)组件选取：一定要选上delvelopment tools和X-windows两项，为了节省空间其他可以不要
4)防火墙：最好不要
5)网络设置：eth0
取消选中 [Configure using DHCP] 复选项
选中 [Activate on boot]
IP 地址：192.168.22.44
网络掩码： 255.255.255.0
6)主机名:dbrac
2、.安装完成后检查必需的 RPM
3、必须安装以下程序包（或更高版本）：
make-3.79.1
gcc-3.2.3-34
glibc-2.3.2-95.20
glibc-devel-2.3.2-95.20
glibc-headers-2.3.2-95.20
glibc-kernheaders-2.4-8.34
cpp-3.2.3-34
compat-db-4.0.14-5
compat-gcc-7.3-2.96.128
compat-gcc-c++-7.3-2.96.128
compat-libstdc++-7.3-2.96.128
compat-libstdc++-devel-7.3-2.96.128
openmotif-2.2.2-16
setarch-1.3-1
四、设置
1、更改/etc/hosts
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost
192.168.22.44 dbrac int-dbrac
192.168.22.244 vip-dbrac
确保RAC节点名没有出现在回送地址中。
此处设置相当重要，不能跳过，一定按照此设置，IP和主机别名可以自己定
oracle 10g RAC中 使用了虚拟IP(VIP)技术，这是一个令人心动的高可用性、多机无缝切换的解决方案,但在单机模拟环境中仅仅是个形式而已，为了以后的顺利安装，不得不配置它
2、调整内核网络设置参数
编辑/etc/sysctl.conf，增加下面的设置：
vi /etc/sysctl.conf
# Default setting in bytes of the socket receive buffer
net.core.rmem_default=262144
# Default setting in bytes of the socket send buffer
net.core.wmem_default=262144
# Maximum socket receive buffer size which may be set by using
# the SO_RCVBUF socket option
net.core.rmem_max=262144
# Maximum socket send buffer size which may be set by using
# the SO_SNDBUF socket option
net.core.wmem_max=262144
3、添加模块选项：
将下列行添加到 /etc/modules.conf 中：
options sbp2 sbp2_exclusive_login=0
4、创建“oracle”用户和目录
$su -
#groupadd dba
#useradd -g dba -m oracle
#passwd oracle
5、编辑.bash_profile文件，增加oracle环境变量
$vi .bash_profile
export PATH
unset USERNAME
export LANG=zh_CN.EUC
ORACLE_BASE=/home/oracle;export ORACLE_BASE
export ORACLE_HOME=$ORACLE_BASE/product/10.1.0/db_1
export ORA_CRS_HOME=$ORACLE_BASE/product/10.1.0/crs_1
export ORACLE_SID=rac1
export NLS_LANG='SIMPLIFIED CHINESE_CHINA.ZHS16GBK'
PATH=$ORACLE_HOME/bin:/bin:/sbin:/usr/bin:/usr/ccs/bin:/usr/local/bin:/usr/ucb;export PATH
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/network/lib:$ORACLE_HOME/oracm/lib:/usr/local/lib:/usr/lib;export LD_LIBRARY_PATH
export ORACLE_TERM=xterm
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/rdbms/jlib:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
export LD_ASSUME_KERNEL=2.4.1
6、创建CRS分区和数据文件分区
1)先建立CRS分区挂载点
mkdir /u01
chown oracle:dba /u01
2)接着创建CRS分区和共享数据文件分区
fdisk /dev/hda
CRS分区只要500M就够了，剩下的全部划分给数据文件分区，这里为数据文件只分了1个区/dev/hda9
CRS分区为/dev/hda8
[root@dbrac root]# fdisk /dev/hda
The number of cylinders for this disk is set to 4997.
[root@dbrac root]# fdisk /dev/hda
The number of cylinders for this disk is set to 4997.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
(e.g., DOS FDISK, OS/2 FDISK)
Command (m for help): p
Disk /dev/hda: 41.1 GB, 41109061120 bytes
255 heads, 63 sectors/track, 4997 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/hda1 * 1 131 1052226 83 Linux
/dev/hda2 132 1151 8193150 83 Linux
/dev/hda3 1152 1916 6144862+ 83 Linux
/dev/hda4 1917 4998 24756165 f Win95 Ext'd (LBA)
/dev/hda5 1917 2177 2096451 83 Linux
/dev/hda6 2178 2438 2096451 82 Linux swap
/dev/hda7 2439 2569 1052226 83 Linux
Command (m for help): n
First cylinder (2570-4998, default 2570):
Using default value 2570
Last cylinder or +size or +sizeM or +sizeK (2570-4998, default 4998): +500M
Command (m for help): n
First cylinder (2632-4998, default 2632):
Using default value 2632
Last cylinder or +size or +sizeM or +sizeK (2632-4998, default 4998): +15000M
Command (m for help): p
Disk /dev/hda: 41.1 GB, 41109061120 bytes
255 heads, 63 sectors/track, 4997 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/hda1 * 1 131 1052226 83 Linux
/dev/hda2 132 1151 8193150 83 Linux
/dev/hda3 1152 1916 6144862+ 83 Linux
/dev/hda4 1917 4998 24756165 f Win95 Ext'd (LBA)
/dev/hda5 1917 2177 2096451 83 Linux
/dev/hda6 2178 2438 2096451 82 Linux swap
/dev/hda7 2439 2569 1052226 83 Linux
/dev/hda8 2570 2631 497983+ 83 Linux
/dev/hda9 2632 4456 14659281 83 Linux
Command (m for help): w
The partition table has been altered!
Calling ioctl() to re-read partition table.
WARNING: Re-reading the partition table failed with error 16: 设备或资源忙.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.
7、编辑/etc/sysctl.conf，增加下面2行以设置系统共享内存大小和文件句柄
kernel.shmmax=2147483648
kernel.sem=250 32000 100 128
本文涉及到的linux操作系统的内核参数默认设置大多符合oracle安装所需，不需要做更大的改动
8、配置 hangcheck-timer 内核模块
在/etc/modules.conf中增加下面一行
options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180
为了确保系统每次重新启动的时候都能自动加载hangcheck-timer 模块，需要在/etc/rc.local文件中增加下面一行
echo “modprobe hangcheck-timer” >> /etc/rc.local
重启系统并检查hangcheck-timer模块是否已经加载
[root@dbrac root]# lsmod | grep hangcheck-timer
hangcheck-timer 2616 0 (unused)
9、配置 RAC 节点以进行远程访问
在 RAC 节点上运行 Oracle Universal Installer 时，它将使用 rsh 、rcp或scp命令将 Oracle 软件复制到 RAC 集群中的所有其他节点。虽然是单机模拟，但仍然要配置，无法跳过，从oracle 10g开始已经支持ssh协议，本文将首先尝试使用它
使用oracle用户创建ssh公共密匙：
[oracle@dbrac oracle]$ ssh-keygen -t dsa
Generating public/private dsa key pair.
Enter file in which to save the key (/home/oracle/.ssh/id_dsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/oracle/.ssh/id_dsa.
Your public key has been saved in /home/oracle/.ssh/id_dsa.pub.
The key fingerprint is:
2d:09:9a:c0:40:c7:99:46:ea:43:0d:22:4b:d0:a0:26 oracle@dbrac
复制公匙到其他节点（这里是单机）
[oracle@dbrac oracle]$ cp -v .ssh/id_dsa.pub .ssh/authorized_keys
测试密匙是否生效
[oracle@dbrac oracle]$ ssh dbrac
The authenticity of host 'dbrac (192.168.22.44)' can't be established.
RSA key fingerprint is e7:ff:ce:5e:92:ac:c4:96:a8:ca:3e:20:2e:5c:75:ae.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'dbrac,192.168.22.44' (RSA) to the list of known hosts.
[oracle@dbrac oracle]$
无需密码即可登陆表示密匙已经生效
10、安装和配置 OCFS
OCFS是Oracle 集群文件系统 (OCFS)，由 Oracle 开发，用于消除数据库管理员和系统管理员管理原始设备这一负担，它提供了与通常的文件系统相同的功能和用法。尽量不要在OCFS文件系统上使用linux二进制文件系统操作命令
在目前的版本１种支持以下文件类型：
Oracle 数据库文件
联机重做日志文件
归档重做日志文件
控制文件
服务器参数文件 (SPFILE)
Oracle 集群注册表 (OCR) 文件
CRS 表决磁盘。
安装和配置
1)上传ocfs-2.4.21-EL-1.0.14-1.i686.rpm，ocfs-support-1.0.10-1.i386.rpm，ocfs-tools-1.0.10-1.i386.rpm到/home/oracle/install/rac/ocfs目录
2)执行rpm -ivh ocfs*.rpm 开始安装
[oracle@dbrac oracle]$ su -
Password:
[root@dbrac root]# cd /home/oracle/install/rac/ocfs
[root@dbrac ocfs]# rpm -ivh ocfs*.rpm
Preparing... ########################################### [100%]
1:ocfs-support ########################################### [ 33%]
2:ocfs-2.4.21-EL ########################################### [ 67%]
3:ocfs-tools ########################################### [100%]
3)生成并配置/etc/ocfs.conf文件
root@dbrac ocfs]# ocfstool &
4)使用 ocfstool GUI 工具执行以下步骤：
5)选择 [Task] - [Generate Config]
在“OCFS Generate Config”对话框中，输入专用互连的接口和 DNS 名。
验证所有节点上的所有值正确之后，请退出应用程序
6)检查/etc/ocfs.conf
[root@dbrac ocfs]# cat /etc/ocfs.conf
#
# ocfs config
# Ensure this file exists in /etc
#
node_name = dbrac
ip_address = 192.168.22.44
ip_port = 7000
comm_voting = 1
guid = B907DC7945D81C0A2C8C000D61EB0166
注意guid在集群中唯一对应一个节点，如果要更换网卡，请使用ocfs_uid_gen -c 命令重新创建
7)重新启动系统并确认ocfs模块已经正确加载
[oracle@dbrac oracle]$ lsmod | grep ocfs
ocfs 299104 0 (unused) 
创建 OCFS 文件系统
[oracle@dbrac oracle]$ id
uid=500(oracle) gid=500(dba) groups=500(dba)
[oracle@dbrac oracle]$ su -
Password:
[root@dbrac root]# mkfs.ocfs -F -b 128 -L crs -m /u01 -u '500' -g '500' -p 0775 /dev/hda8
Cleared volume header sectors
Cleared node config sectors
Cleared publish sectors
Cleared vote sectors
Cleared bitmap sectors
Cleared data block
Wrote volume header
注意-u和-g 是oracle用户的id和dba组的id,一定要填写正确，-p是设置/u01目录的访问权限，如果要设置dba组用户有权管理集群注册文件的话，请设置0775
9)载入 OCFS 文件系统
$ su -
# mount -t ocfs /dev/hda8 /u01
10)将 OCFS分区配置为在启动时自动载入
11)将以下条目添加到/etc/fstab 文件中
/dev/hda8 /u01 ocfs _netdev 0 0
12)重新启动服务器并检查CRS分区已经正确安装
[root@dbrac root]# mount | grep ocfs
/dev/hda8 on /u01 type ocfs (rw)
如果没有被自动加载，请执行如下命令echo “mount -t ocfs /dev/hda8 /u01” >> /etc/rc.local，然后重新启动
也可用使用oracle官方为我们提供的打过补丁的linux内核来解决此问题
