export
输出变量，使变量生效。
打补丁包：
patch < ax-ocfs-2.4.21-EL-1.0.11-1.patch
使用rmmod ocfs ,可以卸载ocfs服务
环境变量的真正含义：
环境变量相对于给系统或用户应用程序设置的一些变量, 具体起什么作用这当然和具体的环境变量相关. 象path, 是告诉系统,
当要求系统运行一个程序而没有告诉它程序所在的完整路径时, 系统除了在当前目录下面寻找此程序外, 还应到那些目录下去找;
Oracle 10g RAC with OCFS 安装配置指南：
第一步：安装操作系统
scsi1.sharedBus = "virtual"
disk.locking = "false"
第二步：配置存储，设置分区，绑定裸设备
配置存储 ？？还是不怎么清楚，参考一下其它的文档。
在RAC的创建和存储中，系统通过共享的磁盘分区来保证每个节点可以并发地对数据库进行读写操作。
本例中，我们将做成VMware的一个磁盘作为一个逻辑驱动器，大小为4GB，
映像到主机信道后，被RAC中的两个节点服务器识别为/dev/sdb。
划分完成后重新启动每个节点服务器，当节点重启后，执行fdisk -l 命令查看分区信息，命令输出
应显示为一个新的设备/dev/sdb, 代表存储配置成功。
设置分区
用fdisk工具对/dev/sdb分区，这里我们划分了三个分区，前两个分区（/dev/sdb1,/dev/sdb2)大小都是
200M，用于安装CRS;剩余空间为/dev/sdb3,用于挂载OCFS。
注意：不要格式化分区（CRS要安装在裸设备上，其它采用OCFS文件系统）。 (OCFS , ASM ,NFS ,裸设备，这几个是什么关系？)
裸设备：也叫裸分区（原始分区），是一种没有经过格式化，不被Unix/Linux通过文件系统来读取的特殊字符设备。
裸设备可以绑定一个分区，也可以绑定一个磁盘。
字符设备：对字符设备的读写不需要通过OS的buffer。它不可被文件系统mount。
块设备：对块设备的读写需要通过OS的buffer，它可以被mount到文件系统中。
绑定raw设备
为了获得较高的读写性能，我们将CRS中的OCR和Oracle CRS voting disk
安装在裸设备上。在每个节点服务器的/dev/rc.local文件中加入以下两行，
以实现raw设备的绑定，并使系统每次启动时自动绑定raw设备。
/usr/bin/raw /dev/raw/raw1 /dev/sdb1
/usr/bin/raw /dev/raw/raw2 /dev/sdb1
chown oracle.dba /dev/raw/raw1
chown oracle.dba /dev/raw/raw2
在安装CRS时，OCR和Oracle CRS voting disk将被指定到/dev/raw/raw1和/dev/raw/raw2
两个设备。注意后续操作中这两个设备不能被其它目的占用。
最后，执行如下命令以验证每个节点中raw设备的绑定：
#raw -qa
/dev/raw/raw1 bound to major 8 minor 65
/dev/raw/raw2 bount to major 8 minor 66
****以上必须在两台服务器上同时建立*******
第三步：Linux 系统配置
配置用户和组
创建用户和组：
#groupadd -g 800 oinstall
#groupadd -g 700 dba
#useradd - u 700 -g oinstall -G dba oracle
#passwd oracle
设置oracle用户的环境
在每个节点服务器上分别执行以下命令，创建ORACLE_BASE目录，并修改其属主/组和权限。
#mkdir -p /u01
#chown -R oracle.dba /u01
#chmod -R 775 /u01
以oracle 身份编辑/home/oracle/.bash_profile文件，指定PATH,ORACLE_BASE,
ORACLE_HOME等各个环境变量，以便后续的安装。
export ORACLE_BASE=/u01
export ORACLE_HOME=$ORACLE_BASE/oracle
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib
export TNS_ADMIN=$ORACLE_HOME/network/admin
PATH=/usr/bin:$ORACLE_HOME/bin:$PATH:$HOME/bin
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib:
$ORACLE_HOME/network/jlib:$ORACLE_HOME/assistants/dbca/jlib:$ORACLE_HOME/assistants/dbma/jlib:$ORACLE_HOME/
owm/jlib:$ORACLE_HOME/jdbc/lib/classes12.zip
export PATH
export LC_ALL=C
unset USERNAME
修改配置文件
网络配置
Oracle 10g RAC 要求每个节点至少有两个静态IP 地址，分别用于公共连接和节点间互连。
eth0必须使用公网IP段。
#vi /etc/hosts
priv
db01
vip
127.0.0.1 localhost
rsh,ssh,rlogin和rexec系列服务的配置
#vi /etc/hosts.equiv
+db01 oracle
+db02 oracle
+priv1 oracle
+priv2 oracle
setup / System services
用service xinetd start,使服务生效。
ssh-keygen -t rsa
ssh-keygen -t dsa
测试网络的连通性
ping ,rsh ,rcp
内核参数文件的配置，sysctl.conf
*******************
*
*
这个地方有很多关于系统内核的参数要配置
#vi /etc/sysctl.conf
#Disables packet forwarding
net.ipv4.ip_forward = 0
#Enables source route verification
net.ipv4.conf.default.rp_filter = 1
net.core.rmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 262144
#Disables the magic-sysrq key
kernel.sysrq = 0
#Oracle Shared memory and Semaphore memory settings
kernel.shmmax = 4241967295
kernel.shmmin = 1
kernel.shmmni = 4096
kernel.shmseg = 10
kernel.shmall = 2097152
kernel.msgmax = 8192
kernel.msgmnb = 16384
kernel.msgmni = 128
echo $SEMMSL $SEMMNS $SEMOPM $SEMMNI
kernel.sem = 500 64000 100 512
#Oracle set available port range
net.ipv4.ip_local_port_range = 1024 65000
limits.conf文件的配置
/etc/security/limits.conf
oracle soft nofile 60000
oracle hard nofile 65536
oracle soft noproc 60000
oracle hard noproc 65536
安装和配置OCFS
OCFS适合多节点的RAC安装。
下载所需的软件包
#patch < ax-oxfs-2.4.21-EL-1.011-1.patch
用chkconfig -- list |grep ocfs 检查是否安装成功了？
ocfs 0:off 1:off 2:on 3:on 4:on 5:on 6:off
在/下创建OCFS文件系统的安装点，并修改其访问权限
#mkdir /ocfsmnt
#chown -R oracle.dba /ocfsmnt
#chmod -R 775 /ocfsmnt
使用ocfstool配置ocfs，生成/etc/ocfs.conf(每个节点都要做）。
配置完成之后，service ocfs start 启动ocfs服务。
分别修改两台主机的/etc/fstab文件，加入以下ocfs文件系统信息，使系统启动时自动加载OCFS:
/dev/sdb3 /ocfsmnt ocfs _netdev 0 0
使用mount -a 进行测试，看是否可以正常挂载；最后在两台机器的/ocfsmnt上分别建立文件，测试在
另一台机器上是否可以同步看到并使用。
第四步：安装 Cluster Ready Services (CRS)
The Global Services Daemon (GSD) runs on each node with one GSD process per node.
The GSD coordinates with the cluster manager to receive requests from clients such as the DBCA, EM, and the SRVCTL utility
to execute administrative job tasks such as instance startup or shutdown.
The GSD is not an Oracle instance background process and is therefore not started with the Oracle instance.
GSD主要承担这rac的管理工具与dbca srvctl oem进行交互的工作。是个通道的作用，
7. ONS Oracle Notification Services
oracle 官方文档的描述
A publish and subscribe service for communicating information about all FAN events.
负责不同的节点的通信。
第五步：安装Oracle 10g DB
注意，此时要修改环境变量
使用oracle用户，先修改/home/oracle/.bash_profile文件，把ORACLE_HOME改为：
export ORACLE_HOME = $ORACLE_BASE/oracle10g
并在db01上增加：
export ORACLE_SID=RAC1
在db02上增加：
export ORACLE_SID=RAC2
指定数据库文件的存放路径，只能是共享磁盘的位置，这里是OCFS磁盘的位置，在Specify Database file Location
中输入：/ocfsmnt/oradata
第六步：测试
select open_mode from v$database;
