(ZZ) Install 10g R2 RAC on SFRAC Step By Step (2)

23. check 
# hares -state ora_priv
#Resource    Attribute        System     Value
ora_priv     State            sxrtfs01   ONLINE
ora_priv     State            sxrtfs04   ONLINE
# ifconfig -a
lo0: flags=2001000849 mtu 8232 index 1
        inet 127.0.0.1 netmask ff000000
e1000g0: flags=1000843 mtu 1500 index 2
        inet 10.198.90.91 netmask fffff800 broadcast 10.198.95.255
        ether 0:14:4f:3f:cb:60
e1000g1: flags=1000843 mtu 1500 index 3
        inet 192.168.13.4 netmask ffffff00 broadcast 192.168.13.255
        ether 0:14:4f:3f:cb:61
24.   prepare oracle installation directories
  mkdir /opt/app
  mkdir -p /opt/app
  mkdir -p /opt/app/crs
  mkdir -p /opt/app/crs/crshome
  mkdir -p /opt/app/oraInventory
  mkdir -p /opt/app/oracle
  mkdir -p /opt/app/oracle/orahome
  chown -R oracle:oinstall /opt/app
  chmod -R 775  /opt/app
  mkdir -p /ocrvote
  echo >/ocrvote/ocr
  echo >/ocrvote/vote
  chown -R oracle:oinstall /ocrvote
 chmod -R 775 /ocrvote
25. prepare ocr and vote share storage 
# vxdg -s init ocrvotedg EMC_CLARiiON0_1 EMC_CLARiiON0_4
# vxassist -g ocrvotedg make ocrvotevol 1g nmirror=2
# mkfs -F vxfs /dev/vx/rdsk/ocrvotedg/ocrvotevol
    version 7 layout
 2097152 sectors, 1048576 blocks of size 1024, log size 16384 blocks
   largefiles supported
 
on each node 
# mount -F vxfs -o cluster /dev/vx/dsk/ocrvotedg/ocrvotevol /ocrvote
# chown -R oracle:oinstall /ocrvote
# chmod -R 775 /ocrvote
26.  Add to VCS 
haconf -makerw
hares -add ocrvote_mnt CFSMount cvm
hares -modify ocrvote_mnt Critical 0
hares -modify ocrvote_mnt MountPoint “/ocrvote”
hares -modify ocrvote_mnt BlockDevice “/dev/vx/dsk/ocrvotedg/ocrvotevol”
hares -add ocrvote_voldg CVMVolDg cvm
hares -modify ocrvote_voldg CVMDiskGroup ocrvotedg
hares -modify ocrvote_voldg CVMVolume -add ocrvotevol
hares -modify ocrvote_voldg CVMActivation sw
hares -link ocrvote_mnt ocrvote_voldg
hares -link ocrvote_mnt vxfsckd
hares -link ocrvote_voldg cvm_clus
hares -modify ocrvote_voldg Enabled 1
hares -modify ocrvote_mnt Enabled 1
haconf -dump -makero
27.  check 
# hares -online ocrvote_voldg -sys sxrtfs01
# hares -online ocrvote_voldg -sys sxrtfs04
# hastatus
attempting to connect....connected
 
group           resource             system               message
----------- -----------------    ---------------- -----------
                                     sxrtfs01             RUNNING
                                     sxrtfs04             RUNNING
cvm                                  sxrtfs01             ONLINE
cvm                                  sxrtfs04             ONLINE
---------------------------------------------------------------------
                vxfsckd              sxrtfs01             ONLINE
                vxfsckd              sxrtfs04             ONLINE
                cvm_clus             sxrtfs01             ONLINE
                cvm_clus             sxrtfs04             ONLINE
                cvm_vxconfigd        sxrtfs01             ONLINE
---------------------------------------------------------------------
                cvm_vxconfigd        sxrtfs04             ONLINE
                ora_priv             sxrtfs01             ONLINE
                ora_priv             sxrtfs04             ONLINE
                ocrvote_mnt          sxrtfs01             ONLINE
                ocrvote_mnt          sxrtfs04             ONLINE
---------------------------------------------------------------------                ocrvote_voldg        sxrtfs01             ONLINE
                ocrvote_voldg        sxrtfs04             ONLINE
28. prepare ocr and vote file 
# su - oracle
Sun Microsystems Inc.   SunOS 5.10      Generic January 2005
$   echo >/ocrvote/ocr
$   echo >/ocrvote/vote
29. verify the crs preparation  
# cd /mnt/ORA/crs/clusterware/cluvfy
# cd /mnt/ORA/crs/clusterware/cluvfy
#
# ./runcluvfy.sh stage -pre crsinst -n sxrtfs01,sxrtfs04 -verbose
 
30 . add swap space 
# mkfile 1g  /opt/swapfile
# swap -a /opt/swapfile
# chown -R oracle:oinstall /dev/vx/dsk/ocrvotedg/ocrvotevol
# chmod -R 775 /dev/vx/dsk/ocrvotedg/ocrvotevol

31.  install crs 
# cd /opt/VRTS/install
 # ./installsfrac -rsh sxrtfs01 sxrtfs04 -configure
 
on sxrtfs01:
# ./root.sh
WARNING: directory '/opt/app/crs' is not owned by root
WARNING: directory '/opt/app' is not owned by root
WARNING: directory '/opt' is not owned by root
Checking to see if Oracle CRS stack is already configured
Checking to see if any 9i GSD is up
 
Setting the permissions on OCR backup directory
Setting up NS directories
Oracle Cluster Registry configuration upgraded successfully
WARNING: directory '/opt/app/crs' is not owned by root
WARNING: directory '/opt/app' is not owned by root
WARNING: directory '/opt' is not owned by root
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node :   
node 0: sxrtfs01 sxrtfs01-priv sxrtfs01
node 1: sxrtfs04 sxrtfs04-priv sxrtfs04
Creating OCR keys for user 'root', privgrp 'root'..
Operation successful.
Now formatting voting device: /ocrvote/vote
Format of 1 voting devices complete.
Startup will be queued to init within 30 seconds.
Adding daemons to inittab
Expecting the CRS daemons to be up within 600 seconds.
CSS is active on these nodes.         sxrtfs01
CSS is inactive on these nodes.       sxrtfs04
Local node checking complete.
Run root.sh on remaining nodes to start CRS daemons.
#
 
on sxrtfs04:
# ./root.sh
WARNING: directory '/opt/app/crs' is not owned by root
WARNING: directory '/opt/app' is not owned by root
WARNING: directory '/opt' is not owned by root
Checking to see if Oracle CRS stack is already configured
Checking to see if any 9i GSD is up
 
Setting the permissions on OCR backup directory
Setting up NS directories
Oracle Cluster Registry configuration upgraded successfully
WARNING: directory '/opt/app/crs' is not owned by root
WARNING: directory '/opt/app' is not owned by root
WARNING: directory '/opt' is not owned by root
clscfg: EXISTING configuration version 3 detected.
clscfg: version 3 is 10G Release 2.
Successfully accumulated necessary OCR keys.
Using ports: CSS=49895 CRS=49896 EVMC=49898 and EVMR=49897.
node :   
node 0: sxrtfs01 sxrtfs01-priv sxrtfs01
node 1: sxrtfs04 sxrtfs04-priv sxrtfs04
clscfg: Arguments check out successfully.
 
NO KEYS WERE WRITTEN. Supply -force parameter to override.
-force is destructive and will destroy any previous cluster
configuration.
Oracle Cluster Registry for cluster has already been initialized
Startup will be queued to init within 30 seconds.
Adding daemons to inittab
Expecting the CRS daemons to be up within 600 seconds.
CSS is active on these nodes.
        sxrtfs01
        sxrtfs04
CSS is active on all nodes.
Waiting for the Oracle CRSD and EVMD to start
Oracle CRS stack installed and running under init(1M)
Running vipca(silent) for configuring nodeapps
 
Creating VIP application resource on (2) nodes...
Creating GSD application resource on (2) nodes...
Creating ONS application resource on (2) nodes...
Starting VIP application resource on (2) nodes...
Starting GSD application resource on (2) nodes...
Starting ONS application resource on (2) nodes...
  Done.
32. install database 
# ./installsfrac -rsh sxrtfs01 sxrtfs04 -configure
two nodes : sxrtfs10 sxrtfs04 
intall software only .
33.  patch oracle (option , ignore it )
34. relink oracle 
 on each node 
 
# /opt/app/crs/crshome/bin/crsctl stop crs
Stopping resources.
Successfully stopped CRS resources
Stopping CSSD.
Shutting down CSS daemon.
Shutdown request successfully issued.
# cd /opt/VRTS/install
# ./installsfrac -rsh sxrtfs01 sxrtfs04 -configure
Is this information correct? [y,n,q] (y)
    Verifying CRS on sxrtfs01 ................................ Down
    Verifying CRS on sxrtfs04 ................................ Down
sxrtfs01
    Copying /opt/VRTSvcs/rac/lib/libskgxn2_64.so
/opt/ORCLcluster/lib/libskgxn2.so ... success
sxrtfs04
    Copying /opt/VRTSvcs/rac/lib/libskgxn2_64.so
/opt/ORCLcluster/lib/libskgxn2.so ... success
Aug 27 12:55:31 sxrtfs01 ipc_version_chk[7514]: [ID 139116 user.alert] VCSIPC for Oracle: Minor version mismatch: oracle 0, ipc library 5,
Aug 27 12:55:31 sxrtfs01      VERITAS IPC '5.0' 20:03:58 Mar  2 2007
 
sxrtfs01
    Copying /opt/VRTSvcs/rac/lib/libskgxp10_ver25_64.so
/opt/app/oracle/orahome/lib/libskgxp10.so ... success
    Removing /opt/app/oracle/orahome/lib/libodm10.so ....... success
    Linking /opt/VRTSodm/lib/amd64/libodm.so
/opt/app/oracle/orahome/lib/libodm10.so ... success
    Setting permissions oracle:oinstall
/opt/app/oracle/orahome/lib/libskgxp10.so ... success
 
sxrtfs04
    Copying /opt/VRTSvcs/rac/lib/libskgxp10_ver25_64.so
/opt/app/oracle/orahome/lib/libskgxp10.so ... success
    Removing /opt/app/oracle/orahome/lib/libodm10.so ....... success
    Linking /opt/VRTSodm/lib/amd64/libodm.so
/opt/app/oracle/orahome/lib/libodm10.so ... success
    Setting permissions oracle:oinstall
/opt/app/oracle/orahome/lib/libskgxp10.so ... success
 
Press [Return] to continue:
35. create Database
# /opt/app/crs/crshome/bin/crs_stat
CRS-0184: Cannot communicate with the CRS daemon.
 
# /opt/app/crs/crshome/bin/crsctl start crs
Attempting to start CRS stack
The CRS stack will be started shortly
# /opt/app/crs/crshome/bin/crs_stat
NAME=ora.sxrtfs01.gsd
TYPE=application
TARGET=ONLINE
STATE=OFFLINE
 
NAME=ora.sxrtfs01.ons
TYPE=application
TARGET=ONLINE
STATE=OFFLINE
 
NAME=ora.sxrtfs01.vip
TYPE=application
TARGET=ONLINE
STATE=OFFLINE
 
NAME=ora.sxrtfs04.gsd
TYPE=application
TARGET=ONLINE
STATE=OFFLINE
 
NAME=ora.sxrtfs04.ons
TYPE=application
TARGET=ONLINE
STATE=OFFLINE
 
NAME=ora.sxrtfs04.vip
TYPE=application
TARGET=ONLINE
STATE=OFFLINE
 
# vxdctl -c mode
mode: enabled: cluster active - MASTER
master: sxrtfs01
# vxassist -g ocrvotedg make oradatavol 5g
 
# mkfs -F vxfs /dev/vx/rdsk/ocrvotedg/oradatavol
    version 7 layout
 10485760 sectors, 5242880 blocks of size 1024, log size 16384 blocks
    largefiles supported
# mkdir /oradata
# mount -F vxfs -o cluster /dev/vx/dsk/ocrvotedg/oradatavol  /oradata
# chown -R oracle:oinstall /oradata
# chmod 755 /oradata
 
# su - oracle
Sun Microsystems Inc.   SunOS 5.10      Generic January 2005
$ DISPLAY=172.29.0.82:0.0 export DISPLAY
$ dbca&
 
36. 
 
SQL> connect /  as sysdba;
Connected.
SQL> show sga;
 
Total System Global Area 1224736768 bytes
Fixed Size                  2118688 bytes
Variable Size             329100256 bytes
Database Buffers          889192448 bytes
Redo Buffers                4325376 bytes
SQL>