裸设备介绍及进阶

一、裸设备的相关问题

　　1.1 裸设备(RAW DEVICE)是什么？

　　裸设备是指未创建文件系统的磁盘分区(raw partition)或逻辑卷(raw logical volume)，应用程序直接通过一 个字符设备驱动程序对它进行访问。如何对设备上的数据读写决定于使用它的应用程序。由于对裸设备的操作不通过UNIX的缓冲区，数据在ORACLE的数据缓冲区(BUFFER CACHE)和磁盘之间直接传递，所以使用裸设备在一定程度上能够提高I/O性能，适合I/O量大的系统。另外OPS/RAC (Oracle Parallel Server/Real Application Cluster)环境下，多个节点同时访问同一个数据库，所以CONTROL FILE、DATA FILE、REDO LOG都必须建在RAW DEVICE上。

裸设备的优点：
1、由于旁路了文件系统缓冲器而进行直接读写，从而具有更好的性能。对硬盘的直接读写就意味着取消了硬盘与文件系统的同步需求。这一点对于纯OLTP系统非常有用，因为在这种系统中，读写的随机性非常大以至于一旦数据被读写之后，它们在今后较长的一段时间内不会得到再次使用。除了OLTP，raw设备还能够从以下几个方面改善DSS应用程序的性能：
排序：对于DSS环境中大量存在的排序需求，raw设备所提供的直接写功能也非常有用，因为对临时表空间的写动作速度更快。
序列化访问：raw设备非常适合于序列化I/O动作。同样地，DSS中常见的序列化I/O（表/索引的完全扫描）使得raw设备更加适用于这种应用程序。
2、直接读写，不需要经过OS级的缓存。节约了内存资源，在一定程度上避免了内存的争用。
3、避免了操作系统的cache预读功能，减少了I/O。
4、采用裸设备避免了文件系统的开销。比如维护I-node，空闲块等。
5、在裸设备上可以更方便的应用磁盘内策略。

裸设备的缺点：
1、裸设备的空间大小管理不灵活。在放置裸设备的时候，需要预先规划好裸设备上的空间使用。还应当保留一部分裸设备以应付突发情况。这也是对空间的浪费。
2、很多备份工具软件对裸设备的支持不足，导致备份等的操作和方法比较原始、麻烦。

　　1.2 裸设备的可用空间

　　不同的UNIX对裸设备的管理不完全相同，特别要注意的是某些UNIX在每个裸设备的头部要保留一定的空间，应用程序在使用裸设备时不可以覆盖这一部分，否则会对裸设备造成损坏。所以一个裸设备的实际可用空间是分配给裸设备的空间再减去这部分操作系统保留空间。下面是常用UNIX的OS Reserved Size列表：

　　UNIX　　　　　OS Reserved Size

　　------------　----------------

　　SUN Solaris　　　　　　　0

　　HP-UX　　　　　　　　　　0

　　IBM AIX　　　　　　　　　4k

　　Tru64 UNIX　　　　　　　64k

　　Linux　　　　　　　　　　0

　　1.3 dd命令

　　UNIX上读写裸设备不能使用cp, cpio, tar等命令，必须用dd，下面是几个dd常用参数的简单说明，更详细的信息请参考UNIX使用手册或用命令man dd。

　　dd [ operand=value ... ]

　　if=file 指定输入文件，缺省值是标准输入

　　of=file 指定输出文件，缺省值是标准输出

　　bs=n 设置输入和输出的块大小为n字节，也可以用“k”作单位

　　skip=n 在拷贝之前跳过n个输入块，缺省值是0

　　seek=n 在拷贝之前从输出文件首部跳过n块，缺省值是0

　　count=n 指定拷贝的块数，缺省拷贝到输入文件结束

　　1.4 本文中相关示例的说明

　　a. 所有例子中ORACLE的DB_BLOCK_SIZE都是8k

　　b. /oradata是一文件系统目录

　　c. /dev/rlv_data，/dev/rlv_redo和/dev/rlv_ctrl是三个RAW DEVICE，大小均为8MB(8192k)

　　d. 在未提到操作系统时，默认是AIX，OS_RESERVED_SIZE=4K

　　二、移动数据文件(DATAFILE)

　　2.1 在裸设备上建立数据文件

　　用以下命令建立表空间：

　　SQL> CREATE TABLESPACE ts_test DATAFILE '/dev/rlv_data' SIZE 8180k;

　　SIZE指定的数值必须小于或等于8180k，否则语句将会失败：

　　ORA-01119: error in creating database file '/dev/rlv_data'

　　ORA-27042: not enough space on raw partition to fullfill request

　　这个最大值的计算方法如下：

　　8192k(RAW DEVICE SIZE) - 4k (OS_RESERVED_SIZE) - 8k (DB_BLOCK_SIZE) = 8180k

　　为什么还要减去一个DB_BLOCK_SIZE呢？这是因为ORACLE建立DATAFILE时，在命令中SIZE指定的大小之外，还要在文件头另加一个BLOCK，叫作“Oracle OS Header Block”，里面保存有这个文件的逻辑块大小和文件块数等信息。这一点并不是在RAW DEVICE上建DATAFILE特有的，如果你在文件系统上建一个DATAFILE，指定SIZE 1000k的话，你用ls -l或dir命令看到的文件大小将是1008k (DB_BLOCK_SIZE=8K)。

　　2.2 在文件系统和裸设备之间移动数据文件

　　2.2.1 从文件系统到裸设备

　　a. 在文件系统上建一个4M的DATAFILE

　　SQL> CREATE TABLESPACE test DATAFILE '/oradata/test.dbf' SIZE 4M;

　　b. 查看一下这个新建的DATAFILE的大小 (注：4202496 = 4M + 8K)

　　$ ls -l /oradata/test.dbf

　　-rw-r----- 1 oracle dba 4202496 Aug 29 15:01 /oradata/test.dbf

　　c. 按下表公式确定dd的参数

　　d. 在数据库没有OPEN的状态下，用dd进行拷贝，下面给出命令及输出

　　AIX$ dd if=/oradata/test.dbf of=/dev/rlv_data bs=4k seek=1

　　1026+0 records in

　　1026+0 records out

　　Tru64$ dd if=/oradata/test.dbf of=/dev/rlv_data bs=64k seek=1

　　64+1 records in

　　64+1 records out

　　Other$ dd if=/oradata/test.dbf of=/dev/rlv_data bs=1024k

　　4+1 records in

　　4+1 records out

　　2.2.2 从裸设备到文件系统

　　a. 确定数据文件实际大小file_size，用于下一步计算dd的参数count。如果count计算不对，拷贝出的数据文件无效，数据库无法打开。

　　SQL> SELECT bytes, blocks, bytes/blocks db_block_size, bytes+bytes/blocks file_size

　　FROM dba_data_files WHERE file_name='/dev/rlv_data';

　　BYTES　　　BLOCKS　　DB_BLOCK_SIZE　FILE_SIZE

　　---------- -------- ------------- ---------

　　4194304　　512　　　　8192　　　　　4202496

　　b. 按下表公式确定dd的参数，min表示二者之中取较小的

　　c. 在数据库没有OPEN的状态下，用dd进行拷贝，下面给出命令及输出

　　AIX$ dd if=/dev/rlv_data of=/oradata/test2.dbf bs=4k skip=1 count=1026

　　1026+0 records in

　　1026+0 records out

　　Tru64$ dd if=/dev/rlv_data of=/oradata/test2.dbf bs=8k skip=8 count=513

　　513+0 records in

　　513+0 records out

　　Other$ dd if=/dev/rlv_data of=/oradata/test2.dbf bs=8k count=513

　　513+0 records in

　　513+0 records out

　　2.2.3 无论从FILE SYSTEM拷贝到RAW DEVICE还是反之，想让ORACLE以新的数据文件打开数据库，必须进行RENAME操作

　　SQL> STARTUP MOUNT;

　　SQL> ALTER DATABASE RENAME FILE 'oldfilename' TO 'newfilename';

　　SQL> ALTER DATABASE OPEN;

　　三、移动联机重作日志(ONLINE REDO LOG)

　　3.1 在裸设备上建ONLINE REDO LOG

　　用以下命令增加一组ONLINE REDO LOG：

　　SQL> ALTER DATABASE ADD LOGFILE GROUP 4 '/dev/rlv_redo' SIZE xxxxk;

　　在裸设备上建REDO LOG时也要计算SIZE子句可使用的最大值，方法类似于在2.1中建DATAFILE时的计算方法，唯一不同的是要把公式中的DB_BLOCK_SIZE换成REDO_BLOCK_SIZE(即REDO LOG的逻辑块大小)。这个REDO_BLOCK_SIZE在不同操作系统上取值不同，用以下两种方法均可得到这个值，同时还可计算出REDO LOG的实际文件大小file_size)：

　　方法1：dump现有的REDO LOG FILE

　　SQL> ALTER SYSTEM DUMP LOGFILE '/oradata/redo01.log';

　　SQL> SHOW PARAMETER user_dump_dest

　　查看user_dump_dest目录下刚产生的trc文件：

　　FILE HEADER:

　　Software vsn=135294976=0x8107000, Compatibility Vsn=135290880=0x8106000

　　Db Id=3227187598=0xc05af98e, Db Name='V817'

　　Control Seq=12474=0x30ba, File size=8192=0x2000

　　File Number=5, Blksiz=512, File Type=2 LOG

　　方法2：用ORACLE提供的工具dbfsize，对文件系统和RAW DEVICE上的文件都适用

　　$ dbfsize /oradata/redo01.log

　　Database file: /oradata/redo01.log

　　Database file type: file system

　　Database file size: 8192 512 byte blocks

　　从以上两个输出都可得知REDO_BLOCK_SIZE=512，blocks=8192

　　file_size=(blocks + 1) * REDO_BLOCK_SIZE = (8192+1)*512=4194816

　　如果已知所在平台的REDO_BLOCK_SIZE，也可以通过查询数据字典来计算file_size：

　　SQL> SELECT b.member, b.bytes, b.bytes+512 file_size FROM v$logfile a, v$log b

　　WHERE a.group#=b.group# and a.member='/oradata/redo01.log ';

　　MEMBER　　　　　　　　BYTES　　　 FILE_SIZE

　　--------------------　--------　　---------

　　/oradata/redo01.log　　4194304　　4194816

　　下表列出了常用OS上的ORACLE REDO_BLOCK_SIZE：

　　OS　　　　　　　　REDO_BLOCK_SIZE

　　----------------- ---------------

　　Windows　　　　　　512

　　SUN Solaris　　　　512

　　HP-UX　　　　　　　1024

　　IBM AIX　　　　　　512

　　Compaq Tru64 UNIX　1024

　　Linux　　　　　　　512

　　3.2在文件系统和裸设备之间移动ONLINE REDO LOG

　　参见2.2拷贝DATAFILE的过程，唯一不同是要把DB_BLOCK_SIZE换成REDO_BLOCK_SIZE。另外，REDO LOG也可以不用dd进行拷贝，而采用删除重建的方法：

　　SQL> SELECT * FROM v$log; --be sure it's not current and archived

　　SQL> ALTER SYSTEM SWITCH LOGFILE; --if it’s current, force switch

　　SQL> ALTER DATABASE DROP LOGFILE GROUP n;

　　SQL> ALTER DATABASE ADD LOGFILE GROUP n 'newlogfilename' SIZE xxxxM;

　　四、移动控制文件(CONTROL FILE)

　　4.1在裸设备上建控制文件

　　ORACLE的控制文件是执行CREATE DATABASE或CREATE CONTROLFILE语句时生成的，其名字是由初始化参数文件init$ORACLE_SID.ora中的control_files参数指定。CONTROL FILE的大小不能显式指定，而且随着数据库的运行，它还会自动增长，所以为控制文件划分裸设备时要根据经验，留好足够的余量，以免不必要的麻烦。CONTROL FILE的逻辑块大小和DB_BLOCK_SIZE相同，而且文件头部也和DATAFILE一样有一块“Oracle OS Header Block”。

　　4.2在文件系统和裸设备之间移动控制文件

　　4.2.1 使用dd复制

　　拷贝CONTROL FILE的方法基本与2.2中拷贝DATAFILE相同，唯一不同是当由裸设备向文件系统拷贝时，如何确定CONTROL FILE的实际大小file_size (ORACLE数据字典里没有CONTROL FILE大小的数据)。下面介绍两个方法：

　　方法1：执行完下面的SQL语句，再到user_dump_dest目录查看刚产生的trc文件

　　SQL> ALTER SESSION SET EVENTS 'IMMEDIATE TRACE NAME CONTROLF LEVEL 10';

　　FILE HEADER:

　　Software vsn=135266304=0x8100000, Compatibility Vsn=134217728=0x8000000

　　Db Id=1937054535=0x73751b47, Db Name='O817'

　　Control Seq=5838=0x16ce, File size=476=0x1dc

　　File Number=0, Blksiz=8192, File Type=1 CONTROL

　　方法2：用Oracle提供的工具dbfsize

　　$ dbfsize /oradata/control01.ctl

　　Database file: /oradata/control01.ctl

　　Database file type: file system

　　Database file size: 476 8192 byte blocks

　　从以上两个方法的输出结果都可得到file_size=(476+1)*8192=3907584

　　4.2.2 使用SQL命令复制

　　相对于4.2.1介绍的用dd拷贝CONTROL FILE，下面用SQL语句进行复制的方法更为简洁：

　　SQL> STARTUP MOUNT

　　SQL> ALTER DATABASE BACKUP CONTROLFILE TO 'newcontrolfile';

　　语句中newcontrolfile既可以是文件系统文件，也可以是RAW DEVICE，所以在MOUNT状态下运行这个命令就可以生成一个与现有CONTROL FILE完全相同CONTROL FILE复件。

　　4.2.3 修改初始化参数文件(init$ORACLE_SID.ora)

　　无论用4.2.1还是4.2.2的方法产生了新的CONTROL FILE，为了让数据库使用新的CONTROL FILE，只要修改init$ORACLE_SID.ora里的control_files参数即可。

　　五、Recovery Manager (RMAN)

　　RMAN是Oracle提供的备份与恢复工具，它能自动正确地跳过裸设备头部的OS Reserved Block，通过使用RMAN的BACKUP和RESTORE功能，可以很方便的将DATAFILE和CONTROL FILE在文件系统和裸设备之间进行移动。