MyISAM和InnoDB的行格式

MyISAM行存储

MyISAM有3种行存储格式：fixed/dynamic/compressed；

其中fixed为默认格式，只有当表不包含变长字段(varchar/varbinary/blob/text)时使用，该每行都是固定的，所以很容易获取行在页上的具体位置，存取效率比较高，但是占用磁盘空间较多；

dynamic

每行都有一个行头部，包含bitmap，用以记录那些列为空(NULL列不算为空)；

相比于fixed，其有如下特性：

所有字符串列都是动态存储的，除非长度小于4；

字符类型若长度为0/数字类型为0都会不占用存储空间，由bitmap标注，NULL值不包含在内；

如果要update行，其扩展后很容易导致行链接既而产生碎片，一旦crash若link丢失则比较难恢复，fixed模式update不会产生碎片；

 

compressed只能通过myisampack创建且为只读；

 

MyISAM的索引文件包含一个flag记录基表是否正常关闭，如果mysqld启动时指定了--myisam-recover-options，则在打开表时检测并自动修复表

 

 

 

InnoDB行存储

Innodb plugin新引入Barracuda梭子鱼，其包含compressed/dynamic两种行格式，而之前的compact/redundant统属于antelope羚羊；

 

Barracuda VS antelope

由innodb_file_format(动态)参数决定，目前可选值由Antelope和Barracuda，默认为前者；要想要此参数生效，

因为共享表空间默认为Antelope，因此要想使用Barracuda为默认值，还必须先声明innodb_file_per_table；

Innodb_file_format用于控制行格式，全局变量可动态调整，5.5默认依旧是Antelope；

 

下面只看antelope格式

 

Redundant行结构

字段长度偏移列表

记录头信息

列1数据

列2数据

….

 

行头部为字段长度偏移信息，包括变长和非变长的, 还包含了3个隐藏列：RowID(没有主键时使用)/Transaction ID/Roll Point; 而compact只包含变长的，节约了空间；

冗余行格式没有NULL标志位；对于redundant格式，varchar为Null时不占用空间，但是char为NULL需要占用空间，因为其没有Null标志位；

记录头信息占用6个字节，比compact多1字节；

对于定长char，若为NULL依旧填充整个字段，而varchar为Null时不占用空间；

记录头信息，与compact相比，多了黑体字部分，缺失record_type

名称	长度bit	功能
Deleted_flag	1	是否被删除
Min_rec_flag	1	1则表示该记录为预先被定义的最小记录
N_owned	4	该记录拥有的总记录数
Heap_no	13	索引中该行的排序记录
N_fields	10	记录中列数量
1byte_offs_flag	1	偏移量列表是1字节还是2字节
Next_recorder	16	下一条记录相对位置
()	1	未知
()	1	未知

 

Create table test(t1 varchar(10), t2 varchar(10), t3 char(10),t4 varchar(10)) charset=latin1 row_format=redundant;

--该表有3个变长列

Insert into test values(‘a’,’bb’,’bb’,’ccc’);

使用hexdump –C –v test.idb查看其二进制代码

--长度偏移列表，

 

 

 

compact行格式

字段长度偏移列表

NULL标志位

记录头信息

列1数据

列2数据

….

 

5.0引入

行头存放该行内变长字段的length，当列小于255字节时占用1个字节，大于255而小于65535时占用2个字节；故varchar最大长度为2的16次方-1；

第2个指示该行是否有NULL值，占用1字节；NULL列不占用数据存储空间；

记录头信息：5个字节共计40bit，用于链接相邻的记录案的行级锁

名称	长度bit	功能
Deleted_flag	1	是否被删除
Min_rec_flag	1	1则表示该记录为预先被定义的最小记录
N_owned	4	该记录拥有的总记录数
Heap_no	13	索引中该行的排序记录
Record_type	3	行类型 0=普通 1=B+节点指针
Next_recorder	16	下一条记录相对位置
()	1	未知
()	1	未知

 

除此之外，每页还有两个隐含字段：

DB_TRX_ID：6字节，记录最近的一个事务标示符

DB_ROLL_ID：7字节，指向回滚日志记录

--若没有主键，则还会有DB_ROW_ID：6字节，包含在clustered索引中

创建一个compact行格式的表

Create table test(t1 varchar(10), t2 varchar(10), t3 char(10),t4 varchar(10)) row_format=compact;

--该表有3个变长列

Insert into test values(‘a’,’bb’,’bb’,’ccc’);

使用hexdump –C –v test.idb查看其二进制代码

第一行

03 02 01—变长字段长度列表(逆序)，实际顺序为01 02 03，这也是t1,t2,t4的实际长度

00—Null标志位，第一行没有NULL

00 00 10 00 2c—记录头信息，5字节，后4个字节指向下一个记录next_recorder

00 00 00 2b 68 00—6字节rowid，因为没有主键

00 00 00 00 06 05 –事务ID，6字节

80 00 00 00 32 01 10—回滚指针，7字节

61 –列1

62 62 –列2

62 62 20 20 20 20 20 20 20 20 –列3，char会填充余下部分

63 63 63 –列4

 

余下的为列数据，其中t3由于采用固定长度，故会填充满10个字节;

第二行

Insert into test values(‘d’,null,null,’fff’);

03 01--变长字段长度列表，逆序

06-- Null标志位，有NULL值，转换为二进制00000110，表示第2/3列为null

……

64—列1数据

66 66 66—列4数据，而第2/3列为NULL不占用存储空间

注：对于redundant格式，varchar为Null时同样不占用空间，但是char为NULL需要占用空间，因为其没有Null标志位

 

 

行溢出

Innodb表为IOT，采用了B+数类型，故每个页面至少要存储2行数据，如果行过大则会产生行溢出；

理论上mysql的varchar可存储65525字节，强于oracle的4000，但对于InnoDB其实际上限为65532，且该值为表所有varchar列长度总和；对于utf8字符集，一个字符占3个字节，则其上限又缩小为1/3；

如果强行创建varchar(65535)的字段，在sql_mode不为restricted的情况下，其会被隐式转换为mediumtext；

 

不论是varchar还是blob/text，只要保证一个16k的页面能容下2行数据，应该不会行溢出；

而一旦行溢出，字段前768字节依旧存放于当前页面，数据一般使用B-tree Node页，而溢出的行存放于Uncompress Blob页；

 

而barracuda采用了完全行溢出，即只保留字段的前20字节；