全部博文(2759)
分类: DB2/Informix
2016-11-08 06:06:13
原文地址:Hash Join与NLJOIN及MSJOIN 作者:fengzhanhai
一、NLJOIN
对于被连接的数据子集较小的情况,nested loop连接是个较好的选择。nested loop就是扫描一个表,每读到一条记录,就根据索引去另一个表里面查找,没有索引一般就不会是 nested loops。
一般在nested loop中, 驱动表满足条件结果集不大,被驱动表的连接字段要有索引,这样就走nstedloop。如果驱动表返回记录太多,就不适合nested loops了。如果连接字段没有索引,则适合走hash join,因为不需要索引。
Inner table被Outer table驱动,outer table返回的每一行都要在inner table中检索到与之匹配的行。
Outer table: 小表、驱动表
Inner table: 被驱动表、大表 (可用ordered提示来改变CBO默认的驱动表,可用USE_NL(table_name1 table_name2)提示来强制使用nested loop。)
二、HSJOIN
Hash join是CBO 做大数据集连接时的常用方式。优化器扫描小表(或数据源),利用连接键(也就是根据连接字段计算hash 值)在内存中建立hash表,然后扫描大表,每读到一条记录就来探测hash表一次,找出与hash表匹配的行。
当小表可以全部放入内存中,其成本接近全表扫描两个表的成本之和。如果表很大不能完全放入内存,这时优化器会将它分割成若干不同的分区,不能放入内存的部分就把该分区写入磁盘的临时段,此时要有较大的临时段从而尽量提高I/O 的性能。临时段中的分区都需要换进内存做hash join。这时候成本接近于全表扫描小表+分区数*全表扫描大表的代价和。
至于两个表都进行分区,其好处是可以使用parallel query,就是多个进程同时对不同的分区进行join,然后再合并。但是复杂。
使用hash join时,HASH_AREA_SIZE初始化参数必须足够的大,如果是9i,Oracle建议使用SQL工作区自动管理,设置WORKAREA_SIZE_POLICY 为AUTO,然后调整PGA_AGGREGATE_TARGET即可。
以下条件下hash join可能有优势:
1.两个巨大的表之间的连接;
2.在一个巨大的表和一个小表之间的连接.
(可用ordered提示来改变CBO默认的驱动表,可用USE_HASH(table_name1 table_name2)提示来强制使用hash join。)
三、MSJOIN
Sort merge join的操作通常分三步:
1.对连接的每个表做table access full;
2.对table access full的结果按照连接键进行排序;
3.进行merge join对排序结果进行合并。
Sort merge join性能开销几乎都在前两步。一般是在没有索引的情况下,9i开始已经很少出现了,因为其排序成本高,大多为hash join替代了。 Usually, MSJOIN is used between 2 huge tables.
通常情况下Hash join的效果都比Sort merge join要好,然而如果行源已经被排过序,在执行sort merge join时不需要再排序了,这时sort merge join的性能会优于hash join。
在全表扫描比索引范围扫描再通过rowid进行表访问更可取的情况下,sort merge join会比nested loops性能更佳。
DB2的一些版本出现了错误使用MSJOIN的问题(应该使用HSJOIN或NLJOIN的情况)。
通过更新DB2的fix及将DB2_REDUCED_OPTIMIZATION变量设为CAP OFF来纠正。