性能优化技巧：前半有序时的排序

首页　| 　博文目录　| 　关于我

穿秋裤没

博客访问： 4155290
博文数量： 172
博客积分： 0
博客等级：民兵
技术积分： 1923
用户组：普通用户
注册时间： 2018-12-20 14:57

文章分类

全部博文（172）

集算器&润乾报表（166）
未分配的博文（6）

文章存档

2021年（19）

2020年（81）

2019年（68）

2018年（4）

我的朋友

最近访客

推荐博文

性能优化技巧：前半有序时的排序

发布时间：2021-01-26 17:46:44

一、问题背景与适用场景在对数据集进行排序运算时，有时会遇到这样一种场景：数据集T已经按字段a有序，而字段b无序，现在我们要将T按a、b排序，我们称之为前半有序(a有序)的排序。此时我们能想到一种优化的排序方法：从T中先取出a值相同的一组记录，再这一组内对b排序。然后再依次取出下一组a值相同.........【阅读全文】

阅读(1142) | 评论(0) | 转发(0)

性能优化技巧：后半有序分组

发布时间：2021-01-26 17:45:56

一、问题背景与适用场景什么是后半有序？如果数据集T已经按字段a、b有序，现在我们要将T按b排序或分组时，因为在a值相同的段内，b都是有序的，这种要排序或分组的字段在分段内有序的情况就称为后半有序。我们知道，快速排序算法的原理就是一种递归的分段排序再归并的算法，对于后半有序这样的已.........【阅读全文】

阅读(1249) | 评论(0) | 转发(0)

性能优化技巧：有序分组

发布时间：2021-01-26 17:44:54

一、问题背景与适用场景通常分组计算都采用hash方案，即先计算分组字段的hash值，hash值相同的记录被分拣到一个小集合里，然后在这个小集合中遍历找分组字段值相同的聚合成一组。分组的复杂度(比较次数)，取决于hash函数的重码率。在hash空间比较小时，重码率就高，比较次数就会多，性能会受较大影响.........【阅读全文】

阅读(1177) | 评论(0) | 转发(0)

性能优化技巧：小事实表与大维表关联

发布时间：2021-01-26 16:20:32

一、问题背景与适用场景在主子表关联查询中，有时会遇到这样一种情况：按条件过滤后的事实表数据量很小，能够全部装载进内存或仅比内存略大一点；而要关联的维表数据量很大，比内存要大很多。这种时候，如果维表是按键有序存储时，因为事实表涉及的维表记录较少，可以一次性用二分查找方法找出来，而.........【阅读全文】

阅读(1064) | 评论(0) | 转发(0)

性能优化技巧：附表

发布时间：2021-01-26 16:16:12

一、问题背景与适用场景在《性能优化技巧：有序归并》中我们见证了有序归并算法提升主子表的关联性能，在集算器中，还有进一步提高性能的办法—附表。集算器组表支持主子表保存在同一文件中，先用主表创建组表文件，再在主表上附加上子表，子表必须含有主表的维字段，并通过这个字段进行关联，这样的.........【阅读全文】

阅读(993) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

留言热议

请登录后留言。

登录注册

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6