发布时间:2020-04-14 18:25:48
TopN是常见的运算,用SQL写出来是这样(以Oracle为例): select * from (select * from T order by x desc) where rownum<=N 这个SQL的运算逻辑从其语句上看,要先做排序(Order by),然后再取出前N条。我们知道,排序是个非常慢的动作,复杂度很高(n*logn),如果涉及数.........【阅读全文】
发布时间:2020-04-14 17:41:50
我们知道,大数据运算性能的瓶颈常常是在外存(也就是硬盘)IO上,因为外存访问性能要比内存低一两个数量级。因此,做性能优化时,减少硬盘的访问量有时要比减少CPU计算量更为重要。同一个任务,如果能使用硬盘访问量更少的算法,即使CPU计算量不变甚至略多一点,也会获得更好的性能。分组汇总需要对数据集进行遍历。.........【阅读全文】
发布时间:2020-04-08 16:10:45
处理多样性数据源是报表开发的常见问题,而常见的 JasperReport 等报表工具本身却难以应付,比如展现MongoDB和mysql的混合运算。虽然JasperReport/Birt有virtual data source或table join等功能,但这些功能只在商业版或高端版本出现,在免费版中实现难度很大。而且功能也有较大局限,对连接.........【阅读全文】
发布时间:2020-04-08 09:57:31
处理多样性数据源是报表开发中的常见问题,而常见的 JasperReport 等报表工具本身却难以应付,比如展现两个 MongoDB 集合连接的结果。虽然 JasperReport 有 virtual data source 或 table join,但这些功能只在商业版或高端版本出现,在免费版中实现的难度很大。而且这些功能只支持两个数据源.........【阅读全文】