发布时间:2019-02-03 10:20:56
看起来很简单的集合运算放在大数据的场景下,如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法。充分利用序运算就是一种好办法!复制摘要 交并差是常见的集合运算,SQL 中对应的 intersect/u.........【阅读全文】
发布时间:2019-02-03 10:16:05
一、 原理解释所谓主子表关联计算,就是针对主表的每条记录,按关联字段找到子表中对应的一批记录。以订单(主表)和订单明细(子表)为例,两者以订单ID为关联字段。下图显示了关联计算过程中对主表中一条记录的处理情况,红色箭头代表没找到对应记录.........【阅读全文】
发布时间:2019-02-02 08:58:34
跨库数据运算解决方案具体也可以参见技术文章:《跨库数据表的运算》【附件下载:】体系结构方案 - 跨库数据运算 20181203.pdf......【阅读全文】
发布时间:2019-01-30 10:30:46
概述:运行在 JVM 上的 SQL 函数和存储过程总所周知,有些数据库没有强大的分析函数(eg. Mysql), 有些数据库没有存储过程(eg. Vertica),当遇到复杂的数据计算,往往只能通过 Python,R 等外部脚本来实现,但这些脚本语言和主流工程语言(Java)集成性不好,如果直接用工程语言实现.........【阅读全文】