发布时间:2019-02-13 13:46:14
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用POI或者HSSFWorkbook等第三方类库来实现,通常都要硬编码,如果碰到格式复杂的表格,解析工作量还会成倍增加,Java没有表格对象,总要利.........【阅读全文】
发布时间:2019-02-03 10:20:56
看起来很简单的集合运算放在大数据的场景下,如果还想获得高性能就需要充分了解数据特征和计算特征才能设计出高效算法。充分利用序运算就是一种好办法!复制摘要 交并差是常见的集合运算,SQL 中对应的 intersect/u.........【阅读全文】
发布时间:2019-02-03 10:16:05
一、 原理解释所谓主子表关联计算,就是针对主表的每条记录,按关联字段找到子表中对应的一批记录。以订单(主表)和订单明细(子表)为例,两者以订单ID为关联字段。下图显示了关联计算过程中对主表中一条记录的处理情况,红色箭头代表没找到对应记录.........【阅读全文】
发布时间:2019-02-02 08:58:34
跨库数据运算解决方案具体也可以参见技术文章:《跨库数据表的运算》【附件下载:】体系结构方案 - 跨库数据运算 20181203.pdf......【阅读全文】