按类别查询搜索结果
关于关键词 的检测结果,共 450
穿秋裤没 | 2019-02-13 13:46:14 | 阅读(2910) | 评论(0)
把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情,但许多 Excel 文件的格式并不规整,需要事先将其中的数据结构化后再用 SQL 语句写入数据库。JAVA程序猿经常选择使用POI或者HSSFWorkbook等第三方类库来实现,通常都要硬编码,如果碰到格式复杂的表格,解析工作量还会成倍增加,Java没有表格对象,总要利...【阅读全文】
【敏捷开发】 谈谈转置功能实现
穿秋裤没 | 2019-02-11 10:05:38 | 阅读(37360) | 评论(1)
 一、行转列1、数据库的 pivot        pivot 并不是从一开始就存在的功能,只有主流大数据库厂商较新版本产品,例如 Oralce 11g 以上或 SqlServer2005 以上,才支持这个功能。        从名称中可...【阅读全文】
穿秋裤没 | 2019-02-03 10:16:05 | 阅读(2820) | 评论(0)
 一、        原理解释所谓主子表关联计算,就是针对主表的每条记录,按关联字段找到子表中对应的一批记录。以订单(主表)和订单明细(子表)为例,两者以订单ID为关联字段。下图显示了关联计算过程中对主表中一条记录的处理情况,红色箭头代表没找到对应记录...【阅读全文】
穿秋裤没 | 2019-01-24 13:32:35 | 阅读(2340) | 评论(0)
2.4 有序计算方案在充分利用遍历一次的特点进行优化后,可能我们还会觉得计算性能有点慢,希望有进一步优化的空间。由于每次只需要取出总数据量的很小一部分 (100 个指标涉及的所有科目号大概几百个,即在几百万记录中取几百条),这时我们通常能想到的是:如果能利用数据有序直接进行有序查找(若源数据...【阅读全文】
穿秋裤没 | 2019-01-23 13:52:06 | 阅读(2510) | 评论(0)
一 问题背景我们先来看一张资产负债表:这是一个典型的中国式复杂报表格式,其复杂并不在于布局,而在于其中“期末余额”的每个单元格都是一个需要独立计算的指标,互相之间几乎没有关系,事实上就是一个各种指标的汇总清单,而这些指标往往会有上百个之多。在源数据表结构中,有一个...【阅读全文】
穿秋裤没 | 2019-01-21 16:14:17 | 阅读(2420) | 评论(0)
在报表的数据统计中,常常会根据精度呈现或者单位换算等要求,需要对数据执行四舍五入的操作,这种操作称为舍位处理。简单直接的舍位处理有可能会带来隐患,原本平衡的数据关系可能会被打破。 为了保证报表中数据关系的正确,就需要调整舍位之后的数据,使得数据重新变得平衡,这样的调...【阅读全文】
穿秋裤没 | 2019-01-14 10:05:34 | 阅读(1820) | 评论(0)
一、问题描述 键值查询是很常见的查询场景,在数据表上建有索引后,即使表中数据记录数巨大(几亿甚至几十亿行),用键值查询出单条记录也会很快,因为建立索引后的复杂度只有 logN(以 2 为底)次, 10 亿行数据也只要比较 30 次(10 亿约等于 2^30),在现代计算机上也只需要数十毫秒...【阅读全文】
穿秋裤没 | 2019-01-08 13:24:01 | 阅读(1800) | 评论(0)
上一讲中,我们介绍了如何用SPL将一行日志结构化为一条记录,今天则要说一下多行日志对应一条记录的情况,我们称之为不定行日志。 事实上,集算器自己的输出日志就是这种不定行日志,我们来看一下集算器节点机下的一个日志文件rqlog. log,同样摘录两段日志:[2018-05-14 09:2...【阅读全文】
穿秋裤没 | 2019-01-07 10:53:02 | 阅读(1470) | 评论(0)
 5 综合案例实际业务中,多表关联运算十分常见,外键表、同维表、主子表这几种关联类型可能会混合出现。下面我们来看一个综合案例。5.1 表结构和查询目标某电商平台中和订单编号这个字段相关的有6个表,主要表结构如下:订单表...【阅读全文】
【敏捷开发】 浅解比SQL更好用SPL
穿秋裤没 | 2019-01-04 13:29:12 | 阅读(1420) | 评论(0)
数据库和数据分析领域,有一个强大的存在,大名 SQL,全名结构化查询语言 (Structured Query Language)。从字面上看,这个语言的目标就是把数据“查询”出来,而查询这个词给人的感觉并不是很难。但实际上,为了支持貌似简单的查询,需要进行大量的计算动作,甚至整个过程就是一个多步骤的计算,前后步骤之间还有很强的依赖关系,前面计算的结果要被后面使用,而后面的输出有可能需要我们对前面的计算进行调整。
【阅读全文】
coco_G | 2019-01-03 16:09:35 | 阅读(1210) | 评论(0)
数据录入中常常会遇到加减乘除等运算,如何避免数据录入错误,且快速实现数据的计算,赶紧打开这篇文章学习起来吧 ~【阅读全文】
【敏捷开发】 数据分析权限控制
coco_G | 2019-01-03 15:48:24 | 阅读(1120) | 评论(0)
自助分析很方便,可以随便获得自己想要的数据,但权限也很重要,不可以随便到让人看到不该看的东西。需要不同的人登录进来看到不同的数据,同时还想要制作简单方便,那该怎么办?不用怕,这里有办法!【阅读全文】
coco_G | 2019-01-03 15:10:16 | 阅读(1190) | 评论(0)
当通过多个参数对数据进行过滤并且不选择某个参数时,希望依然能够查询出其他带条件的数据,也就是参数为空时忽略掉该条件,点击 参数为空取全部数据的几种做法查看具体的实现方法以及特殊场景的一些操作【阅读全文】
【敏捷开发】 文本导出方方面面
穿秋裤没 | 2019-01-02 13:45:40 | 阅读(1570) | 评论(0)
TXT文本文件是我们常用的在应用之间传递数据的途径之一,因为它具有通用、灵活、易维护等诸多优点。不过并不是所有应用都提供了生成txt文件的功能,往往需要额外的程序设计和开发工作才能获得。这时如果能够有一个通用的工具软件,灵活地根据需要生成目标格式的文本,将能够极大地助力我们的业务工作。本文介绍的集算器就正是这样一款高效、灵活的通用工具软件,能够从不同数据源读取、计算并导出txt文件。【阅读全文】
穿秋裤没 | 2018-12-21 13:59:00 | 阅读(2570) | 评论(0)
IN 和 EXISTS 是 SQL 中常见的复杂条件,在将 SQL(存储过程)转换成库外计算获取高性能时也会面对这些问题。本文将以 TPC-H 定义的模型为基础,介绍如何用集算器的语法实现 IN、EXISTS 并做优化。【阅读全文】
coco_G | 2018-12-21 13:21:35 | 阅读(1390) | 评论(0)
现代社会是一个竞争激烈的社会, 竞争的胜负常常要看谁第一时间掌握了更多的信息,例如上级单位需要快速收集一线单位的有关数据,然后营销部门就可以第一时间获取市场的准确信息。这时如果等待技术人员在软件系统中编码实现,无法保证时效性。再者从安全需求出发有时还不希望外部人员参与。那么如何快速安全的收集信息呢,今天小编带你领略不一样的填报体验。【阅读全文】
coco_G | 2018-12-20 15:49:34 | 阅读(1040) | 评论(0)
统计图在浏览器端展现时,不同的使用人员对图形的展现形式会有不同的要求,有的需要柱形图、有的想看折线图等,报表支持用户在浏览器端动态的选择统计图类型,关注乾学院,查看具体实现方法动态切换 web 报表中的统计图类型复制摘要【阅读全文】
【敏捷开发】 加速JDBC快捷方法
穿秋裤没 | 2018-12-20 15:01:01 | 阅读(2740) | 评论(0)
JAVA 应用必须通过 JDBC 从数据库中取数,有时候我们会发现,数据库的负担一点也不重而且 SQL 很简单,但取数的速度仍然很慢。仔细测试会发现,性能瓶颈主要在 JDBC 上,比如 MySQL 的 JDBC 性能就非常差,Oracle 也不好。但是,JDBC 是数据库厂商提供的包,我们在外部没办法提高性能。

可以想到的办法是利用多 CPU 手段采用并行方案来提速,但 Java 的并行程序非常难写,要考虑资源共享冲突等麻烦事务。

下面介绍使用集算器的并行技术来提升数据库 JDBC 取数性能,可以避免 JAVA 硬编码的复杂性,还能够方便实现多线程结果集的合并。适用于:

1、源数据规模较大的查询报表
2、多数据集报表
3、ETL 数据抽取【阅读全文】
coco_G | 2018-12-20 13:52:53 | 阅读(1100) | 评论(0)
用户页面端数据录入时,由于数据的不确定性,通常会需要将数据暂存而不真正入库,类似草稿功能,等能确保数据准确时再进行数据入库操作,来乾学院看看如果简单的通过一个标志字段实现数据的暂存与锁定。【阅读全文】
coco_G | 2018-12-20 13:42:21 | 阅读(1060) | 评论(0)
在食品生产安全中现在提倡产地的可追溯性,同样在数据安全方面同样有相应的要求,要记录什么人对哪些数据做了修改操作,这样就要求业务人员录入、修改数据时能够将该人员信息一同保存下来,方便数据的可追溯,让我们赶紧打开《数据填报修改时如何增加操作人员信息》查看具体方法吧~【阅读全文】