Chinaunix首页 | 论坛 | 博客

-

  • 博客访问: 198296
  • 博文数量: 45
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 557
  • 用 户 组: 普通用户
  • 注册时间: 2018-12-20 14:57
文章分类

全部博文(45)

文章存档

2019年(41)

2018年(4)

我的朋友

分类: 敏捷开发

2019-05-24 10:14:08

当单台数据库的数据量太大而影响性能时,可以把数据拆分到多台服务器上,每台服务器只承担部分计算压力,再由SPL合并计算结果。特殊地,数据可拆分为历史数据库和当前实时数据库,由SPL实现T+0计算。下面用几个典型例子来说明分库汇总的用法。

过滤

订单表orders分库存储在两个Oracle数据库中,数据源名分别为orclA、orclB,请过滤出金额amount大于等于10000的订单。

SPL代码如下:


A B C
1 =[connect("orclA"),connect("orclB")]
/连接多个数据源
2 select * from orders where amount>=10000
/过滤SQL
3 fork A1 =A3.query(A2) /并行计算
4 =A3.conj()
/合并结果

排序

请过滤出金额大于等于10000的订单,并按订单金额顺序排序。

分库排序算法中,各线程的计算结果不能简单合并,而要用merge函数归并,SPL代码如下:

6 select * from orders where amount>=10000   order by amount /排序SQL
7 fork A1 =A7.query(A2)
8 =A7.merge(AMOUNT)
/归并

分组汇总

请将订单表按年、月分组,对各组数据的amount字段求和。

分库分组汇总算法中,合并后的数据要做二次分组汇总,SPL代码如下:

10 select extract(year from   orderTime)y,extract(month from orderTime)m,sum(amount) amount from orders   group by  extract(year from   orderTime),extract(month from orderTime) /分组汇总SQL
11 fork A1 =A11.query(A10) /各库分组汇总
12 =A11.conj()
/合并
13 =A12.groups(Y,M;sum(AMOUNT):AMOUNT)
/二次分组汇总

如果分组数较多,则应当利用有序来提高性能,具体做法是:在SQL中事先按分组字段排序,使SQL结果有序,之后使用归并算法合并数据,并用group@o分组汇总。SPL代码如下:

14 select extract(year from   orderTime)y,extract(month from orderTime)m,sum(amount) amount from orders   group by  extract(year from   orderTime),extract(month from orderTime) order by y,m /分组汇总SQL
15 fork A1 =A15.query(A14)
16 =A15.merge(Y,M)
/归并
17 =A16.groups@o(Y,M;sum(AMOUNT):AMOUNT)
/有序分组汇总

 

分组汇总后过滤

请将订单表按年、月分组,对各组数据的amount字段求和,再过滤出汇总值大于110000000的结果。

SQL实现本算法,通常在group by后带having语句,即:

select extract(year from   orderTime)y,extract(month from orderTime)m,sum(amount) amt from orders group   by  extract(year from   orderTime),extract(month from orderTime) having sum(amount)>=120000000

分库实现算法时,不能直接使用上述SQL,应该先实现分组汇总算法,再用SPL实现过滤。代码如下:

19 select extract(year from   orderTime)y,extract(month from orderTime)m,sum(amount) amt from orders group   by  extract(year from   orderTime),extract(month from orderTime) /无过滤的SQL
20 fork A1 =A20.query(A19) /各库分组汇总
21 =A20.conj()
/合并
22 =A21.groups(Y,M;sum(AMT):AMT)
/二次分组汇总
23 =A22.select(AMT>=110000000)
/最后过滤
24 =A1.(~.close())
/关闭多个连接

 

异构库分库

SPL除了支持同构库分库,也支持异构库分库。需要注意的是,不同数据库的SQL语法并不通用,比如数字截断函数,Oracle中写作trunc,在MySQL中写作truncate。为了正确处理不同的语法,应当先写出SPL标准SQL,再用SPL的sqltranslate函数翻译成不同的本地SQL。

比如:orders表分库存储在Oracle和mysql中,数据源名为orcl和my,请查询amount字段大于等于10000的记录,并将amount字段截断取整。

SPL代码如下:


A B C
1 =[[connect("orcl"),"ORACLE"],[connect("my"),"MYSQL"]] /连接数据源,标记数据库类型
2 select ORDERID,ORDERTIME,truncate(AMOUNT,0),CLIENTID,SALESID   from orders where amount>=10000
/标准SQL
3 fork A1 =A2.sqltranslate(A3(2)) /转为本地SQL
4
=A3.query(B3) /查询
5 =A3.conj()
/合并结果

 

连接

除了单表分库计算,SPL也支持多表连接分库计算。这种情况下应对事实表和维表分别处理,事实表应当分库存放,每个数据库存放一部分数据,维表不分库,应当全量复制到每一个数据库中。

比如销售人员表sales是订单表orders的维表,两者以salesID为关联字段,请按sales表的部门字段dept分组,求各部门的销售额。假设sales表已全量存储于各数据库,则SPL代码如下:


A B C
1 =[connect("orclA"),connect("orclB")]
/连接多个数据源
2 select sales.dept,sum(orders.amount)amount   from orders,sales where orders.salesID=sales.salesID group by sales.dept /分组汇总SQL
3 fork A1 =A3.query(A2) /并行计算
4 =A3.conj()
/合并结果
5 =A4.groups(DEPT;sum(AMOUNT):AMOUNT)
/二次分组汇总
6 =A3.(~.close())
/关闭连接
阅读(251) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册