Chinaunix首页 | 论坛 | 博客

-

  • 博客访问: 4155548
  • 博文数量: 172
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1923
  • 用 户 组: 普通用户
  • 注册时间: 2018-12-20 14:57
文章分类
文章存档

2021年(19)

2020年(81)

2019年(68)

2018年(4)

我的朋友

分类: 敏捷开发

2020-06-17 17:59:40

Mongodb脚本解决复杂问题的计算能力有限,直接使用时较为吃力。很多情况下需要将数据读出后在主程序中进一步完成运算,而在Java等高级语言中编写这类集合式运算也比较麻烦。这时可以用集算器SPL语言来辅助实现,下面用例子说明。

Mongodb中有一个test集合如下:

> db.test.find({},{"_id":0})
{"value" : NumberLong(112937552) }
{"value" : NumberLong(715634640) }
{"value" : NumberLong(487229712) }
{"value" : NumberLong(79198330) }
{"value" : NumberLong(440998943) }
{"value" : NumberLong(93148782) }
{"value" : NumberLong(553008873) }
{"value" : NumberLong(336369168) }
{"value" : NumberLong(369669461) }

       具体的需求:test集合包含多个value,每个value是一个数字串。每个数字串都要和另外所有的数字串比较,找出每个数字串的最大相同数和最大不同数。如果第1行和第n行都含有数字1,就算相同数有1个,否则第1行有1但第n行没有,就算不同数有1个。

       使用集算器 SPL 的代码如下:

A B C D
1 =mongo_open("mongodb://localhost:27017/local?user=test&password=test")
2 =mongo_shell(A1,"test.find(,{_id:0})").fetch()
3 =A2.new(string(value):value,0:same,0:diff)
4 for A3 =A4.value =B4.array@s(“”).id()
5 for A3 if #B5==#A4 next
6 =B5.value
7 =diff=same=0
8 >C4.run(if(pos(C6,~),same+=1,diff+=1))
9 >A4.diff=max(diff,A4.diff)
10 >A4.same=max(same,A4.same)
11 >A1.close()

         A1:连接mongodbip和端口号是localhost:27017,数据库是test,用户名和密码都是test

         A2:使用find函数从mongodb中取数,形成游标。集合是test,过滤条件是空,键_id不取出。SPL的游标支持分批读取和处理数据,可以避免数据量过大,以防内存溢出因为数据量不大,所以这里可以直接 fetch 出游标的所有记录

         A3: A2的基础上增加两列samediff,用来存放最大相同数和最大不同数。同时把value转成字符串。

         A4:针对A3集合循环,循环体是B4D10

         B4:取当前循环的value

         C4:利用函数将value分拆成单个字符组成的序列,去掉重复的值。

         B5:对A3再进行一次内层循环。循环体是C6D10

         C5:如果内层循环的循环位置和外层当前位置的相等,即为同一个value时,就跳过本次内层循环,继续进行下一次内层循环。

         C6:取得内层循环的value

         C7:定义两个变量samediff,分别存放本次比较的相同数和不同数,初始值为0

         C8 利用循环函数,在内层循环的value中逐个查找外层循环的value分拆的序列数值。如果能找到,则same自加1,否则diff自加1

         C9C10:将samediffA4中的samediff比较,将较大的重新赋值给A4中的samediff

运行结果如下:

         a_100png

       简言之,SPL 先得到数据记录后,把每行数字串拆分成单个无重复字符组成的序列,通过内外层循环比较,找出每行数字串的最大相同数和最大不同数。SPL语言在编写这类集合式运算方面,具有得天独厚的优势。

       需要说明的是:集算器SPL并不包含mongodbjava驱动包。如果要用SPL访问mongodb,必须提前将mongodbjava驱动包(例如:mongo-java-driver-3.9.1.jar)放到集算器设置的外部库目录extLib\MongoCli下。

       除了在集算器中直接计算,上述使用SPL语言协助mongodb计算的脚本也很容易集成到java中,只要增加一行,写成return A3即可向java输出resultset形式的结果,具体的代码参考SPL教程。同样,用java调用SPL访问mongodb也必须将mongdbjava驱动包放到java程序的classpath中。


阅读(5968) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~