发布时间:2016-07-08 20:59:20
本文会介绍使用xpath来获取数据,并附上相应的代码片段来做说明。 lxml是python语言里处理XML以及HTML工作的功能最丰富和最容易使用的库。当然scrapy框架里也是使用xpath来解析数据的。lxml的安装在这里就不用赘述了,下面列举的代码片段是没有使用scrapy框架。1. xpath简介 .........【阅读全文】
发布时间:2015-05-08 11:09:28
同事有个需求,需要监控mongodb数据库中某一个collection的数据增长情况,原因是由于有定时任务不断往数据库里填充数据,如果定时任务挂掉了可以及时重启任务,保证数据的准确性。其实也可以监控定时任务的执行情况,之后再研究。 跟博客:使用ganglia监控mongodb集群 .........【阅读全文】
发布时间:2015-04-09 16:18:46
前几天提交了一篇ganglia监控storm集群的博文,本文将介绍使用ganglia监控mongdb集群。因为我们需要使用ganglia一统天下。1. ganglia扩展机制 首先要使用ganglia监控mongodb集群必须先明白ganglia的扩展机制。通过ganglia插件可以给我们提供两种扩展ganglia监控功能的方法:.........【阅读全文】