发布时间：2016-07-08 20:59:20

    本文会介绍使用xpath来获取数据，并附上相应的代码片段来做说明。    lxml是python语言里处理XML以及HTML工作的功能最丰富和最容易使用的库。当然scrapy框架里也是使用xpath来解析数据的。lxml的安装在这里就不用赘述了，下面列举的代码片段是没有使用scrapy框架。1. xpath简介 .........【阅读全文】

发布时间：2016-07-08 08:27:12

    最近刚开始使用python来做爬虫爬取相关数据，使用了python自带的urllib和第三方库requests，解析html使用了beautifulsoup以及lxml    这里说下lxml，lxml是python的一个html、xml解析库，lxml使用XPath能快速，简单的定位元素并获取信息。下面进入正题1. 遇到的中文乱码问题1.1 简单.........【阅读全文】

发布时间：2016-03-14 20:58:22

1. flume安装使用     下载flume安装包http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz     解压$ tar -xzvf apache-flume-1.5.2-bin.tar.gz -C /opt/flume     flume配置文件放在conf文件目录下，执行文件放在bin文件目录下。  &.........【阅读全文】

发布时间：2015-06-09 10:36:58

    最近遇到服务器迁移，增加了mongodb的权限认证，所以导致之前的程序不能正确的执行，特意查看了相应的api1. java连接mongodb    MongoClient mongoClient;    MongoCredential credential = MongoCredential.createCredential("user", "database", password);&n.........【阅读全文】

发布时间：2015-05-08 11:09:28

    同事有个需求，需要监控mongodb数据库中某一个collection的数据增长情况，原因是由于有定时任务不断往数据库里填充数据，如果定时任务挂掉了可以及时重启任务，保证数据的准确性。其实也可以监控定时任务的执行情况，之后再研究。    跟博客：使用ganglia监控mongodb集群   .........【阅读全文】