Chinaunix首页 | 论坛 | 博客
  • 博客访问: 413578
  • 博文数量: 22
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1712
  • 用 户 组: 普通用户
  • 注册时间: 2013-09-09 10:51
文章分类

全部博文(22)

文章存档

2016年(3)

2015年(6)

2014年(1)

2013年(12)

我的朋友

发布时间:2016-07-08 20:59:20

    本文会介绍使用xpath来获取数据,并附上相应的代码片段来做说明。    lxml是python语言里处理XML以及HTML工作的功能最丰富和最容易使用的库。当然scrapy框架里也是使用xpath来解析数据的。lxml的安装在这里就不用赘述了,下面列举的代码片段是没有使用scrapy框架。1. xpath简介 .........【阅读全文】

阅读(10262) | 评论(0) | 转发(0)

发布时间:2016-07-08 08:27:12

    最近刚开始使用python来做爬虫爬取相关数据,使用了python自带的urllib和第三方库requests,解析html使用了beautifulsoup以及lxml    这里说下lxml,lxml是python的一个html、xml解析库,lxml使用XPath能快速,简单的定位元素并获取信息。下面进入正题1. 遇到的中文乱码问题1.1 简单.........【阅读全文】

阅读(25232) | 评论(0) | 转发(0)

发布时间:2016-03-14 20:58:22

1. flume安装使用     下载flume安装包http://www.apache.org/dyn/closer.cgi/flume/1.5.2/apache-flume-1.5.2-bin.tar.gz     解压$ tar -xzvf apache-flume-1.5.2-bin.tar.gz -C /opt/flume     flume配置文件放在conf文件目录下,执行文件放在bin文件目录下。  &.........【阅读全文】

阅读(22672) | 评论(0) | 转发(1)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册