Chinaunix首页 | 论坛 | 博客
  • 博客访问: 257433
  • 博文数量: 83
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 845
  • 用 户 组: 普通用户
  • 注册时间: 2018-08-09 14:57
个人简介

前嗅(www.forenose.com)是国内领先的深度大数据专家,我们拥有从数据采集、分析、处理、管理、应用到营销,完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台!

文章分类
文章存档

2023年(5)

2022年(8)

2021年(2)

2020年(9)

2019年(59)

我的朋友

分类: IT业界

2022-01-29 18:12:32

采集网站

【场景描述】采集金融界论坛数据。

【源网站介绍】金融界社区外汇论坛提供全面及时的外汇资讯及信息交流,时刻准确把握本外币信息及央行动态。

【使用工具】前嗅ForeSpider数据采集系统,免费下载:


采集网站

【入口网址】

【采集内容】

采集金融界论坛中的帖子信息。

【采集效果】如下图所示:

思路分析

配置思路概览:

配置步骤

1. 新建采集任务

选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

2.获取翻页链接

①选择链接抽取,采集预览,找到翻页链接,观察翻页链接中都包含【
】,使用地址抽取的方法,抽取地址中包含该规律的链接。如下图所示:

②关联模板,将翻页链接抽取,关联模板01。

3. 抽取帖子链接

①在模板1下新建一个数据抽取,具体操作如下所示:

②采集预览,观察帖子链接的规律,发现帖子链接中都包含【】,使用地址抽取的方法,抽取地址中包含该规律的链接。如下图所示:

4. 抽取帖子数据

①新建模板02,在模板02下新建一个数据抽取,具体操作如下所示:

将模板01下的帖子链接抽取,关联模板02.

②数据建表,按照下图所示建数据表。(注意字段属性等应严格按照下图进行设置)

③将新建好的数据表,关联到模板中去,如下图所示:

④填写示例地址

采集预览,复制任意一条帖子链接,并填写在模板02的示例地址处:


⑤使用定位取值的方法抽取数据:

Title字段:

author字段:

Pubtime字段:

Num字段:

Text字段:

⑥采集预览

采集步骤

模板配置完成,采集预览没有问题后,可以进行数据采集。

①建立数据表单:

选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【jinrong】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

②开始采集

选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

③导出数据

④导出的文件打开如下图所示:

*本教程仅供教学使用,严禁用于商业用途!


前嗅简介

前嗅大数据,国内领先的研发型大数据专家,多年来致力于为大数据技术的研究与开发,自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台!


阅读(485) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~