采集网站
【场景描述】采集金融界论坛数据。
【源网站介绍】金融界社区外汇论坛提供全面及时的外汇资讯及信息交流,时刻准确把握本外币信息及央行动态。
【使用工具】前嗅ForeSpider数据采集系统,免费下载:
采集网站
【入口网址】
【采集内容】
采集金融界论坛中的帖子信息。
【采集效果】如下图所示:
思路分析
配置思路概览:
配置步骤
1. 新建采集任务
选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。
2.获取翻页链接
①选择链接抽取,采集预览,找到翻页链接,观察翻页链接中都包含【
】,使用地址抽取的方法,抽取地址中包含该规律的链接。如下图所示:
②关联模板,将翻页链接抽取,关联模板01。
3. 抽取帖子链接
①在模板1下新建一个数据抽取,具体操作如下所示:
②采集预览,观察帖子链接的规律,发现帖子链接中都包含【】,使用地址抽取的方法,抽取地址中包含该规律的链接。如下图所示:
4. 抽取帖子数据
①新建模板02,在模板02下新建一个数据抽取,具体操作如下所示:
将模板01下的帖子链接抽取,关联模板02.
②数据建表,按照下图所示建数据表。(注意字段属性等应严格按照下图进行设置)
③将新建好的数据表,关联到模板中去,如下图所示:
④填写示例地址
采集预览,复制任意一条帖子链接,并填写在模板02的示例地址处:
⑤使用定位取值的方法抽取数据:
Title字段:
author字段:
Pubtime字段:
Num字段:
Text字段:
⑥采集预览
采集步骤
模板配置完成,采集预览没有问题后,可以进行数据采集。
①建立数据表单:
选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【jinrong】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。
②开始采集
选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。
③导出数据
④导出的文件打开如下图所示:
*本教程仅供教学使用,严禁用于商业用途!
前嗅简介
前嗅大数据,国内领先的研发型大数据专家,多年来致力于为大数据技术的研究与开发,自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台!