Chinaunix首页 | 论坛 | 博客
  • 博客访问: 258890
  • 博文数量: 83
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 845
  • 用 户 组: 普通用户
  • 注册时间: 2018-08-09 14:57
个人简介

前嗅(www.forenose.com)是国内领先的深度大数据专家,我们拥有从数据采集、分析、处理、管理、应用到营销,完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台!

文章分类
文章存档

2023年(5)

2022年(8)

2021年(2)

2020年(9)

2019年(59)

我的朋友

分类: 数据库开发技术

2019-03-26 13:03:16

链接脚本是频道的模板中的脚本。

配置了模板脚本,模板的处理流程将被改变:

1.如果脚本未正确返回dom区域节点,则该模板的采集则完全由该脚本控制。

2.如果脚本返回了一个正确的dom区域节点,则该模板的所有流程(链接抽取或数据抽取)都以该区域节点为基准,区域外的信息和数据将优先作为垃圾数据处理。


一.可用全局对象(只读)

EXTRACT: 当前采集引擎[ 对象类型: extractor ]

DATADB: 当前连接的数据库[ 对象类型: dataBase ]

RESULT: 当前结果集对象[ 对象类型: result ]

URL: 当前采集的链接对象[ 对象类型: url ]

URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]

DOC: 当前采集的文档对象[ 对象类型: grabDoc ]

DOM: 当前采集文档的dom对象[ 对象类型: dom ]

TMPL:当前结果集对象[ 对象类型: tmplTmpl ]:等价于this对象


二.this对象

当前模板 [tmplTmpl] 对象。


三.脚本返回值:

如果需要进行数据操作必须return 文档区域(domItem对象);否则返回0。

示例
  1. 以下脚本查找网页(文档)中的第一个表格对象,如果找到表格则从表格中提取链接或数据;否则不处理当前页面:
return DOM.FindName("table");


  1. 如果想要特定的链接,比如关键词搜索这样的,就会用模板脚本
  2. 下面是每个模板脚本必有的
url u;u.title = "";u.urlname = "";u.tmplid = 3;u.entryid = CHANN.id;RESULT.AddLink(u);
阅读(1403) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~