前嗅(www.forenose.com)是国内领先的深度大数据专家,我们拥有从数据采集、分析、处理、管理、应用到营销,完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台!
分类: 数据库开发技术
2019-03-28 13:42:11
链接过滤脚本是地址和标题过滤中的脚本, 过滤类型必须选择脚本过滤时过滤脚本才能生效,过滤脚本用于处理复杂的链接或标题过滤需求。
EXTRACT: 当前采集引擎[ 对象类型: extractor ]
DATADB: 当前连接的数据库[ 对象类型: dataBase ]
RESULT: 当前结果集对象[ 对象类型: result ]
URL: 当前采集的链接对象[ 对象类型: url ]
URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]
DOC: 当前采集的文档对象[ 对象类型: grabDoc ]
DOM: 当前采集文档的dom对象[ 对象类型: dom ]
ITEM: 当前链接dom树的href标签节点[ 对象类型: domItem ]
TMPL: 当前文档模板对象[ 对象类型: tmplTmpl ]
LINK:当前链接抽取对象[ 对象类型: tmplLink ]
VALUE:当前被过滤的字符串[ 对象类型: string ]
当前链接过滤[tmplFilter]对象。
返回非0保留,否则过滤。
示例:1.以下脚本过滤空白链接:
if(VALUE) return true;else return false;
2.【标题过滤】以下脚本过滤标题的长度小于5个字符的链接:
if(VALUE.length>=5) return true;else return false;