前嗅(www.forenose.com)是国内领先的深度大数据专家,我们拥有从数据采集、分析、处理、管理、应用到营销,完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台!
分类: 数据库开发技术
2019-04-03 11:24:01
字段处理脚本用于清洗字段的取值。
点击某个字段后,在字段处理的下拉菜单中选择脚本处理后,需要配置的脚本。这一步是通过脚本进一步清洗获取的数据。
EXTRACT: 当前采集引擎[ 对象类型: extractor ]
DATADB: 当前连接的数据库[ 对象类型: dataBase ]
RESULT: 当前结果集对象[ 对象类型: result ]
URL: 当前采集的链接对象[ 对象类型: url ]
URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]
DOC: 当前采集的文档对象[ 对象类型: grabDoc ]
DOM: 当前采集文档的dom对象[ 对象类型: dom ]
ITEM: 当前dom树被取值节点[ 对象类型: domItem ]
TMPL: 当前文档模板对象[ 对象类型: tmplTmpl ]
DATA: 当前数据抽取对象[ 对象类型: tmplData ]
REC: 当前记录集对象[ 对象类型: record ]
VALUE: 当前字段获取的字符串类型的值。[ 对象类型: string ]
当前数据字段抽取[ tmplVal ]对象
必须返回处理后的的数据结果[返回类型: string]
示例class="lumn_left01"><a>商品大类a>><a><a>商品列表a>><a>商品品牌a>>div>
【网页源码】
以下脚本将取数据“商品大类”的右串:
return DOM.GetTextAll(DOM.FindClass("lumn_left01",div)).Right("商品大类");取出的结果为:>商品列表>商品品牌>注释:GetTextAll:取出其中所有的文本。 FindClass:通过标签class属性值查找标签节点。 Right: 返回字符串右边的字符串。
以下脚本将清除数据前后的空白符:
return VALUE.TrimAll();
阅读(1374) | 评论(0) | 转发(0) |