前嗅(www.forenose.com)是国内领先的深度大数据专家,我们拥有从数据采集、分析、处理、管理、应用到营销,完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台!
发布时间:2019-04-03 11:24:01
字段处理脚本用于清洗字段的取值。点击某个字段后,在字段处理的下拉菜单中选择脚本处理后,需要配置的脚本。这一步是通过脚本进一步清洗获取的数据。一.可用全局对象(只读)EXTRACT: 当前采集引擎[ 对象类型: extractor ]DATADB: 当前连接的数据库[ 对象类型: dataBase ]R.........【阅读全文】
发布时间:2019-04-02 11:12:05
字段取值脚本是字段的取值类型选择脚本取值时,需要配置的脚本。这一步是通过脚本来获取字段的填充值。注意:一旦有了字段取值脚本,则字段处理脚本将失效。一.可用全局对象(只读)EXTRACT: 当前采集引擎[ 对象类型: extractor ]DATADB: 当前连接的数据库[ 对象类型: dataBase .........【阅读全文】
发布时间:2019-03-28 13:42:11
链接过滤脚本是地址和标题过滤中的脚本, 过滤类型必须选择脚本过滤时过滤脚本才能生效,过滤脚本用于处理复杂的链接或标题过滤需求。一.可用全局对象(只读)EXTRACT: 当前采集引擎[ 对象类型: extractor ]DATADB: 当前连接的数据库[ 对象类型: dataBase ]RESULT: 当前结果集对.........【阅读全文】
发布时间:2019-03-27 09:38:39
链接脚本是链接抽取中的脚本。配置了链接脚本,链接的抽取流程将被改变:1.如果脚本未正确返回dom区域节点,则该链接抽取的规则将完全由该脚本控制。2.如果脚本返回了一个正确的dom区域节点,则此链接抽取以返回的区域节点为基准,区域外的链接将被过滤掉。一.可用全局对象(只读)EXTRACT: 当前.........【阅读全文】
发布时间:2019-03-26 13:03:16
链接脚本是频道的模板中的脚本。配置了模板脚本,模板的处理流程将被改变:1.如果脚本未正确返回dom区域节点,则该模板的采集则完全由该脚本控制。2.如果脚本返回了一个正确的dom区域节点,则该模板的所有流程(链接抽取或数据抽取)都以该区域节点为基准,区域外的信息和数据将优先作为垃圾数据处理。.........【阅读全文】