Chinaunix首页 | 论坛 | 博客
  • 博客访问: 257437
  • 博文数量: 83
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 845
  • 用 户 组: 普通用户
  • 注册时间: 2018-08-09 14:57
个人简介

前嗅(www.forenose.com)是国内领先的深度大数据专家,我们拥有从数据采集、分析、处理、管理、应用到营销,完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台!

文章分类
文章存档

2023年(5)

2022年(8)

2021年(2)

2020年(9)

2019年(59)

我的朋友

分类: 数据库开发技术

2019-04-17 16:53:54

应用场景

当可视化抽取到的链接包含不想要的链接地址时,需要进行过滤。

可能用到的类是:string,使用到的全局对象是VALUE。


地址过滤

场景:链接地址有规律。

示例:可视化配置百度搜索之后的链接抽取,过滤掉不是列表链接和翻页链接的所有链接。

脚本实例:

If(VALUE.Find(“wd=”)!=-1||VALUE.Find(“url=”)!=-1) return true; //return true代表保留链接 else return false; //return false代表过滤链接

标题过滤

场景:链接标题有规律。

示例:过滤掉所有标题不为空字符串的链接,并返回链接标题为”关键词”。

脚本实例:

f(VALUE!=””) return false; //return false,代表过滤链接 else return “关键词”; //否则保留并覆盖标题为关键词
阅读(1545) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~