前嗅（www.forenose.com）是国内领先的深度大数据专家，我们拥有从数据采集、分析、处理、管理、应用到营销，完 全独立知识产权的一整套大数据产品。前嗅致力于以深厚的技术功底和海量的数据资源打造国内第一家深度大数据平台！
分类： 数据库开发技术
2019-03-05 12:59:42
【任务定时】
用户可以通过任务定时，进行自动启动/停止采集。也可以选择间隔某个时间段后启动/停止采集。
【预警设置】
1. 网络异常
可以设置网络异常连续多少次，则进行预警提醒。
2. 反爬识别
可以设置疑似被反爬了多少次，则进行预警提醒。
3. 预警操作
设置当出现预警时，软件会进行什么操作。
①无：软件仍然照常操作。
②暂停：软件暂停，等待处理。
③自动休眠：预留。
④自动更换代理：预留。
4. 预警提醒
①不提醒：不进行提醒。
②图标闪烁：软件任务栏的图标闪烁。
③弹窗等待：软件弹出弹窗，等待人工处理。
通过设置采集的任务量大小、采集文件大小和文件类型，使软件采集到某种任务状况时可以自动停止。
【过滤设置-采集文件大小下限】
1. 采集文件大小下限
可以设置一个阈值，在采集量达到阈值时采集自动停止。
2. 采集文件大小阈值
可以设置一个采集文件大小的阈值，当文件大小超过阈值时不予采集该文件，通过设置阈值可以有效过滤超大文件，网页中不需要的超大文件将不予采集。
3. 采集文件类型列表
在这里选择需要的文件类型，选中的文件类型将会被采集下来。不予选择的类型将在采集时被过滤。
