CRISP-DM的应用与理解

本文分享自天翼云开发者社区《CRISP-DM的应用与理解》，作者：吴****嫄

 

CRISP-DM是一个数据挖掘项目规划的开放标准流程框架模型，主要分为业务理解、数据理解、数据准备、建模、评估、部署六个阶段。

 

业务理解

从业务的角度理解项目的目标和需求，将业务的目的转换为一个数据挖掘的问题，制定一个初步的实现计划计划。

商业理解是明确要达到的业务目标，并将其转化为数据挖掘主题。要从商业角度对业务部门的需求进行理解，并把业务需求的理解转化为数据挖掘的定义，拟定达成业务目标的初步方案。具包括商业背景分析、商业成功标准的确定、形势评估、获得企业资源清单、获得企业的要求和想、评估成本和收益、评估风险和意外、初步理解行业术语，并确定数据挖掘的目标和制定数挖掘计划。

在整个CRISP-DM的过程当中，围绕数据为核心，项目可能会在各个阶段之间跳跃，因为数据分析一定是一个不断迭代的过程。是否可以继续进行下一个阶段取决于是否有达到Zui初的业务目标，如果业务目标没有达到，那么就要考虑是否是数据不够充分或算法需要调整，一切都以业务目标为导向。

 

数据理解

初步收集数据，了解、熟悉数据。关注数据质量，进行探索性的分析。数据理解是找出可能的影响主题的因素，确定这些影响因素的数据载体、数据体现形式和数据存储位置。数据理解从数据收集开始，然后熟悉数据，具体包括以下工作内容：检测数据质量，对数据进行初步理解，简单描述数据，探测数据意义，并对数据中潜藏的信息和知识提出拟用数据加以验证的假设。

 

数据准备

准备Zui终输入到模型中的数据，数据的选择，数据清晰等。

数据准备是将前面找到的数据进行变换、组合，建立数据挖掘工具软件要求格式和内容的宽表。数据准备阶段要从原始数据中形成作为建模分析对象的Zui终数据集。数据准备阶段的具体工作主要包括数据制表、记录处理、变量选择、数据转换、数据格式化和数据清理等，各项工作并不需要预先规定好执行顺序，而且数据准备工作还有可能多次执行。

 

建模

一般使用多种技术进行建模，将模型调整到Zui佳状态。

建立模型是应用软件工具，选择合适的建模方法，处理准备好的数据宽表，找出数据中隐藏的规律。在建立模型阶段，将选择和使用各种建模方法，并将模型参数进行优化。对同样的业务问和数据准备，可能有多种数据挖掘技术方法可供选用，此时可优选提升度高、置信度高、简单而易于总结业务政策和建议的数据挖掘技术方法。在建模过程中，还可能会发现一些潜在的数据问题，要求回到数据准备阶段。建立模型阶段的具体工作包括:选择合适的建模技术、进行检验设计、建造模型。

 

评估

到这个阶段一般已经有从数据角度来看满足要求的模型。重点是评估是否有业务问题还没有考虑到，是否已经完全满足业务要求。评估数据挖掘结果的使用可能性。

模型评估是要从业务角度和统计角度进行模型结论的评估。要求检查建模的整个过程，以确保型没有重大错误，并检查是否遗漏重要的业务问题。当模型评估阶段结束时，应对数据挖掘结果的发布计划达成一致。

 

部署

数据分析完成了但是还不是Zui后一步。Zui后一步的部署可能是生成一个报告，也可能是需要建立一个整个公司层面的新的系统，这是看业务的需求来定。要保证数据分析的结果被正确的使用。

模型发布又称为模型部署，建立模型本身并不是数据挖掘的目标，虽然模型使数据背后隐藏的作息和知识显现出来，但数据挖掘的根本目标是将信息和知识以某种方式组织和呈现出来，并用来改善运营和提高效率。当然，在实际的数据挖掘工作中，根据不同的企业业务需求，模型发布具体工作可能简单到提交数据挖掘报告，也可能复杂到将模型集成到企业的核心运营系统中去。