知识图谱构建与应用

一、知识图谱概论

1.1知识图谱始于20世纪50年代，至今大致分为三个发展阶段：

? 第一阶段 （1955年—1977年）是知识图谱的起源阶段，在这一阶段中引文网络分析 开始成为一种研究当代科学发展脉络的常用方法；

? 第二阶段（1977年-2012 年）是知识图谱的发展阶段，语义网得到快速发展，“知识本体”的研究 开始成为计算机科学的一个重要领域，知识图谱吸收了语义网、本体在知识组织和表达方面的理念，使得知识更易于在计算机之间和计算机与人之间交换、流通和加工；

? 第三阶段（2012年—至今）是知识图谱繁荣阶段，2012年谷歌提出Google Knowledge Graph，知识图谱正式得名，谷歌通过知识图谱技术改善了搜索引擎性能。在人工智能的蓬勃发展下，知识图谱涉及到的知识抽取、表示、融合、推理、问答等关键问题得到一定程度的解决和突破，知识图谱成为知识服务领域的一个新热点，受到国内外学者和工业界广泛关注。

知识图谱具体的发展历程如下图所示。

1.2知识图谱的价值

知识图谱用节点和关系所组成的图谱，为真实世界的各个场景直观地建模，运用“图”这种基础性、通用性的“语言”，“高保真”地表达这个多姿多彩世界的各种关系，并且非常直观、自然、直接和高效，不需要中间过程的转换和处理——这种中间过程的转换和处理，往往把问题复杂化，或者遗漏掉很多有价值的信息。

在风控领域中，知识图谱产品为精准揭露“欺诈环”、“窝案”、“中介造假”、“洗钱”和其他复杂的欺诈手法，提供了新的方法和工具。尽管没有完美的反欺诈措施，但通过超越单个数据点并让多个节点进行联系，仍能发现一些隐藏信息，找到欺诈者的漏洞，通常这些看似正常不过的联系（关系），常常被我们忽视，但又是最有价值的反欺诈线索和风险突破口。

尽管各个风险场景的业务风险不同，其欺诈方式也不同，但都有一个非常重要的共同点——欺诈依赖于信息不对称和间接层，且它们可以通过知识图谱的关联分析被揭示出来，高级欺诈也难以“隐身”。

凡是有关系的地方都可以用到知识图谱，事实上，知识图谱已经成功俘获了大量客户，且客户数量和应用领域还在不断增长中，包括沃尔玛、领英、阿迪达斯、惠普、FT金融时报等知名企业和机构。

目前知识图谱产品的客户行业，分类主要集中在：社交网络、人力资源与招聘、金融、保险、零售、广告、物流、通信、IT、制造业、传媒、医疗、电子商务和物流等领域。在风控领域中，知识图谱类产品主要应用于反欺诈、反洗钱、互联网授信、保险欺诈、银行欺诈、电商欺诈、项目审计作假、企业关系分析、罪犯追踪等场景中。

那相比传统数据存储和计算方式，知识图谱的优势显现在哪里呢？

（1）关系的表达能力强

传统数据库通常通过表格、字段等方式进行读取，而关系的层级及表达方式多种多样，且基于图论和概率图模型，可以处理复杂多样的关联分析，满足企业各种角色关系的分析和管理需要。

（2）像人类思考一样去做分析

基于知识图谱的交互探索式分析，可以模拟人的思考过程去发现、求证、推理，业务人员自己就可以完成全部过程，不需要专业人员的协助。

（3）知识学习

利用交互式机器学习技术，支持根据推理、纠错、标注等交互动作的学习功能，不断沉淀知识逻辑和模型，提高系统智能性，将知识沉淀在企业内部，降低对经验的依赖。

（4）高速反馈

图式的数据存储方式，相比传统存储方式，数据调取速度更快，图库可计算超过百万潜在的实体的属性分布，可实现秒级返回结果，真正实现人机互动的实时响应，让用户可以做到即时决策。

一、知识图谱概论

1.1知识图谱的起源和历史

1.2知识图谱的发展史——从框架、本体论、语义网、链接数据到知识图谱

1.3知识图谱的本质和价值

1.4知识图谱VS传统知识库VS关系数据库

1.5经典的知识图谱

1.5.1经典的CYC, WordNnet, WikiData, DBpedia, YAGO, NELL等知识库

1.5.2行业知识图谱：

Google知识图谱，微软实体图，阿里知识图谱，医学知识图谱，基因知识图谱等知识图谱项目

二、知识图谱应用

2.1知识图谱应用场景

2.2知识图谱应用简介

2.2.1知识图谱在数字图书馆上的应用  

2.2.2知识图谱在国防、情报、公安上的应用

2.2.3知识图谱在金融上的应用        

2.2.4知识图谱在电子商务中的应用

2.2.5知识图谱在农业、医学、法律等领域的应用

2.2.6知识图谱在制造行业的应用

2.2.7知识图谱在大数据融合中的应用  

2.2.8知识图谱在人机交互（智能问答）中的应用

三、知识表示与知识建模

3.1知识表示概念

3.2 知识表示方法

a.语义网络 b.产生式规则 c.框架系统 d.描述逻辑 e.本体 f.RDF和RDFS

g.OWL和OWL2 Fragments  h.SPARQL查询语言

i.Json-LD、RDFa、HTML5 MicroData等新型知识表示

3.3典型知识库项目的知识表示

3.4知识建模方法学

3.5知识表示和知识建模实践

1.三国演义知识图谱的表示和建模实践案例

2.学术知识图谱等

四、知识抽取与挖掘

4.1知识抽取基本问题

a.实体识别 b.关系抽取 c.事件抽取

4.2数据采集和获取

4.3面向结构化数据的知识抽取

a.D2RQ    b.R2RML

4.4面向半结构化数据的知识抽取

  a.基于正则表达式的方法 b.基于包装器的方法

4.5.面向非结构化数据的知识抽取

a.实体识别技术（基于规则、机器学习、深度学习、半监督学习、预训练等方法）

b.关系抽取技术（基于模板、监督、远程监督、深度学习等方法）

c.事件抽取技术（基于规则、深度学习、强化学习等方法）

4.6.知识挖掘

a.实体消歧b.实体链接c.类型推断 d.知识表示学习

4.7知识抽取上机实践

A.面向半结构化数据的三国演义知识抽取

B.面向文本的三国演义知识抽取

C.人物关系抽取

五、知识融合

5.1知识融合背景

5.2知识异构原因分析

5.3知识融合解决方案分析

5.4.本体对齐基本流程和常用方法

a.基于文本的匹配 b.基于图结构的匹配 c.基于外部知识库的匹配

e.不平衡本体匹配 d.跨语言本体匹配  f.弱信息本体匹配

5.5实体匹配基本流程和常用方法

  a.基于相似度的实例匹配  b.基于规则或推理的实体匹配

c.基于机器学习的实例匹配 d.大规模知识图谱的实例匹配

(1)基于分块的实例匹配

(2)无需分块的实例匹配

(3)大规模实例匹配的分布式处理

5.6 知识融合上机实践

1.百科知识融合 

2.OAEI知识融合任务

六、存储与检索

6.1.知识图谱的存储与检索概述

6.2.知识图谱的存储

  a.基于表结构的存储       b.基于图结构的存储

6.3.知识图谱的检索

a.关系数据库查询：SQL语言 b数据库查询：SPARQL语言  

6.4.上机实践案例：利用GraphDB完成知识图谱的存储与检索

七、知识推理

7.1.知识图谱中的推理技术概述

7.2.归纳推理：学习推理规则

  a.归纳逻辑程设计?b.关联规则挖掘 c.路径排序算法

上机实践案例：利用AMIE+算法完成Freebase数据上的关联规则挖掘

7.3.演绎推理：推理具体事实

? a.马尔可夫逻辑网 b.概率软逻辑

7.4.基于分布式表示的推理

a. TransE模型及其变种        b.RESCAL模型及其变种

c.（深度）神经网络模型介绍   d.表示学习模型训练

7.5.上机实践案例：利用分布式知识表示技术完成Freebase上的链接预测

八、语义搜索

8.1.语义搜索概述

8.2.搜索关键技术

a.索引技术：倒排索引   

b.排序算法：BM25及其扩展

8.3.知识图谱搜索

a.实体搜索

b.关联搜索

8.4.知识可视化 a.摘要技术

8.5.上机实践案例：SPARQL搜索

九、知识问答

9.1.知识问答概述                      

9.2.知识问答基本流程

9.3.相关测试集：QALD、WebQuestions等

9.4.知识问答关键技术

   a.基于模板的方法  

 b.语义解析

   c.基于深度学习的方法

9.5.上机实践案例：DeepQA、TemplateQA

学习和关注人工智能技术与咨询，了解更多资讯！