分类: 大数据
2022-10-26 10:53:49
学习和关注人工智能技术与咨询,qq群:189696007,更多详情可咨询175-3102-1189(v同号)。
多领域发挥重要作用
知识图谱本质上是基于语义网络(semantic network)的知识库,旨在描述客观世界的概念、实体、事件及其之间的关系。
知识图谱(Knowledge Graph)的概念{BANNED}最佳先是由谷歌于2012年正式提出,主要用来支撑下一代搜索和在线广告业务。2013年以后知识图谱开始在学术界和业界普及,并在搜索、智能问答、情报分析、金融等领域应用中发挥重要作用。
生命科学:降低研发诊断成本
由于研发新药花费较高,医药公司非常关注如何缩短新药研制周期,降低研发成本。欧盟第七框架下的开放药品平台Open Phacts项目,就是利用来自实验室的理化数据、各种期刊文献中的研究成果以及各种开放数据,包括Clinical Trials.org,美国开放数据中的临床实验数据,来加速药物研制中的分子筛选工作,已吸引辉瑞和诺华等制药巨头参与。
Watson取得巨大成功之后,IBM成立了Watson group(事业部),对各种行业进行认知突破。其中在医疗方面,IBM启动了登月计划(moon shot),通过整合大量医疗文献和书籍以及各种EMR(电子病历)来获取海量高质量的医疗知识,并基于这些知识向医护人员提供辅助临床决策和用药安全等方面的应用。
金融:识别及预防欺诈
金融仅次于医疗,是知识图谱应用{BANNED}最佳广泛的领域,在反欺诈、搜索和营销方面均有深入应用。
国外的Datafox和Spiderbook,国内的通联数据等,通过从互联网提取上市公司的相关数据,包括产品、公司供应链关系、竞争对手关系等,整合为知识图谱帮助企业或投资机构进行全网数据的关联分析、影响传播和预测。
反欺诈在金融风控中举足轻重,但基于大数据的反欺诈存在两个难点:一是如何整合不同来源的结构化和非结构化数据,并有效地识别出身份造假、团体欺诈、代办包装等欺诈案件。二是不少欺诈案件涉及复杂的关系网络,如组团欺诈。
知识图谱是基于关系的表达方式,可轻松解决以上两个问题,因此在反欺诈中获得广泛应用。首先,知识图谱可以提供非常便捷的方式来添加新的数据源。其次,知识图谱本身是直观的关系表达方式,可以帮助更有效地分析复杂关系中存在的特定的潜在风险。
农业:多媒体知识指导
大量的农业资料以不同格式分散存储,传统的关系数据库模式不适用于复杂多变的领域,无法实现定义所有可能的知识点并构建关键数据库模式,而知识图谱这种更加灵活的知识表示模型可以实现管理。利用抽取挖掘技术从各种多源异构数据中获取相应的知识,并用统一图谱进行表示,形成完整的知识库,刻画作物知识、土壤知识、肥料知识、疾病知识和天气知识等。通过图谱关联到图片信息,形成多媒体知识图谱,病变图片信息相比专业知识更加直观,也更方便农民使用。
赋能认知智能
知识图谱对于人工智能的价值在于让机器具备了认知能力。机器认知智能在应用方面是广泛、多样的,体现在精准分析、智慧搜索、智能推荐、智能解释、更自然的人机交互和深层关系推理等多个方面。
智能分析
由于缺乏诸如知识图谱此类背景知识,各类工具理解大数据的手段有限,限制了基于大数据的精准与精细分析,大大降低了大数据的潜在价值。因此尽管越来越多的行业或者企业积累了规模可观的数据,但这些数据非但未能创造价值,甚至可能因消耗大量的运维成本而成为负资产。
知识图谱的发展提供了强大的背景知识支撑,可以赋能舆情分析、商业洞察、军事情报分析和商业情报分析此类基于大数据的精准分析。
知识图谱和基于此的认知智能为精细分析提供了可能。如汽车制造厂商等制造企业都希望实现个性化制造运用于精细分析案例。知识图谱构建关于汽车评价的背景知识,如汽车的车型、车饰、动力、能耗等,提取消费者对汽车的褒贬态度、消费者改进建议、竞争品牌等评价与反馈,并以此为据实现按需与个性化定制。
自然人机交互
人机交互将会变得更简单自然。自然人机交互包括自然语言问答、对话、体感交互、表情交互等,需要机器能够理解人类的自然语言,要求其具有较高认知智能水平及强大的背景知识。会话式(Conversational UI)、问答式(QA)交互将逐步代替传统的关键字搜索式交互。未来,Google NOW、siri、amazon Alexa等语音助手及下一代对话机器人将代替我们阅读、浏览,甚至代替我们看电影、电视剧,然后回答我们所关心的任何问题。
深刻影响社会结构
以深度学习为代表的人工智能获得巨大进展,但深度学习的不透明性、不可解释性已成为制约其发展的障碍,“理解”与“解释”是人工智能需要攻克的下一个挑战,而知识图谱为“可解释的人工智能”提供了全新的视角和机遇,并带来新科技、商业和社会新纪元—认知时代的黎明。
对于人类而言,知识图谱赋能人工智能之后,将增强人类的能力,让我们可以理解和运作社会中复杂的系统,提升我们驾驭科技的能力,改善人类的生存环境,人类与机器的交互将更加自然、有预见性、有情感性。
时间:2022年11月11日 — 2022年11月15日 线上直播
目标:紧密结合理论与实践,深入浅出,循序渐进。从基本概念讲起,重点讲解构建方法和技术的转化思路,帮助学员系统性的掌握知识图谱的核心技术原理。基于百科知识进行各项核心技术的实例训练,并结合数字图书馆、医疗、金融、电商、农业、法律等行业应用帮助学员快速积累知识图谱工程项目经验。
具体安排:
一、知识图谱概论
1.1知识图谱的起源和历史
1.2知识图谱的发展史——从框架、本体论、语义网、链接数据到知识图谱
1.3知识图谱的本质和价值
1.4知识图谱VS传统知识库VS关系数据库
1.5经典的知识图谱
1.5.1经典的CYC, WordNnet, WikiData, DBpedia, YAGO, NELL等知识库
1.5.2行业知识图谱:
Google知识图谱,微软实体图,阿里知识图谱,医学知识图谱,基因知识图谱等知识图谱项目
二、知识图谱应用
2.1知识图谱应用场景
2.2知识图谱应用简介
2.2.1知识图谱在数字图书馆上的应用
2.2.2知识图谱在国防、情报、公安上的应用
2.2.3知识图谱在金融上的应用
2.2.4知识图谱在电子商务中的应用
2.2.5知识图谱在农业、医学、法律等领域的应用
2.2.6知识图谱在制造行业的应用
2.2.7知识图谱在大数据融合中的应用
2.2.8知识图谱在人机交互(智能问答)中的应用
三、知识表示与知识建模
3.1知识表示概念
3.2 知识表示方法
a.语义网络 b.产生式规则 c.框架系统 d.描述逻辑 e.本体 f.RDF和RDFS
g.OWL和OWL2 Fragments h.SPARQL查询语言
i.Json-LD、RDFa、HTML5 MicroData等新型知识表示
3.3典型知识库项目的知识表示
3.4知识建模方法学
3.5知识表示和知识建模实践
1.三国演义知识图谱的表示和建模实践案例
2.学术知识图谱等
四、知识抽取与挖掘
4.1知识抽取基本问题
a.实体识别 b.关系抽取 c.事件抽取
4.2数据采集和获取
4.3面向结构化数据的知识抽取
a.D2RQ b.R2RML
4.4面向半结构化数据的知识抽取
a.基于正则表达式的方法 b.基于包装器的方法
4.5.面向非结构化数据的知识抽取
a.实体识别技术(基于规则、机器学习、深度学习、半监督学习、预训练等方法)
b.关系抽取技术(基于模板、监督、远程监督、深度学习等方法)
c.事件抽取技术(基于规则、深度学习、强化学习等方法)
4.6.知识挖掘
a.实体消歧b.实体链接c.类型推断 d.知识表示学习
4.7知识抽取上机实践
A.面向半结构化数据的三国演义知识抽取
B.面向文本的三国演义知识抽取
C.人物关系抽取
五、知识融合
5.1知识融合背景
5.2知识异构原因分析
5.3知识融合解决方案分析
5.4.本体对齐基本流程和常用方法
a.基于文本的匹配 b.基于图结构的匹配 c.基于外部知识库的匹配
e.不平衡本体匹配 d.跨语言本体匹配 f.弱信息本体匹配
5.5实体匹配基本流程和常用方法
a.基于相似度的实例匹配 b.基于规则或推理的实体匹配
c.基于机器学习的实例匹配 d.大规模知识图谱的实例匹配
(1)基于分块的实例匹配
(2)无需分块的实例匹配
(3)大规模实例匹配的分布式处理
5.6 知识融合上机实践
1.百科知识融合
2.OAEI知识融合任务
六、存储与检索
6.1.知识图谱的存储与检索概述
6.2.知识图谱的存储
a.基于表结构的存储 b.基于图结构的存储
6.3.知识图谱的检索
a.关系数据库查询:SQL语言 b数据库查询:SPARQL语言
6.4.上机实践案例:利用GraphDB完成知识图谱的存储与检索
七、知识推理
7.1.知识图谱中的推理技术概述
7.2.归纳推理:学习推理规则
a.归纳逻辑程设计?b.关联规则挖掘 c.路径排序算法
上机实践案例:利用AMIE+算法完成Freebase数据上的关联规则挖掘
7.3.演绎推理:推理具体事实
? a.马尔可夫逻辑网 b.概率软逻辑
7.4.基于分布式表示的推理
a.TransE模型及其变种 b.RESCAL模型及其变种
c.(深度)神经网络模型介绍 d.表示学习模型训练
7.5.上机实践案例:利用分布式知识表示技术完成Freebase上的链接预测
八、语义搜索
8.1.语义搜索概述
8.2.搜索关键技术
a.索引技术:倒排索引
b.排序算法:BM25及其扩展
8.3.知识图谱搜索
a.实体搜索
b.关联搜索
8.4.知识可视化 a.摘要技术
8.5.上机实践案例:SPARQL搜索
九、知识问答
9.1.知识问答概述
9.2.知识问答基本流程
9.3.相关测试集:QALD、WebQuestions等
9.4.知识问答关键技术
a.基于模板的方法
b.语义解析
c.基于深度学习的方法
9.5.上机实践案例:DeepQA、TemplateQA