Chinaunix首页 | 论坛 | 博客
  • 博客访问: 389867
  • 博文数量: 273
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1430
  • 用 户 组: 普通用户
  • 注册时间: 2018-02-02 15:57
文章分类

全部博文(273)

文章存档

2018年(273)

我的朋友

分类: 大数据

2018-06-25 15:24:33

知识引擎

由于最近几年深度学习的发展,深度学习基本上等于人工智能,知识引擎变得有点过气。知识图谱和深度学习对人工智能有着不同的解决方案,深度学习解决不了一些知识性问题,但是知识图谱可以解决。

知识图谱最核心的事情就是把数据和知识整理成图的结构,图是由边加上点组成,每个点代表这个领域的实体,每个边代表实体和实体之间的关系。把数据和信息表示成知识图谱的形式就可以定义出一个叫做商品的实体类型。

1


如上图所示是一个实例,这个商品类型叫楼外楼的真包装卤肉,这个商品下有一个属性叫碳水化合物含量2.2g每100g。这样就建立了一个只有一个节点的知识图谱。第二部分就是通过推理发现一些新的知识,这个功能是人脑具备的功能,知识图谱也具备这个功能。根据上图的第一条数据和第三条知识,人脑很容易推出第三条知识楼外楼真空包装是无糖食品,知识图谱要做的就是如何发现这些新知识。
深度学习和知识图谱是两个完全不同的方法实现智能化,如智能聊天系统,深度学习是拿一些数据进行训练,训练成模型,然后再进行微调。知识图谱是把这里的所有知识罗列好整理成一个图谱,然后在图谱上进行推理,再把问题转化成图谱上的一个推理。与深度学习相比知识图谱非常的昂贵,需要花费大量的人力物力。但是知识图谱对深度学习有很大的候补作用,很多深度学习解决不了的问题,知识图谱可以解决。现在的很多自动问答系统是基于深度学习和知识图谱相结合。深度学习能解决端到端的问题,知识图谱解决知识类的问题。

知识引擎技术架构

一开始的数据是多元异构数据,可能是结构化开放知识库、半结构化领域数据和非结构化网页文档。知识引擎架构的构造一般需要三步,第一步需要进行知识建模,第二步是知识获取,第三部是知识融合,知识融合不是必须的,但是一般会用到,它是把两个或更多知识图谱链接起来。知识融合可以使知识图谱越来越大。

知识图谱核心技术

第一个是技术是核心节点的构建。如产品的构建,产品是真实世界的一个可收买单元。以一个小米4A的电视举例,这是一个线下可售卖单元,就是一款产品。这样一款产品在天猫淘宝等上有几百个卖家都在卖,这些卖家在淘宝上创建的链接就是商品。知识图谱要做的就是把这些商品聚齐起来,然后把同款的商品都找出来关联到产品节点上。很多商品都关联到一个产品节点上,这些商品就是同款的商品。这一块非常的难做到,我们需要做一个复杂的模型,来做大规模同款商品的训练。如果有新的产品可以自动的往上面进行挂载,聚合成一个产品库。如果把全网的产品都挂上去就可以查出最低的价格。
第二个技术就是推理技术,推理技术是知识引擎的一个前沿的研究领域,推理技术是学术界也没有攻克的研究领域。在工业界用的时候需要做大量的工作。

2


如上图所示,我们如何将“产地为某核污染区域的食品”进行搜索并下架是推理技术的一个有趣的应用。这一过程我们用到了三个过程,首先进行一级翻译,即把自然语言转换成推理的逻辑语言。第二步是最难的一步,把逻辑翻译转换成知识图谱上的一些节点和边的关系,所以我们需要找的是商品,商品的一个品类是食品,然后商品又和产地有一定得联系,把产地是辐射区的找出来。这样就把语言转换成了图谱上的查询。然后把找到商品进行下架,这些就是技术创造的生产力。
第三个技术是知识引擎的智能识别。
阅读(1499) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~