精华内容
下载资源
问答
  • 知识图谱

    万次阅读 2020-01-12 22:51:24
    知识图谱 基本概念 定义 知识图谱是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相关关系,即是对物理世界的一种符号表示 基本组成单位 实体-关系-实体,实体和相关属性-值对 研究价值 建立...

    知识图谱

    在这里插入图片描述

    基本概念

    定义

    • 知识图谱是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相关关系,即是对物理世界的一种符号表示

    基本组成单位

    • 实体-关系-实体,实体和相关属性-值对

    研究价值

    • 建立概念间的链接关系,从而以最小的代价将互联网中的积累的信息组织起来,成为能够被利用的知识。

    应用价值

    • 通过推理实现概念检索
    • 以图示化方式向用户展示经过分类整理的结构化知识

    架构

    1.自身逻辑结构

    • 数据层

      • 知识以事实为单位存储在图数据库中
    • 模式层

      • 在数据层之上,是知识图谱的核心。存储的是经过提炼的知识,通过采用本体库来管理知识图谱的模式层

    2.构建知识图谱所采用的技术(体系)结构

    • 概念

      • 知识图谱的构建过程是从原始数据出发,采用一系列自动或者半自动的技术手段,从原始数据中提取出知识要素(即事实),并将其存入知识库的数据层和模式层的过程。
    • 构建方式

      • 自顶向下

        • 概念

          • 借助百科类网站等结构化数据,从高质量的数据中提取本体和模式信息
      • 自底向上

        • 概念

          • 借助一定的技术手段,从公开采集的数据中提取出资源模式,选择置信度较高的新模式。经过人工审核之后加入知识库中。
        • 按知识获取的过程分层

          • 信息提取

            • 概念

              • 从各类的数据源中提取出实体(概念)、属性以及实体间的相互关系,在此基础上形成本体化的知识表达
            • 包含

              • 实体提取

                • 信息抽取中最为基础和关键的部分
              • 关系提取

              • 属性提取

          • 知识融合

            • 概念

              • 在获取新知识后需要对其进行整合以消除矛盾和歧义
            • 包含

              • 实体链接

                • 概念

                  • 对于从文本中抽取得到的实体对象将其链接到知识库中对应的正确实体对象的操作
                • 一般流程

                  • 从文本中通过实体抽取得到实体指称项
                  • 进行实体消歧和共指消解,即判断知识库中的同名实体与之是否代表不同的含义,以及知识库中是否其他命名实体与之表示相同的含义
                  • 将实体指称项链接到知识库中对应实体
              • 知识合并

                • 合并外部知识库

                  • 数据层的融合

                    • 包括实体的指称、属性、关系以及所属类别
                  • 模式层的融合

                    • 将新得到的本体融入已有的本题库中
                • 合并关系型数据库

                  • 可以采用资源描述框架(RDF)作为数据模型
                • 合并半结构化数据

                  • 可以采用资源描述框架(RDF)作为数据模型
          • 知识加工

            • 概念

              • 对于经过融合的新知识需要经过质量评估之后才能将合格的部分加入到知识库中,以确保知识库的质量
            • 包含

              • 本体构建

                • 概念

                  • 本体是对概念进行建模的规范,是描述客观世界的抽象模型
              • 知识推理

                • 概念

                  • 是指从知识库中已有的实体关系数据出发,经过计算机推理,建立实体间的新关联,从而扩展和丰富知识网络
                • 分类

                  • 基于逻辑的推理
                  • 基于图的推理
              • 质量评估

    展开全文
  • 知识图谱简介

    万次阅读 2020-01-12 19:27:13
    知识图谱简介 定义 知识图谱在学术界还没有统一的定义,根据维基百科,知识图谱2012年首先由谷歌公司提出,是一个提供智能搜索服务的大型知识库。因此,这里我们可以将知识图谱理解为,对语义知识的一种形式化描述...

    知识图谱简介

    定义

    知识图谱在学术界还没有统一的定义,根据维基百科,知识图谱2012年首先由谷歌公司提出,是一个提供智能搜索服务的大型知识库。因此,这里我们可以将知识图谱理解为,对语义知识的一种形式化描述框架,即知识图谱本质上是语义网络 (Semantic Network)的知识库

    意义

    知识图谱从语义角度出发,通过描述客观世界中概念、实体及其关系,从而让计算机具备更好地组织、管理和理解互联网上海量信息的能力。更具体的说,在人类与互联网世界交互的过程中,产生了繁杂庞大的信息,这些信息一般被图片声音文字视频这些数据载体保存。我们希望计算机可以分析阅读理解这些数据,精准挖掘找到数据背后隐藏的有价值的知识,在用户需要的时候提供知识服务。

    研究问题

    知识图谱研究的主要问题有如何在计算机中表示知识,将知识保存到合适的数据载体中(知识数据化),以及如何将大规模的互联网数据转化为我们定义好的知识数据的形式(数据知识化)等等。知识图谱技术具体指知识图谱构建和应用的技术,涵盖内容包罗万象,是融合了知识表示与推理、信息检索与抽取、自然语言处理、语义网、认知计算、数据挖掘与机器学习、威胁建模等方向的交叉研究。

    展开全文
  • 哈工大刘挺教授关于事理图谱的报告ppt。刘挺教授是事理图谱的先驱,最先构建了金融领域事理图谱,刘教授无疑是这个领域最有发言权的人之一。相信相关从业人员一定会从中受益匪浅。
  • 从知识图谱到认知图谱|唐杰
  • 1.1 知识图谱的基本概念 分为狭义与广义概念。 狭义的知识图谱特指一类知识表示,本质上是一种大规模语义网络。 广义的知识图谱是大数据时代知识工程一系列技术的总称,在一定程度程度上指代大数据知识工程这一新兴...

    1.1 知识图谱的基本概念

    分为狭义与广义概念。

    狭义的知识图谱特指一类知识表示,本质上是一种大规模语义网络。

    广义的知识图谱是大数据时代知识工程一系列技术的总称,在一定程度程度上指代大数据知识工程这一新兴学科。

    1.1.1 知识图谱的狭义概念

    1. 知识图谱作为语义网络的内涵

    知识图谱是一种大规模语义网络,包括实体(entity)、概念(concept)及其之间的各种语义关系。

    要点

    1. 其是语义网络,这是知识图谱的本质;
    2. 其是大规模的,这是知识图谱与传统语义网络的根本区别。

    语义网络是一种以图形化的(Graphic)形式通过点和边表示知识的方式,其基本组成元素是点和边。语义网络的点可以是实体、概念和值,如下图所示。
    在这里插入图片描述
    (1)实体。实体有时也会被称作对象(Object)或实例(Instance)。
    (2)概念。概念又被称为类别(Type)、类(Category或Class)等。
    (3)。每个实体都有一定的属性值。

    知识图谱中的边可以分为属性(Property)和关系(Relation)两类。关系可以认为是一类特殊的属性,当实体的某个属性值也是一个实体时,这个属性实质上就是关系。

    语义网络中的边按照其两端节点的类型可以分为概念之间的子类(subclassof)关系、实体与概念之间的实例(instanceOf)关系,以及实体之间的各种属性关系,如上图所示。

    1. 知识图谱与传统语义网络的区别

    (1)规模巨大。知识图谱具有巨大的规模。
    (2)语义丰富。两个方面:知识图谱富含各类语义关系;语义关系的建模多样。
    (3)质量精良。大数据多源特性使得我们可以通过多个来源验证简单事实。
    (4)结构友好。知识图谱通常可以表示为三元组,这是典型的图结构。三元组可以借助RDF(Resource Description Framework)进行表示。

    知识图谱构建与应用独特挑战
    (1)高质量模式缺失。
    (2)封闭世界假设不再成立。
    (3)大规模自动化知识获取成为前提。

    1. 知识图谱与本体的区别

    本体刻画人们认知一个领域的基本框架,而知识图谱富含的是实例以及关系实例。

    1.1.2 知识图谱的广义概念

    知识图谱作为一种技术体系,指代大数据时代知识工程的一系列代表技术的总和。

    1.2 知识图谱的历史沿革

    1.2.1 知识图谱溯源

    1. 传统知识工程

    知识工程属于符号主义。符号主义认为知识是智能的基础。传统人工智能专家认为人工智能的核心问题是知识表示、推理和应用

    传统知识工程所成功解决的问题普遍具有规则明确、应用封闭的特点,比如几何定理证明。

    传统的专家系统需要借助大量的人力参与,如下图所示
    在这里插入图片描述

    1. 传统知识工程的局限性

    (1)隐形知识与过程知识等难以表达
    (2)知识表达的主观性的不一致性
    (3)知识难以完备
    (4)知识更新困难

    1.2.1 大数据知识工程

    1. 互联网与大数据应用催生了知识图谱

    互联网应用特点:

    • 规模巨大
    • 精度要求相对不高
    • 知识推理困难
    1. 大数据时代给知识图谱的发展带来了新机遇
      (1)数据、算力和模型的飞速发展使得大规模自动化知识获取成为可能。
      (2)众包技术使得知识的模块化验证成为可能。
      (3)高质量用户生成内容提供了高质量知识库来源

    1.3知识图谱的研究意义

    1.3.1 知识图谱的认知智能的基石

    (1)知识图谱使能机器语言认知
    实现机器对自然语言的理解所需要的条件:

    • 规模必须足够巨大才能理解不同的实体和概念
    • 语义关系必须足够丰富才能理解不同的关系
    • 结构必须足够友好才能为机器所处理
    • 质量必须足够精良才能让机器对现实世界产生正确的理解

    (2)知识图谱赋能可解释人工智能
    在这里插入图片描述
    (3)知识图谱有助于增强机器学习的能力
    在这里插入图片描述

    1.3.2 知识引导成为解决问题的重要方式之一

    当下,计算机解决问题主要采用数据驱动的方式,也就是从样本数据中建立统计模型,挖掘统计规律来解决问题。

    单纯依赖统计模式难以有效解决很多实际问题,并且单纯的数据驱动方式仍然面临效果的“天花板”,如下图所示。
    在这里插入图片描述
    实际应用越来越要求将数据驱动和知识引导相结合,以突破基于统计学习的纯数据驱动的效果瓶颈。

    1.4 知识图谱的应用价值

    1.4.1 数据分析

    在这里插入图片描述

    1.4.2 智能搜索

    在这里插入图片描述

    1.4.3 智能推荐

    在这里插入图片描述

    1.4.4 自然人机交互

    在这里插入图片描述

    1.4.5 决策支持

    在这里插入图片描述

    1.5 知识图谱的分类

    首先认识数据、信息和知识之间的联系和区别

    • 数据是对客观世界的符号化记录
    • 信息是被赋予意义的数据
    • 知识的人类对信息的提炼和总结的结果,是人类认识世界的结果

    1.5.1 知识图谱中的知识分类

    (1)事实知识
    (2)概念知识
    (3)词汇知识
    (4)常识知识

    1.5.2 典型知识图谱

    在这里插入图片描述

    展开全文
  • 基于电影知识图谱的智能问答系统系列章节传送门: 基于电影知识图谱的智能问答系统(一) -- Mysql数据准备 基于电影知识图谱的智能问答系统(二) -- Neo4j导入CSV文件 基于电影知识图谱的智能问答系统(三) ...

    !!!!!!!!!!!!! !!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    !!!!!!!!!!!!! !!!!!!!!!!!!!!!!! !!!!!!!!!!!!!!


    基于电影知识图谱的智能问答系统系列章节传送门:

     

    基于电影知识图谱的智能问答系统(一) -- Mysql数据准备

    基于电影知识图谱的智能问答系统(二) -- Neo4j导入CSV文件

    基于电影知识图谱的智能问答系统(三) -- Spark环境搭建

     

    基于电影知识图谱的智能问答系统(四) -- HanLP分词器

    基于电影知识图谱的智能问答系统(五) -- Spark朴素贝叶斯分类器

    基于电影知识图谱的智能问答系统(六) -- 问题训练样本集敲定

    基于电影知识图谱的智能问答系统(七) -- Neo4j语句那点事

     

    GitHub地址:https://github.com/kobeyk/Spring-Boot-Neo4j-Movies

    码云(gitee)地址:https://gitee.com/appleyk/Spring-Boot-Neo4j-Movies

     

    注意最新代码为分支:v0.1.2

     

     

     

    注:本篇不再过多的讲解如何demo实现了,集成也很是简单的,前面几章也已经给本篇做足了铺垫。项目中的代码注释也是非常的详细,最后会附上整个项目的git仓库地址。

     

     

    一、效果预览

     

     

    (1)电影简介

     

    前端展示:

     

     

    后台效果:

     

     

     

     

     

    (2)电影评分

     

    前端展示:

     

     

     

     

    后台效果:

     

     

     

     

     

     

    (3)电影演员列表

     

    前端展示:

     

     

     

     

    后台效果:

     

     

     

     

     

     

    (4)演员A和演员B合作过哪些电影

     

    前端展示:

     

     

     

     

     

     

    后端效果:

     

     

     

    由于章子怡本来是一个完整的人名,但是HanLP分词的时候,却意外的“失手”了,因此导致最后查询无果

     

    我们再换个问题试验一把

     

     

     

    后台效果:

     

     

     

     

     

    (5)某演员出演过那种类型的电影或演过某种类型的电影有哪些

     

     

     

     

    ......etc,其余不在做演示,下面直接来看如何利用Spring-Boot搭建我们的智能问答系统

     

     

     

    二、项目目录结构图

     

     

     

     

     

     

    三、Movie节点类

     

     

    这里只拿电影信息的节点类来进行演示,比如,movie对应的节点在Java中定义类如下:

     

     

    package com.appleyk.node;
    
    import java.util.List;
    
    import org.neo4j.ogm.annotation.NodeEntity;
    import org.neo4j.ogm.annotation.Relationship;
    
    import com.fasterxml.jackson.annotation.JsonProperty;
    
    @NodeEntity
    public class Movie extends BaseEntity{
    
    	private Long mid;
    	private Double rating;
    	private String releasedate;
    	private String title;
    	private String introduction;
    
    	@Relationship(type = "is")
    	@JsonProperty("电影类型")
    	private List<Genre> genres;
    	
    
    	public Movie() {
    
    	}
    
    	public Long getMid() {
    		return mid;
    	}
    
    	public void setMid(Long mid) {
    		this.mid = mid;
    	}
    
    	public Double getRating() {
    		return rating;
    	}
    
    	public void setRating(Double rating) {
    		this.rating = rating;
    	}
    
    	public String getReleasedate() {
    		return releasedate;
    	}
    
    	public void setReleasedate(String releasedate) {
    		this.releasedate = releasedate;
    	}
    
    	public String getTitle() {
    		return title;
    	}
    
    	public void setTitle(String title) {
    		this.title = title;
    	}
    
    	public String getIntroduction() {
    		return introduction;
    	}
    
    	public void setIntroduction(String introduction) {
    		this.introduction = introduction;
    	}
    
    	public List<Genre> getGenres() {
    		return genres;
    	}
    
    	public void setGenres(List<Genre> genres) {
    		this.genres = genres;
    	}
    
    }

     

    其中属性和neo4j中的movie节点的属性一一对应

     

     

     

     

     

    电影信息节点里面带有关系is,对应neo4j中该电影的类型

     

     

     

    通过Controller对外提供的查询接口如下:

     

     

     

    外部调用效果如下:

     

     

     

     

     

    四、加载自定义带词性的字典数据

     

     

     

    注:不要使用HanLP提供的自定义词典路径,因为这个除了不能随心所欲的定义分词的词性以外,还极容易出现分词紊乱,词性对不上的bug,为了满足我们对专有电影名、电影分数及电影类型词性的定义,我们使用额外加载的方式设置HanLP的自定义分词,application.properties中设置自定义词典的路径如下:

     

     

     

     

     

     

     

     

     

     

    这三个文件的下载地址:https://pan.baidu.com/s/13PYsF2X3v7BzkPFG37kKuw

     

    注:也可以根据自己的需求进行设置

     

     

    五、项目完整地址

     

     

    GitHub下载地址:Spring-Boot集成Neo4j并利用Spark的朴素贝叶斯分类器实现基于电影知识图谱的智能问答系统

     

     

     

    完结!!!

     

     

     

    番外篇:如何将项目导入到IDEA并运行测试效果?

     

    (1)IDEA项目结构图(导入pom文件,配置好Maven后如下)

     

     

     

     

    (2)项目配置文件

     

     

     

     

    (3)内嵌html测试前端访问页面

     

     

     

     

     

    (4)启动项目

     

     

     

     

     

     

     

    (5)浏览器访问主页Index.html

     

    展开全文
  • 利用Python分析《庆余年》人物图谱和微博传播路径

    万次阅读 多人点赞 2019-12-01 11:55:04
    利用Python分析《庆余年》人物图谱和微博传播路径 庆余年电视剧终于在前两天上了,这两天赶紧爬取微博数据看一下它的表现,已经分析原著中的人物关系图谱
  • 知识图谱(Knowledge Graph)之综述理解

    万次阅读 多人点赞 2019-03-08 09:36:59
    注:该博文是我在看了数篇知识图谱综述以及阅读了相关资料后的一个总结以及自己的相关理解。 知识图谱技术是人工智能技术的重要组成部分,以结构化的方式描述客观世界中的概念、实体及其键的关系。知识图谱提...
  • GitHub开源史上最大规模中文知识图谱

    万次阅读 多人点赞 2019-10-29 17:47:20
    近日,一直致力于知识图谱研究的 OwnThink 平台在 Github 上开源了史上最大规模 1.4 亿中文知识图谱,其中数据是以(实体、属性、值),(实体、关系、实体)混合的形式组织,数据格式采用 csv 格式。 到目前为止,...
  • 通用知识图谱VS行业知识图谱

    万次阅读 2020-01-12 22:46:51
      众所周知,知识图谱是Google于2012年提出,用来优化搜索结果。经过多年的发展,知识图谱在人工智能的许多行业都拥有了成熟落地的应用。按照知识图谱的覆盖面来看,主要分为通用知识图谱与行业知识图谱。 This ...
  • 知识图谱PPT 事件抽取与金融事件图谱构建 1300+页 知识图谱PPT,同时包含事件抽取与金融事件图谱构建实例PPT
  • 知识图谱导论

    2018-05-14 18:16:13
    知识图谱 导论 知识图谱 导论 知识图谱 导论 知识图谱 导论 知识图谱 导论
  • android 知识图谱

    2018-03-26 21:38:07
    android 知识图谱 android 知识图谱 android 知识图谱 android 知识图谱
  • 架构师图谱

    2018-01-22 09:44:38
    架构师图谱架构师图谱架构师图谱架构师图谱架构师图谱架构师图谱
  • java技能图谱

    2017-09-08 16:10:28
    java技能图谱 java技能图谱 java技能图谱 java技能图谱 java技能图谱 java技能图谱 java技能图谱 java技能图谱 java技能图谱
  • 知识图谱:行业图谱实战

    万次阅读 2018-05-11 15:55:34
    关于知识图谱的概念,这里不加赘述,可以参考:知识图谱简介 下文会基于上市公司的基本数据,如:行业、地区、高管等,进行一个简单的实战。 二、构建步骤 1、数据抽取 上市公司的信息可以从很多地方获取...
  • 导读:最近一直在思考怎么用知识图谱做推荐,但是目前能知道的内容都是基于路径的推荐和基于图特征的推荐,所以能不能换一个角度,探究一下用知识图谱怎么做用户画像,因为画像也是推荐系统重要的一部分。...
  • 架构知识图谱

    2018-01-08 14:31:39
    架构师技术知识图谱,其中包括 后端开发图谱 运维技能图谱 移动端测试图谱 架构方法论图谱 Java架构师图谱 等多少技能;包含完整的图谱信息
  • 比如,对于知识图谱领域的学习,就要从对“关系提取”“词汇挖掘”“实体识别”等领域词汇的理解开始。一旦机器具备了领域词汇的识别能力,就可以代替人类从事一些简单的知识工作。可以说,对领域词汇的识别与理解是...
  • 1. 详细的知识图谱技术原理介绍 2. 文档的尾部附上30张精选的知识图谱连接 ,点击即可下载 . 3 . 得来整理不易 , 8分吧 .
  • 搜索引擎和知识图谱那些事 (上).基础篇

    万次阅读 多人点赞 2015-07-16 19:54:44
    这是一篇基础性文章,主要介绍搜索引擎和知识图谱的一些原理、发展经历和应用等知识。希望文章对你有所帮助~如果有错误或不足之处,还请海涵。(参考资料见后) 目录:一.搜索引擎 (一).搜索引擎的四个时代 (二).搜索...
  • 知识图谱介绍

    2017-12-27 14:44:55
    知识图谱的一篇简短介绍,知识图谱的一篇简短介绍,知识图谱的一篇简短介绍,知识图谱的一篇简短介绍
  • 本文章旨在用neo4j构建一个简单的金融领域的知识图谱,挖掘“高管—上市企业—行业/概念”之间的关系。关于具体的任务描述可下载我百度网盘的链接。链接:https://pan.baidu.com/s/12v0df74Y1kW0WHiJTvQZpQ 密码:q9...
  • 知识图谱讲义

    2018-09-25 23:31:16
    知识图谱和图数据是目前计算机学科相关研究中的热点,其具体研究涵盖知识图谱构建,知识图谱的存储和查询系统,面向知识图谱应用,以及大图数据的处理分析方法及系统等。知识图谱的研究之所以引起了众多研究者的关注...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,619
精华内容 7,447
关键字:

图谱