互联网时代，人类在与自然和社会的交互中生产了异常庞大的数据，这些数据中包含了大量描述自然界和人类社会客观规律有用信息。如何将这些信息有效组织起来，进行结构化的存储，就是知识图谱的内容。

知识图谱的难点在于知识图谱的搭建，如何高效、高质量、快速的搭建知识图谱是知识图谱工程的核心。今天我们介绍如何进行知识抽取。

作者&编辑 | 小Dream哥

 

1  什么是知识抽取

前面我们说了，知识表示和知识体系是知识图谱这门绝世武功的内功和心法；那么今天讲的知识抽取，就是知识图谱这门绝世武功的招式了。

那么什么是知识抽取呢？前面我们介绍了，知识表示以及知识体系，即从架构层面确定了知识图谱中将包含哪些知识，知识的种类，以及不同属性之间知识的关系。知识抽取，则是根据知识体系从结构或者非结构数据中抽取相应知识的过程。

还是举“周杰伦”的例子，我们确定了如下的schema：



然后，假如我有一些音乐网站的歌手及歌曲相关的数据，也有互联网上一些娱乐新闻的数据。知识抽取的过程，就是根据schema，在上述语料中抽取相应的实体和他们之间关系的过程。例如，抽取到了“周杰伦”这个“音乐人”实体，抽取到了“菊花台”这首歌曲，二者关系为“创作”。通过在大量语料中进行“扫荡”，知识图谱中形成了关于“周杰伦”的如下的知识网络：



总的来说，知识抽取的过程，就是从语料中抽取出来结构化的知识，然后填到知识体系所定义的框架中的过程，也就是抽取一个又一个三元组（e1,r,e2）的过程。知识抽取主要分为实体抽取、关系抽取和事件抽取。这里主要先介绍实体抽取和关系抽取。

 

2 实体抽取及关系抽取

1）实体抽取

实体抽取我们在前面的文章中有详细的介绍，感兴趣或者不了解的同学可以先看看下面的文章：

【NLP-NER】什么是命名实体识别？

【NLP-NER】命名实体识别中最常用的两种深度学习模型

【NLP-NER】如何使用BERT来做命名实体识别

【NLP实战系列】Tensorflow命名实体识别实战

知识图谱中的实体抽取也没有太大的差别，对于结构化数据来说，获取实体相对较轻松。如果是非结构化数据，通常就需要先语料标注，再利用有监督的方法进行实体识别。但是，语料标注是一个非常耗时费力的过程，一种被称为实体扩展的方法就被提出来，用于非结构数据中的实体抽取。

所谓实体扩展，就是根据精心挑选的一些“种子实体”，在语料中挑出与这些实体同一类别的其他实体。

那么，实体扩展通常怎么去实现呢？聪明的小伙伴会马上想到，通常同类实体在语料中会处于类似的语义类别中，例如，“周杰伦创作了七里香这首歌”，“林俊杰写了江南”，总结起来，歌曲实体通常会出现在，“音乐人创作了***”，“歌手唱了**”之类的模板中。这是一种最基本的实体扩展的办法，基于模板的实体扩展。如上所述，基于模板的实体扩展，就是假定目标实体与种子实体同属于某个语义类，则他们的上下文均符合特定的模板，通过总结这些模板，在语料中抽取同类的实体。

基于模板的实体抽取，需要总结模板，能够抽取到的实体数目有限。另外一种应用比较广泛的方法是基于统计的实体扩展。

基于统计的实体扩展可以认为是一个聚类的过程，他认为所有的实体都应该是名词或者名词短语，基于统计的实体扩展首先找出语料中所有的实体，然后计算找出的实体与种子实体之间的相似度并进行分类。基于统计的实体扩展，效果非常依赖语料的规模和质量。通常，会结合上述两种方式来进行实体扩展。

2）关系抽取

所谓关系抽取，就是从语料中抽取实体之间的关系。在知识体系的框架中，我们定义了大量的概念属性以及概念之间的关系，关系抽取就是从语料中抽取这些关系的实例的过程。

例如“周杰伦出生于台湾省新北市，祖籍福建省永春县”，从中可以抽取到<周杰伦，出生地，台湾省新北市>，<周杰伦，祖籍，福建省永春县>两个三元组，这里包含两个关系，“出生地”以及“祖籍”。

目前，知识图谱中的关系抽取一般都是基于知识体系的框架的限定域的关系抽取，通常采用有监督或者弱监督的方式进行。

对于有监督的方式，就是一个有监督的多分类问题，这里先不做详细的讲述。有监督的关系抽取需要大量依赖人工标注数据，想想就明白，这是一个非常耗时费力的过程。因而，知识图谱中，弱监督的关系抽取方法正吸引越来越多的研究。

弱监督的关系抽取，通常是基于一个小型的知识图谱或者少量的结构化数据，利用距离监督的方法，让知识图谱自动标注训练样本。感兴趣的同学，可以自行深入研究，这里先不做具体的介绍。

先抽取出实体，再抽取出实体之间的关系，构成三元组，这是早期的研究中采用的办法。但是实体抽取的过程势必会存在误差，这种误差会传递到关系抽取的任务中。因而，近来越来越多的工作都将二者的抽取放到一个统一的任务中去，并且取得了不错的效果。

总结

知识图谱是人工智能技术最重要的基础设施，是计算机能够实现推理、预测等类似人类思考能力的关键。在知识图谱中，知识抽取，包括实体抽取以及关系抽取，是构建知识图谱最重要也是最关键的一步。目前，知识抽取效果比较好的还是有监督的方法，但是弱监督的方法更具有实际意义，近来，也吸引了越来越多的关注。

下期预告：知识图谱中知识的存储和检索

侵权必究







往期精选


	
【完结】 12篇文章带你完全进入NLP领域，掌握核心技术
	
	

	
【NLP-词向量】词向量的由来及本质
	
	

	
【NLP-词向量】从模型结构到损失函数详解word2vec
	
	

	
【NLP-NER】什么是命名实体识别？
	
	

	
【NLP-NER】命名实体识别中最常用的两种深度学习模型
	
	

	
【NLP-NER】如何使用BERT来做命名实体识别
	
	

	
【NLP-ChatBot】我们熟悉的聊天机器人都有哪几类？
	
	

	
【NLP-ChatBot】搜索引擎的最终形态之问答系统（FAQ）详述
	
	

	
【NLP-ChatBot】能干活的聊天机器人-对话系统概述
	
	

	
【知识图谱】人工智能技术最重要基础设施之一，知识图谱你该学习的东西
	
	

	
【知识图谱】知识表示：知识图谱如何表示结构化的知识？
	
	

	
【知识图谱】如何构建知识体系：知识图谱搭建的第一步
	
	

	
【NLP实战】tensorflow词向量训练实战
	
	

	
【NLP实战系列】朴素贝叶斯文本分类实战
	
	

	
【NLP实战系列】Tensorflow命名实体识别实战
	
	

	
【NLP实战】如何基于Tensorflow搭建一个聊天机器人
	
	

	
【NLP实战】基于ALBERT的文本相似度计算
	
	

	
【每周NLP论文推荐】从预训练模型掌握NLP的基本发展脉络
	
	

	
【每周NLP论文推荐】 NLP中命名实体识别从机器学习到深度学习的代表性研究
	
	

	
【每周NLP论文推荐】 介绍语义匹配中的经典文章
	
	

	
【每周NLP论文推荐】 对话管理中的标志性论文介绍
	
	

	
【每周NLP论文推荐】 开发聊天机器人必读的重要论文
	
	

	
【每周NLP论文推荐】 掌握实体关系抽取必读的文章
	
	

	
【每周NLP论文推荐】 生成式聊天机器人论文介绍
	
	

	
【每周NLP论文推荐】 知识图谱重要论文介绍
	

独立磁盘冗余阵列(Redundant Arrays of Independent Disks，RAID)，是把相同的数据分块存储在多块磁盘的解决方案，其基本作用就是把多个相同容量的硬盘组合起来，使其成为一个同时具备大容量和快速读写特性的硬盘组，RAID把多个磁盘组合成一个逻辑分区，PC将多个硬盘组成的RAID当成一个逻辑单元。实际上，RAID是一种虚拟化技术，它将多个物理磁盘驱动器虚拟成一个大容量的逻辑驱动器，RAID内部由控制器或者程序来管理存储工作，管理员只需管理单个虚拟驱动器，而无需分别管理每块硬盘，RAID 可以动态增减磁盘驱动器，可自动进行数据校验和数据重建，大大简化了硬盘管理的工作。不同版本的RAID比单块硬盘有以下几点好处：
增强数据集成度
增强容错率
增加容量和读写速度
但需要注意的是，RAID只对顺序读写速度有提升，也就是日常移动文件和传输数据，而对系统响应，应用加载和游戏加载没有太大帮助，因为这些主要取决于4K随机读写和硬盘响应速度(寻道时间)，由于机械硬盘的物理结构缺陷，响应速度无论如何都达不到固态硬盘的水平，所以RAID一般用于服务器和NAS上，但如果你有两块相同的硬盘，组一个RAID提升读写也不妨。下面是性能对比，图片来源于互联网(杀人书警告)
SSD，单块硬盘，RAID0对比
如图
磁盘阵列大家族
RAID根据数据处理和存储方式的不同可以分为多种级别，如上图所示，下面来简单介绍比较常用的几个RAID级别
RAID0
RAID0亦称stripe，一般用作提速和扩容，它在所有版本中存储性能最高，而稳定性最低，和RAID1是两个极端，它的优点也是它的缺点：把连续的数据分散到多个磁盘上存取，处理数据时多个物理磁盘并行工作，每块磁盘负责存储一部分数据，从而充分利用总线(Bus)带宽，增加读写速度，但这样也导致任何一块磁盘失效，所有的数据都会丢失，安全性最低。实现RAID0至少需要两块硬盘，RAID0的总容量是所有单硬盘容量的总和，读写速度为单块硬盘速度X组成RAID的硬盘数，随机和持续读写都比单块硬盘要好。总的来说，RAID0的读写速度最快，硬盘利用率最高，如果对数据安全没有过度要求(RAID0一时爽)，可以考虑装机时买几块硬盘和RAID卡组一个RAID0来加快数据传输的速度。
RAID0示意
RAID1
RAID1通过两组以上的N个磁盘互作镜像，一般用于数据安全要求高的服务器或主机，RAID 1的每一个磁盘都具有一个对应的镜像盘，任何时候数据都同步镜像，系统可以从一组镜像盘中的任何一个磁盘读取数据。因此RAID1的容错率和稳定性最高，只要有任何一块物理磁盘完好，数据就不会丢失，具有很高的数据冗余能力，但是相应的成本也会更高。实现RAID1需要的磁盘数最少为2块，无论几块硬盘组成RAID1，可使用的容量都为单块硬盘的容量，如果硬盘容量不相同，则组成raid1后虚拟磁盘的容量为几块硬盘中容量最小的硬盘的容量，由于数据写入时需要写入多块硬盘并做比较，所以写入速度较慢，同时，如果两块硬盘的速度不同的话，那么速度较快的那块硬盘依然会停下来等待速度较慢的那块硬盘完成任务之后再进行下一步行动。总的来说，RAID1的数据安全程度最高，但可用容量最低，仅为单块硬盘的容量，如果对数据安全有极致的要求，可以使用RAID1。
RAID1示意
RAID10(RAID0+1)
RAID10其实是RAID0和RAID1的组合，至少需要4块硬盘，将任意N块(N最好为2的倍数，否则会造成浪费)硬盘组成RAID1，这几块组成RAID1的硬盘又可以看成一块大容量硬盘，再将两个或多个组成RAID1的硬盘组组一个RAID0，这样既保证了速度，又保证了安全，并且只有在其中一个硬盘组的数据完全损坏的情况下，才会丢失数据。
RAID10示意
RAID5
RAID5是RAID0和RAID1的折中方案，RAID5在RAID0的基础上增加了奇偶校验信息，把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上，并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上，也就是说有相当于一块磁盘容量的空间用于存储奇偶校验信息，且当一块硬盘损坏时，系统能根据存储的校验信息恢复损坏的数据，但最大只能损坏一块硬盘，写入数据时数据会分成几部分分别写入到组成RAID的硬盘中，同时生成并写入奇偶校验信息，还能在损坏的硬盘被更换后根据其它硬盘上的校验信息恢复损坏硬盘上的数据，从而保证可靠性。组成RAID5的硬盘至少需要3块，RAID5可用的磁盘容量为N-1个单块硬盘的容量，N为组成RAID5硬盘的数量，读写速度为N-1个单块硬盘最大读写速度。总的来说，RAID5就好像RAID0的升级版，用一块硬盘的代价换来了更快的读写和较高的可靠性，以及更大的容量，如果你不希望数据丢失，又想要更快的读写和更大的容量，那么可以选择RAID5。
RAID5示意
RAID6
RAID6在RAID5的基础上，增加了一位校验信息，也就是增加了一个奇偶校验块，它比RAID5的可靠性更高一些，同时存储校验信息的硬盘也从一块增加到了两块，相应的，组成RAID6的硬盘也从至少3块增加到了至少四块，读写速度为N-2个单块硬盘最大读写，可用容量为N-2个单块硬盘容量，最大容错为2块，也就是两块硬盘同时坏掉，根据统计学原理，这件事发生的概率为两块硬盘损坏概率相乘，大大增加了稳定性。
RAID6示意
RAID0,1,5,6,10涵盖了大部分日常使用场景，RAID2,3,4就不多作介绍，感兴趣的可以自行百度。
下面来了解一下如何实现RAID
RAID有两种实现方式：硬件磁盘阵列(硬RAID)，软件磁盘阵列(软RAID)
硬件磁盘阵列
硬RAID：全部通过硬件来实现RAID功能的磁盘阵列，分为基于主机和基于阵列的硬件RAID
基于主机的硬RAID一般是将RAID控制器集成在主板上(一般是南桥)，优点是不必占用PCIe槽，更方便管理，成本也更低，但缺点是会占用CPU资源，而且会增加南桥芯片和Bus负载，速度方面也不如自带CPU和缓存的阵列卡。
基于阵列的硬RAID就是我们通常所说的阵列卡，阵列卡上集成了RAID控制器，高速缓存，CPU等，能很好地独立处理大量读写需求而不占用系统的资源，有的阵列卡还自带电池，以保障数据安全。阵列卡根据协议不同，有IDE阵列卡，SAS阵列卡，SATA阵列卡和SCSI阵列卡，IDE性能过于低下，已经被时代淘汰，比较常见的是SATA阵列卡，它主要用于大容量的数据存储领域，家用NAS，网吧等地方都能见到它的身影，但性能不及SCSI(Small Computer System Interface，小型计算机接口)和SAS(Serial Attached SCSI，串行连接SCSI接口)阵列卡，SAS是并行SCSI接口之后开发出的全新接口，是新一代的SCSI接口，采用并行接口时，传输数据和信号的总线是复用的，传输速率会受到一定限制。如若提高传输速率，那么传输的数据和信号往往会产生干扰，导致错误。在这种情况下，串行接口技术就产生了，SATA(Serial AT Attachment，串行ATA接口)和SAS都是串行接口技术应用的例子，SATA可以看做是SAS的一个子集，SAS性能更好，扯远了，SAS阵列卡主要用于数据中心和有高性能稳定RAID解决方案需要的场所，比如高端工作站或服务器，SCSI可以看做是SAS的前辈，目前已经基本淘汰。
SATA阵列卡
软件磁盘阵列
软RAID使用基于主机和操作系统的软件来提供RAID功能，这样就使得软RAID几乎不需要成本，你只需要安装好软件和硬盘，用鼠标点一点就能实现RAID功能(Windows的软RAID只要打开自带的磁盘管理并进行相关操作即可，具体请自行百度或者等我下一篇教程XD)，但相应的，由于没有独立的CPU和缓存，软RAID要占用主机的一部分资源，且需要CPU来进行RAID运算，会影响系统的整体性能，且只支持有限的RAID级别，数据的安全性完全不如硬RAID，软RAID 与主机操作系统绑定，因此，需要对软RAID或操作系统升级进行兼容性验证，只有当RAID 软件和操作系统兼容时，才能进行升级。一般不推荐使用软RAID，怕麻烦(其实装系统更麻烦)或者想试试水，尝个鲜的盒友可以试试。
这只是个图例，我并没有做软RAID
天上不会掉馅饼，一分钱一分货的道理对任何消费者都适用，不要指望几块便宜的机械硬盘能跟SSD打，RAID也只是人们为了提升效率找到的一种解决方案(奇技淫巧XD)，在摩尔定律的驱使下，未来的大容量SSD一定会更加便宜高速，也肯定会出现新技术解决机械硬盘响应速度慢等问题，我们需要做的，就是等(等等党究极胜利！)，还有，准备好自己的钱包。
码文不易，各位爸爸点个关注吧，秋梨膏！ 

这几天在网上各个论坛都会看到这样一句话，“2021知识付费火了”，确实，在疫情的影响下，很多人的生活都过的比较艰难，每月拿着工资，可是口袋还是空空的。互联网遍地黄金，是最容易发生奇迹的地方。2021年知识付费无疑是一个咸鱼翻身的项目，那什么是知识付费?简单来说就是生产有价值的内容，让有需求的人为之付费，知识付费项目就是一种“卖服务”，创造知识，打造课程，出售给有需要学习的人，我现在就在做这样的一个项目，首先资源整合，然后搭建一个网站，对接好服务号和支付功能就可以正式运营了。

一、普通人怎么通过知识付费变现？
市场上目前做知识付费主要分为两种流派，一种是打造自我IP，入驻平台付费专栏(头条知乎、喜马拉雅，创客匠人等等)，这种必须要有专业知识，自身本领要过硬，好处就是可以享受平台带来的流量。不过入门门槛较高。第二种种玩法就做资源整合，自己运营一个知识付费平台，把网络大咖的培训教程和引流资料等课程整合到我的平台里，通过销售会员来获取利益，这是其中会员玩法，还有代理的玩法，平台加入了二级分销，这样可以使平台快速裂变。
二、知识付费市场怎么样？
目前，在互联网上两个行业最热门，一个是短视频，一个是知识付费，大平台都在做知识付费，如果没有市场的话，这些巨头会砸重金进场吗?而通过知识付费赚钱的人，更是不计其数，这一切说明，知识付费，是当下热门的风口项目，雷布斯说过“站在风口上，猪都会飞”，回想以前你错过了13年14年的电商，微商，18年抖音，如果在不抓住当下知识付费这个风口咸鱼翻身，下一个风口不知何时才会到来?
三、知识付费项目具体怎么操作？
1.准备材料
(1) 首先域名服务器。
(2) 个体户营业执照，注册服务号，认证服务号后开通支付功能。
(3) 搭建平台对接微信支付。
以上所需我们一条龙搞定。

上架课程

课程无需担忧，平台搭建好后可实现同步更新，一般一周更新一次。

引流

推广

在互联网上创业，流量才是最重要。有一句话叫“流量是一切生意的本质”，流量也是决定项目能否做成功的关键，引流方法有很多，短视频平台，贴吧，自媒体等等都是流量的聚集地，一般普通人只有一部手机一台电脑。没有多设备没有好的方法引流前期没有效果就沉不住气放弃了。我们有一套正在实操的方法，短视频和文章。很多人不好意思拍短视频，也不会写文章。不用想的太复杂，短视频无需出镜，文章更简单，傻瓜式的方法10分钟出一篇文章，多平台连续发文10多天就能在浏览器霸屏。


4. 用户运营
运营靠什么?靠的是信任和利益，你想做长久生意，你就需要打造好自己的IP和人设，得到用户的信任。还有一步就是二级分销的利益问题，也就是招募代理商，代理商帮你推广你能给到代理商多少利益，分配得当就没啥问题了。假如你下面有100个代理商为你推广，你就是每天什么都不干一个月照样可以月入过万。

如果你真的想在今年翻身，知识付费是最好的选择，但切记认准一个项目就坚持下去，不要朝三暮四。很多人一会短视频、一会社交电商，到最后什么钱都没赚到，还浪费了大把时间。认准了，努力干上三个月，你一定有所收获。

在网上有看到很多不同版本对于舆情意思的解释，不同的解释版本对于网络舆情意思的定义都有所不同，那么，面对多样化的解释，到底什么是舆情，网络舆情是什么意思？接下来，小编将针对这些问题进行分析，帮助大家深入理解。
一、舆情的意思是什么？
舆情的意思不难理解，其实就是指的公众对某一事件的意见和态度，也可以是对社会各类组织领导者的看法、意见。所以，可以将舆情直观地理解为社会公众的看法、观点和意见的信息。
二、什么是网络舆情？
网络舆情跟舆情的意思差别在于其是网民们对互联网上一些热点事件、流行问题等发表的看法。主要是由互联网作为媒介进行传播，可以理解它就是网民们对某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点。
三、大数据监测怎么做？
一些无法用常规的搜索查询工具进行收集的数据信息，需要借助专业的大数据舆情监测系统进行监测。
系统可对微信、贴吧、论坛、新闻网站、客户端、主流门户网站、网络媒体等平台自动24小时监测，并挖掘聚合与其相关的有效数据，确保能够实时获取到最新的有效数据信息。另外，若想要获取到与自身相关的数据信息，也可以自行定义监测主题，系统只针对其设定的目标或语义进行数据监测和分析。
除此之外，大数据时代，信息的传播动态变化极快。若无法准确及时预测舆情走势，则极易导致舆情愈演愈烈，进而演变成全网热点舆情。因此，为了能够实时了解网络舆情的变化动态，在进行大数据监测时，还需对重点信息的传播动态变化进行实时追踪分析，便于其能够随时了解信息的发展趋势，及时采取应对措施。