摘要
本文接着 知识图谱系列––命名实体识别方法[1],继续介绍关系抽取方法。知识图谱在构建的过程中，往往伴随着边试用，边拓展，边优化的过程，其中图谱拓展和优化就必须用到关系抽取方法来进一步抽取补充实体关系。本文介绍一篇ACL2016的论文方法：基于attention的CNN网络进行关系抽取。
1 文章及算法介绍[2]
标题：Neural Relation Extraction with Selective Attention over Instances  ACL2016
作者：Yankai Lin , Shiqi Shen , Zhiyuan Liu , Huanbo Luan , Maosong Sun
（1）动机及思路
针对以往distant supervision场景下的关系抽取中所存在的误标签传播所引起的训练数据噪声过大的问题，作者提出了一种在关系语句层面上引入Attention机制以提升模型效果。
（2）网络设计及方法
文章是2016年的，整体网络结构如图1现在来看没有太多特殊性，采用的是CNN模型来表征句子，主要通过图1中的α   句子级(sentence-level )的attention操作来凸显实体语义表征。图中
等表示的是两个实体对对应的训练句子集合，
表示的是句子
经过 CNN 编码池化后的向量，
表示的是训练句子的权重。总体框架流程： CNN 编码后得到句子向量
，再通过计算
与关系
向量的相似度来赋予
在整个句子集合中的权重。
文本编码及表示过程如图2所示，值得一提的是在当时作者就已经加入了position embedding，并且也可先行使用word2vec进行字符/词表示提升embedding表征效果。
试验结果
文中所给试验结果显示模型效果显著优于其他方法，文中所述是达到了当时的SOTA水平。
参考文献debuluoyi：知识图谱系列––命名实体识别方法（2）​zhuanlan.zhihu.com
[2] Lin, Y., Shen, S., Liu, Z., Luan, H., & Sun, M. (2016, August). Neural relation extraction with selective attention over instances. InProceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)(pp. 2124-2133).
[3] Wu, S., & He, Y. (2019). Enriching Pre-trained Language Model with Entity Information for Relation Classification.arXiv preprint arXiv:1905.08284.github.com/debuluoyi​github.com卞书青：Neural Relation Extraction with Selective Attention over Instances阅读笔记​zhuanlan.zhihu.com

本发明涉及信息处理领域，特别涉及图像目标检测以及知识图谱中的关系抽取算法。
背景技术：
图像目标检测目的是在于检测图像中包含的所有物体，基本做法是将图像划分区域后再对每个区域进行图像分类。
知识图谱中的一个关键技术就是关系抽取算法。目前主要使用神经网络来解决关系抽取问题，将词向量和位置向量进行联合训练。然而目前已有的关系抽取全部是应用于文字信息中，本发明通过融合知识图谱与图像特征的信息，解决图文知识图谱的关系抽取问题。
技术实现要素：
为了解决现有的技术问题，本发明提供了一种适用图文知识图谱的关系抽取技术方案。方案如下：
步骤一，我们将图像输入物体检测系统得到物体集合以及视觉短语特征。
步骤二，我们使用视觉短语系统得到图像所含物体关系的视觉短语。
步骤三，我们使用翻译嵌入系统得到图像语义特征，通过计算向量预测出关系。
步骤四，通过融合视觉短语系统以及翻译嵌入系统的输出得到图像中关系的最终预测。
附图说明
图1是本发明提供的图文知识图谱关系抽取的网络结构图。
具体实施方式
接下来将对本发明的实施方法作更详细的描述。
图1是本发明提供的图文知识图谱关系抽取的系统结构图，其中包括：
步骤S1：物体检测系统得到图像中的物体集合以及视觉短语特征。
步骤S2：视觉短语系统得到图像视觉特征。
步骤S3：翻译嵌入系统得到图像语义特征。
步骤S4：融合视觉短语系统以及翻译嵌入系统的输出，使用分类器得到图像中的对象关系。
下面将对每个步骤进行具体的说明：
步骤S1：输入图像进入物体检测系统得到图像中检测到的所有物体集合以及视觉短语特征I。
物体检测系统中我们使用VGG-16为底座的Faster-RCNN网络来提取图片中的物体。图像首先经过神经卷积网络得到特征图，然后经过RPN(region proposal network)网络得到感兴趣的区域，将各个区域图像进行分类，通过统计得到对可能的物体分类从而得到图像中包含的所有物体。将物体经过神经网络的特征输出作为视觉短语特征，得到下一级的输入。
步骤S2：输入物体集合中的实体s和o以及视觉短语特征I，经过视觉短语系统得到包含实体关系的图像视觉特征。使用预先对文本学习到的下先验知识，将输入的实体s和o向量化，并和从图片中提取的特征I映射到关系空间后串联，计算后输出视觉短语系统的关系得分。
在视觉短语系统中，我们使用文本信息来帮助模型从图像中找到应该注意的物体。我们使用视觉短语来提供更完备的关系信息，视觉短语中包含两个物体的共同特征。我们通过计算两个实体名称词向量word2vec来帮助寻找两个物体之间的相互关系。视觉短语的得分定义为：
Sp,s,o＝δ(Up(word2vec(o)⊙word2vec(s)+UII))
其中δ是激活函数，s和o为检测出的两个实体名称，Up和UI是词向量和视觉特征的映射矩阵，I表示物体检测模块提供的视觉短语特征。
步骤S3：输入物体集合中的实体s和o以及视觉短语特征I，经过翻译嵌入系统得到图像语义特征。
在翻译嵌入系统中，我们将知识表示中的TransR引入视觉领。我们使用h，r和t分别表示实体，关系和客体。在视觉关系抽取中，我们从图片中抽取特征实体的特征xo,xs,系统会学习一个关系向量的表示r以及映射矩阵Us,Uo。我们将图像特征转换后的实体定义为：
h＝δ(Usxs⊙word2vec(s)),t＝δ(Uoxo⊙word2vec(o))
输入物体检测系统的输出实体s，将其向量化后与图片中抽取的特征映射串联得到实体h。
对于每个关系r我们设置一个独立的映射矩阵Mr，通过映射矩阵将实体向量映射到关系空间之中。在r的关系空间中，我们将实体定义为：
hr,s＝hMr,tr,o＝tMr
图像中的实体视觉特征经过量化并映射到相应的关系空间，通过计算h和t的差值即约等于关系向量，从而预测出实体的关系。有关得分函数定义为：
Sr,s,o＝r(hr,s-tr,o)
步骤S4：输入视觉短语系统的输出Sp,s,o和翻译嵌入系统的的输出Sr,s,o，经过分类器得到最终的关系预测Sr,p。
融合视觉短语系统以及翻译嵌入系统的输出，也就是使用分类器预测关系的概率。分类器的输出就是关系预测的最终得分。我们定义预测关系的得分为：
Sr,p＝softmax(W(Sr,s,o+Sp,s,o))
以上结合附图对所提出的图文知识图谱中的关系抽取系统的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现，但前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本发明各个实施例所述的方法。依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

知识图谱（ Knowledge Graph）以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。上述一大段是我从2018知识图谱发展报告中copy下来的一段话，用普通人能听懂的人话来描述:知识图谱就是把去发现世间万物的之间的联系。 在技术上就是将数据以一个一个的的三元组形式存储起来。
不知道大家有没有这样一种感受，如果你在某一领域的学习了解到很多的知识碎片，却无法将他们关联起来，这些知识碎片并不会加深你对这一领域的认知。而如果你能将他们联系起来，串联成一张知识网，那很有可能你就是这个领域决定的专家。因为你的脑中有这个领域的知识网，你就能知道这个领域的边界在哪。知识图谱就是要将知识串联起来，形成一张知识网。
知识图谱的应用场景：
知识图谱主要分为两类：
通用知识图谱和领域知识图谱。通用知识图谱主要需要知识的广度，而领域知识图谱需要知识具有深度。
通用知识图谱最普遍的应用场景就是：搜索引擎，
领域知识图谱的应用场景则比较丰富多样：司法，医疗，金融，电商等各行各业都可以构建属于自己行业的知识图谱，而这些知识图谱可以用于智能问答，辅助决策，风险规避等。
当然以上只是知识图谱被应用最多的场景，还有一些很有潜力的应用场景，比如将知识图谱和深度学习结合等。知识图谱这个新的，年轻的概念还等着大家去探索更多的应用可能性。
知识图谱的构建简介
这里笔者就不没有考虑业务逻辑，也不考虑构建过程中一下细节技术，直接讲一个简单粗暴版的构建流程。
实体抽取，实体链接（两个实体同一个含义需要规整），目前最主流的算法就是CNN+LSTM+CRF进行实体识别。
实体之间，关系抽取，拿到知识图谱最小单元三元组，比较经典算法的就是Piece-Wise-CNN,和 LSTM+ Attention 。
知识存储，一般采用图数据库（neo4j等）。
但是要注意的是，知识图谱一定要最先定义好构建它是用来干什么，目标业务导向，定义好符合业务逻辑schema层才是最最重要的。有了schema之后接下来的任务就是实体抽取和关系抽取啰，其中关系抽取是把知识点串联成一张知识网的重要过程，所以这里笔者着重介绍一下最近在知识图谱领域很火的有监督的关系抽取任务的一个模型PCNN。
关系抽取之PCNN（Piece-Wise-CNN）
这里笔者仔细解释一下有监督的关系抽取的任务的数据样式，任务形式，以及PCNN（Piece-Wise-CNN）的思想和tensorflow实现。
关系抽取数据：
    data.png
input : 句子 Steve Jobs was the co-founder of Apple Inc和两个entities Steve Jobs 和 Apple Inc。
out： 实体之间关系 ： /business/company/founder
所以我们可以将其抽象成一个分类问题，输入句子和实体信息，然后让模型分出这两个实体之间的关系属于哪一类。
PCNN
下图清晰了显示了PCNN的整个网络架构，原文链接在这里，下面我对着下图介绍一下PCNN的实现过程：
数据预处理：首先对数据进行位置编码，按句子中各个词离entity的距离进行编码。
例如：“As we known，Steve Jobs was the co-founder of Apple Inc which is a great company in America.”
由于句子中有两个entity，所以这条句子就会产生两个和句子长度相同的编码。
pos_1:[-4,-3,-2,-1,0,1,2,3……] ,其中0就是Steve Jobs的位置。
pos_2:[-9,-8,-7,-6,-5,-4,-3,-2,-1,0,1,2,3……] 其中0就是Apple Inc的位置。
切分句子：其中最主要的就是将一条文本数据在两个entity处各切一刀将文本且成了3段。
比如 As we known，Steve Jobs was the co-founder of Apple Inc which is a great company in America，将被切成：
As we known，Steve Jobs
Steve Jobs was the co-founder of Apple Inc
Apple Inc which is a great company in America.
注意，位置向量也同样进行了切分操作。
特征提取：将位置特征和文本特征拼接之后，然后将上面三个数据分别通过CNN 提取特征，
关系分类：提取出来的特征通过maxpooling层之后进行拼接后送入softmax层，最终得到relation的分类。
    pcnn.png   
从上面PCNN的流程我们可以发现，这个网络结构很注重entitiy之间的距离信息，位置信息，以及entitiy之间或者左右的信息。其实这些都是是关系抽取中最重要的特征。
一般来说两个entitiy之间距离越近，则他们有关系的可能性越大。
而透露出entities之间有关系的词一般会出现在两个entity之间，左侧，或者右侧。
例如：Steve Jobs was the co-founder of Apple Inc ， 关系词 co-founder就在两个entity之间
tensorflow 代码实现
由于之前对PCNN的整个流程有了比较详细的解释，这里笔者只是简单的介绍一下代码构成。
下方这一步是已经将文本向量和位置向量进行了切分，由于文本被两个entity分成了左，中，右三段，再这三段加上各自的两个位置向量。所以网络一共有9个输入，加上关系label输出，一共需要定义10个placeholder。
import tensorflow as tf
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '1'
tf.reset_default_graph()
word_ids_left = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
word_ids_mid = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
word_ids_right = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
pos_l_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_l_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_m_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_m_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
label = tf.placeholder(dtype=tf.int32,shape=[None,n_class])
下方代码这是PCNN的实现，其中Piece_Wise_CNN函数是对PCNN的实现。
def get_sentence_emb(word_ids,pos_1,pos_2):
pos_emb_l1 = tf.keras.layers.Embedding(input_dim=498,output_dim=10,input_length=100)(pos_l_1)
pos_emb_l2 = tf.keras.layers.Embedding(input_dim=498,output_dim=10,input_length=100)(pos_l_2)
return tf.concat([word_ids,pos_emb_l1,pos_emb_l2],2)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
def Piece_Wise_CNN(left_emb,mid_emb,right_emb,feature_map,n_class):
left = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(left_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
left = tf.keras.layers.GlobalMaxPool1D()(left)#[batch_size,feature_map]
mid = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(mid_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
mid = tf.keras.layers.GlobalMaxPool1D()(mid)#[batch_size,feature_map]
right = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(right_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
right = tf.keras.layers.GlobalMaxPool1D()(right)#[batch_size,feature_map]
final_feature = tf.concat([left,mid,right],1)#[batch_size,3*feature_map]
out = tf.keras.layers.Dense(n_class,activation="softmax")(final_feature)  #[batch_size,n_class]
return out
def train_op(out,label,lr):
losses = tf.nn.softmax_cross_entropy_with_logits_v2(
logits=out, labels=label)
loss = tf.reduce_mean(losses)
train_op = tf.train.GradientDescentOptimizer(learning_rate=lr).minimize(loss)
return train_op,loss
这里是定义train_op部分。
left_emb = get_sentence_emb(word_ids_left,pos_l_1,pos_l_2)
mid_emb = get_sentence_emb(word_ids_mid,pos_m_1,pos_m_2)
right_emb = get_sentence_emb(word_ids_right,pos_r_1,pos_r_2)
out = Piece_Wise_CNN(left_emb,mid_emb,right_emb,20,n_class)
train_op,loss = train_op(out,label,lr = 0.01)
结语
这里笔者主要是想通过PCNN这个经典的关系抽取网络说明：其实有监督的关系抽取任务的关键是需要神经网络理解两个entity之间的语义连结，所以，而如何利用好句子中entity周围的词语的语义信息和entity之间的位置信息，可能是解决这类任务的关键。笔者在之前的文章中多次强调过自然语言处理最终目标还是希望算法能够理解语义。像PCNN这个网络则提出了切分句子，集中注意力关注句子提供关键信息的部分(自己的理解)，也许是一个好的方向。

摘要
本文接着 知识图谱系列——关系抽取（1）[1]，继续介绍一个2019年新出的非常好的方法R-BERT[2] 。该方法使用预训练模型 BERT 到句子级别关系抽取任务上，取得了很好地效果。其主要贡献在于率先将 BERT 用在了关系抽取任务上, 探索了实体和实体位置在大型预训练模型中的结合方式，也证实了可以通过在实体前后加标识符得方式表明实体位置强化表征, 代替传统位置向量得做法，实际工业实践效果良好。
1 算法原理
关于BERT的原理可以参见google BERT源码和文章说明[3-4], 如图1所示，文章所展示的图非常明显的把方法思路展示出来：
(1) 使用BERT进行句子embedding表征；
(2) 标记entity位置，取出实体embedding向量序列；
(3)取出[cls]的embedding表示整个句子的意思 并连接全连接层，对实体向量序列取平均值 big分别连接全连接层；
(4)将三个向量进行拼接，再连接全连接层，而后进行softmax并输出结果。图1
2 实践小结
（1）数据预处理
假设输入的句子为: "中华民族是一个伟大的民族", 在送入 BERT 之前进行标记实体的预处理如下。第一个实体得前后添加 $ 符号，第二个实体前后添加 # 符号: "$中华民族$是一个伟大的#民族#。"
两个实体前后添加特殊符号的目的是标识两个实体, 让模型能够知道这两个词的特殊性,相当于显性指出两个实体的位置，告诉模型：这个词比较特殊要注意。
（2）参数设置参考
（2）效果
文中作者在 SemEval-2010 Task 8 dataset 上做了实验, 实验证明 R-BERT 比其他的模型如attention-CNN，entity attention bi-lstm 等效果都要好很多.。
除此之外,作者的实验结果还支持以下结果:不加实体标志且不使用实体embedding，只是用句子embedding，F1效果只有81.09%；
不显性标志实体前后的标识符会使 F1 效果从 89.25% 降至 87.98%. 说明标识符确实可以显著帮助模型提供实体信息；
在 BERT 输出层仅取出 [CLS ]获取句子向量而不利用实体向量会使得F1 效果降至 87.98%, 说明显性使用实体信息对模型是有显著效果的，这个很容易理解。
另外，本人实践工业数据效果远比此前模型高，其中不光是因为BERT这种预训练模型表达能力强的关系，显性标记实体这个操作既简单，效果又倍儿棒。
【知识图谱系列——关系抽取就介绍这两篇吧，毕竟2019年出来的新论文方法效果已经很好了，工业应用还是以实用为主嘛。下节开始介绍 知识图谱系列——实体链接技术】
参考文献
[1] 知识图谱系列——关系抽取（1）:debuluoyi：知识图谱系列——关系抽取（1）​zhuanlan.zhihu.com
[2] Wu, S., & He, Y. (2019). Enriching Pre-trained Language Model with Entity Information for Relation Classification.arXiv preprint arXiv:1905.08284.Enriching Pre-trained Language Model with Entity Information for Relation Classification​arxiv.orggoogle-research/bert​github.com
[4] Devlin, J. , Chang, M. W. , Lee, K. , & Toutanova, K. . (2018). Bert: pre-training of deep bidirectional transformers for language understanding.github.com/debuluoyi​github.com