精华内容
下载资源
问答
  • PCNN

    2019-10-04 00:01:30
    Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks 1. 关键字 关系抽取,远程监督 2. 摘要 本文提出了PCNNs,用来解决远程监督关系抽取中的两个问题:一个是在对齐知识图谱...

    Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks

    1. 关键字

    关系抽取远程监督

    2. 摘要

    本文提出了PCNNs,用来解决远程监督关系抽取中的两个问题:一个是在对齐知识图谱时的错误标注问题,一个是使用NLP工具提取特征时的错误传播问题。对于前者,方法是将对齐问题转化为多实例学习问题,从而将实例标签的不确定性纳入了考虑范围;对于后者,采用成对的最大池化层来自动学习相关的特征。

    3. 问题

    错误标注问题

    用远程监督的方法来做关系抽取,需要一个知识图谱来启发式地对齐文本,如果对齐失败,就会出现错误标注的问题。

    在关系抽取领域,由于监督方法将关系抽取看作一个多分类问题,所以有一个难点就是如何在已知关系的前提下生成训练样本。Mintz等人提出一个假设,如果在知识图谱中两个实体存在某种特定关系,那么所有包含这两个实体的句子都表达出了这种关系。这个假设有效地为任一关系生成了大量训练样本。但是,很明显,这个假设是有问题的,如果句子中存在“乔布斯”和“苹果”这两个实体,该句子既可能表达出“创始人”这一关系,还可以表达出“离开”这一关系。这就是错误标注问题。

    错误传播问题

    从监督数据中抽取特征用的都是NLP工具,工具本身不可避免的错误会导致错误传播和累积。一般情况下,关系抽取的语料都是来自于网络,句子长度也都超过40,McDonald证明,句法分析的准确率会随着句子加长而显著降低。所以,错误传播不仅存在,而且会变得严重。

    4. 方法论

    为了解决错误标注问题,Riedil等人针对多实例学习提出了一个松弛的远程监督假设。在多实例学习中,训练集由一些包(bag)组成,并且每个包中又包含了一些实例(instance)。这些包的标签是已知的,但是包中实例的标签是未知的。多实例学习将实例标签的不确定性纳入了考虑范围,从而聚焦于对包的区分。

    为了解决错误传播问题,本文扩展了Zeng等人的方法,由于单个最大池化层将急剧减少隐藏层的尺寸,所以用来捕获细粒度特征过于粗糙,并且也不足以捕获到两个实体之间的结构化信息,本文在单个最大池化层的基础上提出成对最大池化层

    5. 模型结构

    1573022-20190928232353551-1287769849.png

    向量表示

    词向量通过look up预训练词向量得到,同时,使用了位置特征来指定实体对,该特征同样被转化为向量。

    • 词嵌入:使用skip-gram模型来训练词向量
    • 位置嵌入:位置特征被定义为句子中当前词到实体\(e_1\)\(e_2\)的距离

    每个句子的长度为\(s\),每个词的词向量维度为\(d_w\),加上两个位置特征\(2*d_p\),于是一个词向量的维度就为\(d_w+2*d_p\).

    卷积

    由于是给整个句子预测关系,所以需要使用所有局部特征并且做一个全局预测,卷积就是一个很好地合并所有特征的方法。

    一个句子的维度是\(s*d\),其中\(d\)是词向量的维度。卷积和的尺寸为\(w*d\),当剩下长度不足\(w\)的时候,填充0,于是卷积结果的长度为\(s+w-1\).

    当然,为了捕捉到不同的特征,将使用n个卷积核,于是卷积结果为\(c=\{c_1, c_2, ..., c_n\}\)\(c\)的维度为\(n*(s+w-1)\).

    成对最大池化

    为了捕获到两个实体间的结构化信息,一般的方法都考虑实体的内部上下文外部上下文,其中内部上下文包含了两个实体里面的字,外部上下文则是两个实体周围的字。

    于是,根据句子中给定的两个实体的位置将句子划分为三段,这样每个过滤器卷积的结果就被分为三个部分:\(\{c_{i1}, c_{i2}, c_{i3}\}\),然后分别在这三段上分别取最大值。于是,最终最大池化的向量长度是固定的,为过滤器数量的三倍。

    softmax输出

    最后经过softmax并输出,需要注意的是,训练是由dropout层的,但是测试的时候就不需要了。

    转载于:https://www.cnblogs.com/flyangovoyang/p/11604446.html

    展开全文
  • PCNN去噪

    2013-04-30 15:49:48
    PCNN 去噪
  • pcnn图像融合代码matlab 脉冲耦合神经网络 PCNN_large_arrange此工具箱包含Matlab文件,这些文件实现了基于脉冲耦合神经网络(PCNN)的图像融合算法。 您可以从以下网站下载此代码:如果使用该代码,请引用以下论文...
  • pcnn人脸识别

    2018-12-09 14:43:24
    pcnn人脸识别,python,matlab实现人脸识别代码。
  • pcnn图像去噪

    2018-11-26 14:58:48
    pcnn图像去噪MATLAB程序,有图像有结果,需要的可以下载
  • PCNN实践

    2019-12-30 14:04:20
    学习了这份代码, 但我出了bug没有跑起来 PCNN的原理省略. 代码遵循PCNN论文中的结构, 以80维词向量, 230个通道的卷积

    学习了这份代码, 但我出了bug没有跑起来

    PCNN的原理省略. 这个模型希望通过已知实体的上中下三部分的文本环境, 基于环境判断关系是否存在.
    使用CNN我猜是因为textCNN的影响. textCNN可以无视输入句子尺寸地进行训练, 依靠max pooling和卷积层强大的信息提取能力, 保证训练结果. PCNN需要同样的机制.

    PCNN+ATT

    主要是想总结一下attention的使用.
    关系抽取方面, 因为数据过于难搞, 所以大多用多示例学习+远程监督的方式, 即搜罗很多包含a和b的句子, 然后假定这些句子里必有一个表示a和b关系的句子, 就把这些句子打个包, 给这个包标上a和b的关系.
    PCNN+ONE是在训练过程中通过最大熵的计算, 获得那个最有可能存在关系的句子, 只做这个句子的输出.
    PCNN+ATT认为ONE的处理太硬性, 其实其他的句子也可能包含一些能学到的东西, 所以利用attention做一个输出与标签之间的相似度, 相似度归一化后用它来决定每个句子的输出信息保留多少. 这里的attention用xAr, 其中x就是每个句子的输出特征矩阵, r是标签矩阵, A是转移矩阵. 如果这里用xr, 那就是PCNN+ONE. 因为对一个包来说只有一个关系标签, 所以r就是个零一矩阵, 只有对应的关系上是1. 也就相当于Ar是在选择A的某一个向量, 也就相当于A是所有关系在高维空间上的映射.

    这一点很重要

    接上文, 如果A是标签的映射, 那xA就必然是特征经转移矩阵到关系空间的路径, xAr可以计算相似度, 那xA+b就肯定能得到对应的关系标签. 所以这个A既作为attention的矩阵, 又作为预测关系的W.

    代码: mask机制

    此mask与bert中的训练词向量的mask不同, 它只是一个计算时的小trick. 这个trick来源于openNRE的PCNN实现.
    PCNN要对三部分矩阵分别进行max pooling, 那就要在pooling之前把卷积结果分割, 再求pooling.
    mask是这样做的. 为方便我就以实例来说明:
    有一个句子, 一共5个词, 所以它某个核卷积后的结果是[3,4,7,1,5]. 正常方法是分割成[3,4],[7,1],[5], 然后逐段做pooling得到[4,7,5].
    而mask将这个矩阵变成这样:
    [[103, 3, 3],
    [104, 4, 4]
    [7, 107, 7]
    [1, 101, 1]
    [5, 5, 105]]
    另: mask矩阵是这样
    [[100, 0, 0],
    [100, 0, 0],
    [0, 100, 0],
    [0, 100, 0],
    [0, 0, 100]]
    可以看到, 第一个矩阵是[3,4,7,1,5]T^T+第二个矩阵的结果, 这个预先处理的mask矩阵可以把一句话的三部分有效地摘出来, 只要在列向量上求max. 对其求max后获得[104, 17, 105], 同时减去100, 结果为[4,7,5], 和普通的pooling操作结果一致, 空间占用*3, 但由于不用逐个句子切割所以pooling速度大大加快.

    展开全文
  • PCNN toolbox

    2009-10-27 17:23:54
    这是关于PCNN的代码,用于图像融合的PCNN有很大的用场
  • PCNN图像增强MATLAB

    2018-11-26 14:56:07
    PCNN图像增强的MATLAB程序,学习图像处理和深度学习的同学很有帮助
  • PCNN图像分割matlab

    2018-09-06 15:01:03
    用于镂空工件如螺母的PCNN图像分割,使用MATLAB编程实现
  • PCNN边缘检测

    2015-05-07 22:12:37
    图像处理PCNN研究在边缘检测方面进行进的MATLAB程序
  • pcnn边缘提取程序

    2018-11-26 15:00:24
    本文件为PCNN的边缘提取程序,需要的可以下载,对学习图像处理的很有帮助
  • pcnn图像增强

    2015-01-12 10:06:35
    pcnn图像增强,脉冲偶和神经网络增强图像纹理
  • 基于PCNN的叶子识别

    2021-03-16 23:21:35
    基于PCNN的叶子识别
  • PCNN的周期特性分析

    2021-03-13 08:02:28
    PCNN的周期特性分析
  • PCNN图像分割

    2015-02-25 12:38:09
    PCNNPCNN-Pulse Coupled Neural Network), 也即脉冲耦合神经网络。与传统神经网络相比,有着根本的不同。PCNN有生物学的背景,它是依据猫、猴等动物的大脑皮层上的同步脉冲发放现象提出的。PCNN有着广泛的应用,...
  • PCNN分割算法

    2014-05-21 17:48:49
    图像处理中,PCNN分割算法,有图像,效果不错,值得借鉴!
  • pcnn图像压缩资料

    2016-10-30 10:04:45
    脉冲神经网络,第三代神经网络,pcnn图像压缩资料
  • PCNN TOOLBOX

    2009-01-02 21:58:20
    里面包含我用PCNN进行图像融合的程序,欢迎讨论.http://quxiaobo.go.8866.org http://quxiaobo.blog.edu.cn
  • 基于PCNN的特征提取,

    2018-04-24 11:07:45
    PCNN用于特征提取时,具体平移、旋转、尺度、扭曲等不变性,这正是许多年来基于内容的图像检索系统追求的目标,同时PCNN用于特征提取时,有很好的抗噪性。而且PCNN直接来自于哺乳动物视觉皮层神经的研究,具有提取...
  • pcnn分割 matlab代码

    2013-10-05 16:09:10
    pcnn分割 matlab代码 利用matlab实现pcnn分割程序代码
  • PCNN图像增强

    2013-01-23 13:44:27
    名称:PCNN灰度图像增强 功能:对图像进行增强处理,使之轮廓、纹理清楚,细节清晰
  • PCNN模型优化

    2012-12-05 11:20:27
    介绍PCNN模型,并对其进行优化,最后将其应用于车辆图像的分割中。
  • 在MATLAB软件中利用PCNN实现图像分割
  • 本文从PCNN模型的迭代方程出发,对无耦合连接和耦合连接两种状态下的PCNN数学模型进行了点火机理分析,揭示了PCNN模型本身的数学耦合特性(点火阶梯)以及其对网络生物学特性(脉冲发放特性)会造成干扰和影响的现象,并...
  • 本文通过简要介绍脉冲耦合神经网络(PCNN)的发展及其应用,简要介绍了PCNN在国内外的主要研究领域和应用领域。 本文的结构是:首先简要地系统地介绍了PCNN的起源,模型和特点,然后对PCNN的理论发展和应用研究进行...
  • 为了减少人脸图像中姿势、表情和光照等因素对人脸识别的影响,引用了一种基于脉冲发放强度的脉冲耦合神经网络(PCNN,pulse coupled neural network)的人脸特征提取方法。不同人脸图像具有不同的灰度特征,将人脸图像...
  • 双通道pcnn图像融合程序

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 885
精华内容 354
关键字:

PCNN