精华内容
下载资源
问答
  • 交流采样论文(转)

    千次阅读 2011-12-24 11:14:40
    近几年来,随着通信技术和计算机...根据采样信号的不同,采样方法可分为直流采样和交流采样。 直流采样是采集经过变送器整流后的直流量,然后由A/D转换器送入主机,此方法软件设计简单、计算方便,对采样值只需

    近几年来,随着通信技术和计算机技术的发展,通信电源监控系统开始进入实用阶段。监控系统的主要功能是对设备进行监测、控制,而数据采集又是实现这一功能的最重要和最基本的环节,尤其是如何准确快速地采集各个模拟量,一直是人们所关注的问题。根据采样信号的不同,采样方法可分为直流采样和交流采样。

    直流采样是采集经过变送器整流后的直流量,然后由A/D转换器送入主机,此方法软件设计简单、计算方便,对采样值只需作一次比例变换,即可得到被测量的数值,具有采样周期短的优点。因此,在监控系统发展初期,这一方法得到了广泛的应用。但直流采样方法存在着以下一些不足:(1)具有较大的时间延迟,难以及时反应被测量的突变,为了提高响应速度,变送器的时间常数必须特殊设计,因而不宜普遍使用;(2)变送器测量谐波有误差;(3)监控系统的测量精度直接受变送器的精确度和稳定性的影响。

    鉴于以上原因,近年来交流采样技术得到了迅速的发展。与直流采样相比,交流采样法具有实时性好,相位失真小,便于维护的优点。其原有的一些缺点,比如算法复杂、精度难以提高、对A/D转换速度要求较高等等,随着微机技术的发展,也逐步得到了弥补。从通信电源监控系统的发展趋势来看,交流采样法正在逐步代替直流采样。

    2  交流采样的算法

    算法是采样的核心问题之一,而衡量一个算法的优劣的标准主要是精度和速度。对于通信电源监控系统来说,需要监测的量较多,对算法的准确程度要求较高,对于速度一般只要求跟上系统的采样速度即可。因此,监控系统中的交流采样算法有着其特殊性,下面分别对监控系统中常用的几种交流采样算法加以探讨。

    2.1  均方根法

    近年来的许多研究和实践表明,均方根法是用于监控系统交流采样的一种较好的方法。其基本思想是依据周期连续函数的有效值定义,将连续函数离散化,从而得出电压、电流的表达式

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 (1)

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客  (2)

    式中:N为每个周期均匀采样的点数;

    ui为第i点的电压采样值;

    ii为第i点的电流采样值。

    由连续周期函数的功率定义可得离散表达式为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 (3)

    这种算法不仅对正弦波有效,当采样点数多时,还可较准确的测量波形畸变的交流量。但当采样点数太多时,运算时间会明显增长,使响应速度有所下降。

    2.2  递推最小二乘算法

    在通信电源的实际运行中,电网存在谐波,同时还会有各种瞬时干扰,如高频开关干扰等,因此在编制交流采样软件时,一般均需与某种滤波算法相配合,才能达到较准确的测量各种正弦与非正弦交流信号的目的。递推最小二乘法是近年来提出来的一种较新的算法,利用这种算法,可以有效的从受干扰污染的输入信号中估计基波电压或基波电流复数振幅的实部和虚部,利用它们对电压、电流的有效值进行计算,同时利用电压相角的变化可以计算出频率。

    假设无噪声的输入电压是角频率为w的正弦波电压,则

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客                (4)

    式中x1= 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 ;x2= 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客

    将(4)式用离散时间形式表示为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客

    =H(k)X(k)                             (5)

    于是,相应的递推最小二乘法的估计方程为:

    测量矩阵

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 ] (6)

    增益矩阵

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 (7)

    误差协方差矩阵

    P(k+1)=[I-k(k+1)H(k+1)]P(k)                             (8)

    递推矩阵的初始值可选为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客

    P(0)=C2I式中C2为一充分大的常数,通常取C2=104。

    在上述递推方程中,增益矩阵、误差协方差矩阵、与采样值无关,可事先求出,所以每次计算时实际上只需计算(6)式。

    由(6)式求出输入电压复数振幅的实部和虚部的估计值以后,将其变为有效值,分别用UR和UI表示,则输入电压的有效值为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客      (9)

    输入电流的有效值为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客      (10)

    2.3  人工神经网络算法

    近年来,人工神经网络技术在电力电子领域获得了蓬勃的发展,在许多方面取得了令人鼓舞的成果。文献[1]提出了一种基于人工神经网络的交流采样算法,大量的实践证明:这种算法准确度高,其特性与傅氏算法相当,同时又具有最小二乘法的某些优点,是一个较有前途的算法。

    人工神经网络算法的实质是一个对ADALINE神经网络的训练过程。设输入模式向量XK为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 (11)

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 其中 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 为采样周期, 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 为角频率。很明显每个采样时刻所对应的输入模式向量都是不同的。设初始权向量为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客      (12)

    设算法的数据窗长度为n个采样周期。每个采样时刻所对应的输入模式向量与改时刻的实际采样值就组成了一个训练对。n个采样周期就有n个训练对。这n个训练队就组成了ADALINE模型的训练集。其训练过程如下:利用第一个采样时刻所对应的输入模式向量和初始权向量按下式计算与第一个采样时刻所对应的模拟输出,

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客         (13)

    将该模拟输出与该时刻的实际采样值进行比较,得到与该时刻相对应的当前误差,进而利用下式对初始权向量进行修正;

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客      (14)

    然后利用第二个采样时刻所对应的输入模式相量和修正后的权向量按(13)式计算与第二个采样时刻所对应的模拟输出,将该模拟输出与第二个采样时刻的实际采样值进行比较,得到与该时刻相对应的当前误差,再利用(14)式对权向量进行第二次修正;以此类推,将训练集内各个训练对的输入模式向量相继作用与网络,对权矩阵进行迭代改进。当一个训练周期结束后,按下式计算这一周期的总误差平方和

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客            (15)

    然后利用这一周期最后得到的权向量调整值,重复进行新的一轮训练。直至前后两个训练周期得到的总误差平方和之差小于某允许值时(该值由所需准确度决定),结束迭代。当被采样的对象为电压信号时,则迭代收敛时的权值 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客和 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 即相当于递推最小二乘法中的UR和UI,则输入电压的有效值为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客      (16)

    当被采样的对象为电流信号时,则迭代收敛时的权值 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 和 交流采样论文(转) - 桃之夭夭 - yaochen_good的博客 即相当于递推最小二乘法中的IR和II,则输入电流的有效值为

    交流采样论文(转) - 桃之夭夭 - yaochen_good的博客      (17)

    3     结  论

    针对交流测量系统的实际情况,合理选择采样相关算法是提高通信电源监控系统准确度的重要环节。交流采样算法精度高、实时性好,随着微机技术的飞速发展和采样算法的深入研究,必将得到广泛的应用,从而大大提高通信电源监控系统的智能化和自动化水平。

    参考文献:

    [1]   金明.用于电力系统谐波分析的ANN算法[J].电网技术,1997,NO.5,PP64~66.

    [2]   史旺旺.交流采样中开平方算法的研究[J].电测与仪表,2000,NO.8,PP10~12.

    [3]   张艳萍,李益华.电力系统微机监控的交流采样算法研究[J].长沙电力学院学报,2000,NO.8,PP39~41

    [4]   YDN023—1996.通信电源和空调集中监控系统技术要求及通信协议[S]..

    作者简介:

    徐小杰  男,1978年生,空军工程大学电讯工程学院电力电子与电力传动专业硕士。主要研究方向位电力电子装备的智能检测与控制。

    侯振义  男,1952年生,空军工程大学电讯工程学院教授,主要从事通信电源领域的教学和科研工作

    展开全文
  • 其中N是从分布Q(我们自己定义的一个容易采样的分布)中采样的样本数,但是这种方法仍然需要计算 P ( w i ) P(w_i) ,而 P ( w i ) P(w_i) 的计算又需要softmax做归一化,这是我们不想看到的,所以要使用一种有偏估计...

    首先列出参考资料:

    1. word2vec Parameter Learning Explained
    2. Quick Training of Probabilistic Neural Nets by Importance Sampling
    3. On Using Very Large Target Vocabulary for Neural Machine Translation
    4. Adaptive importance sampling to accelerate training of a neural probabilistic language model. IEEE Transactions on Neural Networks
    5. Sebastian Ruder’s blog(博客很不错)

    主要是对重要性采样softmax的学习过程做一些笔记。
    在词向量训练、神经网络语言模型、神经网络机器翻译等任务中,softmax函数有如下形式:

    p(w|c)=exp(hvw)wiVexp(hvwi)=exp(hvw)Z(h)

    其中,h是导数层的输出,vwi是w对应的输出词向量(即softmax的权重矩阵,具体可参考(1)),V是词典,c是上下文。在神经网络语言模型中,一般会把c压缩为h
    sampling softmax解决了softmax分母部分计算量大的问题。

    如果损失函数采用交叉熵损失函数:

    H(q,p)=xq(x)logp(x)

    这里q是真是期望分布,例如q=[0,1,,0],p是模型输出分布,对应上面的softmax公式。
    对于一个样本,可得交叉熵损失函数(这里把模型的参数统称为θ)
    Jθ=logexp(hvw)wiVexp(hvwi)

    根据简单的
    logxy=logxlogy

    得到:
    Jθ=hvw+logwiVexp(hvwi)

    令:
    E(w)=hvw

    得到:
    Jθ=E(w)+logwiVexp(E(wi))

    θ求梯度得:

    θJθ=θE(w)+θlogwiVexp(E(wi))

    根据:
    xlogx=1x

    得:
    θJθ=θE(w)+1wiVexp(E(wi))θwiVexp(E(wi)

    θJθ=θE(w)+1wiVexp(E(wi))wiVθexp(E(wi))

    根据xexp(x)=exp(x),继续利用求导链式法则:
    θJθ=θE(w)+1wiVexp(E(wi))wiVexp(E(wi))θ(E(wi))

    θJθ=θE(w)+wiVexp(E(wi))wiVexp(E(wi))θ(E(wi))

    可以看到exp(E(wi))wiVexp(E(wi))就是softmax的输出,即wi的概率P(wi)
    于是得到如下:
    θJθ=θE(w)+wiVP(wi)θ(E(wi))

    最终得到:
    θJθ=θE(w)wiVP(wi)θE(wi)

    对于梯度公式的第二部分,可以认为是θE(wi)对于softmax输出P(wi)的期望,即:
    wiVP(wi)θE(wi)=EwiP[θE(wi)]

    这就是采样要优化的部分。
    根据传统的重要性采样方法,按照如下公式计算期望:
    EwiP[θE(wi)]1NwiQ(w)P(wi)Q(wi)θE(wi)

    其中N是从分布Q(我们自己定义的一个容易采样的分布)中采样的样本数,但是这种方法仍然需要计算P(wi),而P(wi)的计算又需要softmax做归一化,这是我们不想看到的,所以要使用一种有偏估计的方法。


    现在,让我们来观察Softmax公式(exp(E(wi))wiVexp(E(wi)))的分母部分:

    Z(h)=wiVexp(E(wi))=MwiV(1M)exp(E(wi))

    这样,我们可以把wiV(1M)exp(E(wi))看出是一种期望的形式,进而可以采用采样的方法得到Z(h)。现在我们还是取候选分布为Q。
    则:
    Z(h)=Z^(h)=MNwiQ(w)R^(wi)exp(E(wi))Q(wi)=MNwiQ(w)exp(E(wi))MQ(wi)

    上式中的R^(wi)代表概率1M,约去M可得:
    Z^(h)=1NwiQ(w)exp(E(wi))Q(wi)

    到这里,我们就可以用Z^(h)去近似Z(h)了。
    现在理一下思路:
    给定候选分布Q,传统采样方法需要计算P,也就是说需要计算分母Z,这是我们不想看到的。幸运的是分母Z仍然可以通过采样得到,采样Z的时候,仍然采用候选分布Q。

    现在继续计算θJθ中系数为负的部分,即期望部分。

    EwiP[θE(wi)]1NwiQ(w)P(wi)Q(wi)θE(wi)=1NwiQ(w)P^(wi)Q(wi)θE(wi)

    其中P^(wi)代表采样方式获得的概率:
    P^(wi)=exp(E(wi))Z^(h)

    可得:
    EwiP[θE(wi)]1NwiQ(w)exp(E(wi))Q(wi)Z^(h)θE(wi)

    现在我们就从Q分布中采样N个样本,组成集合J,最终得到:
    EwiP[θE(wi)]wjJexp(E(wj))θE(wj)/Q(wj)wjJexp(E(wj))/Q(wj)

    整体梯度为:

    θJθ=θE(w)wjJexp(E(wj))θE(wj)/Q(wj)wjJexp(E(wj))/Q(wj)

    下面给出算法步骤(来自Quick Training of Probabilistic Neural Nets by Importance Sampling):
    这里写图片描述

    OK,如果你正在使用tensorflow的Seq2Seq模型,并且正在阅读On Using Very Large Target Vocabulary for Neural Machine Translation,对于论文中的公式(10)和公式(11),本篇笔记可以给出大致思路的解释,有不完善或错误的地方,欢迎批评指正!

    展开全文
  • 借一篇论文了解重要性采样

    千次阅读 2014-01-03 19:11:16
    最近看了EMNLP2013上的一篇论文,Yang Y, Eisenstein J. A log-linear model for unsupervised text normalization[C]//Proc. of EMNLP. 2013.文中用序贯蒙特卡洛SMC or PF(Particle filter )的方法,利用序贯重要...

    最近在看EMNLP上的一篇文章,Yang Y, Eisenstein J. A log-linear model for unsupervised text normalization[C]//Proc. of EMNLP. 2013.提到了用重要性采样解决隐状态搜索空间很大,因而无法用动归训练的无指导问题。文章就英文的Text Normalization任务提出这个方法,我觉得和中文NLP一些任务看成序列标准问题面临同样的问题,因此对该文的方法略做了了解。因为对重要性采样不甚了解,这篇文章看了很久,看完后觉得受益颇多。下面是对其他博客和wikipedia的理解之上的个人理解,或有‘毁人不倦’ 之嫌。


    首先感谢两篇好文章:

    如何理解重要性采样

    说清楚重要性采样


    下面是我根据论文整理的PPT的链接,个人理解,如果错误,还要继续改正:http://download.csdn.net/detail/girlhpp/6805345


    总之,几句话重要性采样的关键在于:(摘自上面的ppt)

    •引入了重要性密度函数,它的分布也被称为 建议分布
    •P(x) 用一系列Q(x)采样的到的点 加权估计
    •(w_k ) ̃=(P(x_k))/(Q(x_k))
    •对Q(x)的要求:

      1.尽量好采样

      2.也尽量逼近P(x)

      The art of IS is Q(x)

    •最优重要性密度函数:使得w_^k 方差最小

    几句话总结序贯重要性采样SIS:
    SIS可以认为是IS的序列版本,建议重要性密度函数可以写成递推形式,所以sis的关键是设计递推表达式Q(t_n|t_n-1,s_n)
    •序贯蒙特卡洛对隐变量序列的进行采样
    •适用于序列标准,也有其他broaduse
    •在SMC中,每个样本是一个序列t_(1:n)^k
    •P(t|s)
    •直接采样是个非常非常高维的空间 不大可能采到
    •SequentialImportance SamplingSIS 在Q(x) 下用少样本Particles逼近真实分布
    •每一步每一个样本 都不断的更新wnk 以逼近px


    展开全文
  • 深度学习新的采样方式和损失函数--论文笔记论文《Sampling matters in deep embedding learning》论文地址:https://arxiv.org/pdf/1706.07567.pdf 该论文为2017年6月上传至arxiv。主要研究的是深度嵌入学习...

    深度学习新的采样方式和损失函数--论文笔记

    论文《Sampling matters in deep embedding learning》

    论文地址:arxiv.org/pdf/1706.0756

    该论文为2017年6月上传至arxiv。主要研究的是深度嵌入学习(deep embedding learning)中的采样问题和损失函数的问题。作者分析了contrastive loss和triplet loss,提出了一种新的采样方式(distance weighted sampling)和一种新的loss function(margin based loss)。证明了训练模型时,数据的采样方式和loss function的形式对结果有着同样重要的影响。实验证明,该工作提出的方法在多个数据集上都能够得到最好的效果。

    在机器学习领域,对loss function的研究已经有很多了,loss function的好坏,直接影响到模型的训练结果。作者在本文中只讨论深度嵌入学习,可以简单理解为基于深度模型的学习,之所以叫嵌入学习(embedding learning)是因为该类模型的核心思想是:建立一个嵌入空间,在该空间中,相似的样本距离近,不相似的样本距离远。

    传统loss function

    设f(xi)为嵌入空间中的数据点,我们的目标是使得嵌入空间中相似的点距离近,不相似的点距离远。设两样本的欧氏距离为:

    D_{ij}=||f(x_{i})-f(x_{j})|| 对于正样本对,有yij=1,对于负样本对,则有yij=0。

    Contrastive loss

    其目标函数如下:

    该loss的问题在于,它需要定义一个固定的a,这其实就默认了所有每类样本的分布都相同,这其实是一个很强的假设。

    Triplet loss

    其目标函数如下:

    它使得正负例样本之间的距离尽可能接近于a,这就不管数据的分布了。它能够补足contrastive loss的缺点,使得嵌入空间可以任意扭曲。作者总结称,triplet loss超越constrative loss的原因有两个:1)constrative loss有一个固定的a,而triplet loss能够灵活适应各种空间形状,一定程度上能够抵御噪声的影响;2)triplet loss只要求正例与正例的距离小于正例与负例的距离即可,而constrative loss则还要尽量使所有的正例集中在一起,而这点是不必要的。

    对于contrastive loss来说,使用hard negative mining的方法,能够使得模型收敛得更快;然而,如果使用的是triplet loss,hard negative mining很可能会模型坍塌。这里所说的hard negative mining是指:对于某些任务,比如人脸检测,直接进行采样,训练出的模型效果不会太好,因为模型可能会检测出很多假正例;因此,可以取置信度很高的为正例的真负例,与正例一起训练,这些负例就被称为hard negative mining。对于模型坍塌的问题,可以这样解释,设一个anchor样本a,负例样本n,如果对负例样本f(xn)求梯度,可得:

    其中

    Hard negative样本通常离anchor的距离较小,即han较小,这时如果有噪声,那么这种采样方式就很容易受到噪声的影响,从而造成训练时的模型坍塌。

    由于模型坍塌的问题,FaceNet[1]提出了一种semi-hard negative mining的方法:给定一个anchor样本a,一个正例样本p,对于负例的采样,使用以下公式:

    这样采样出来的负例,不至于过于hard。

    Distance Weighted sampling

    在现实状态下,如果同类样本是均匀分布在其各自的簇中的,如果我们对所有的样本进行两两采样,计算其距离,最终得到的点对距离分布(distribution of pairwise distances)有着如下关系:

    而且,最佳的采样状态是对于分散均匀的负样本,进行均匀地采样。具体证明,可以参考论文[2]。因此,作者提出了一种新的采样方法Distance weighted sampling。给定一个anchor样本a,负例样本的选择方法如下:

    如图1所示,为各种采样方法在一个模拟数据集上的结果,纵轴为数据梯度的方差。从图中可以看出,hard negative mining方法采样的样本都处于高方差的区域,如果数据集中有噪声的话,采样很容易受到噪声的影响,从而导致模型坍塌。随机采样的样本容易集中在低方差的区域,从而使得loss很小,但此时模型实际上并没有训练好。Semi-hard negative mining采样的范围很小,这很可能导致模型在很早的时候就收敛,loss下降很慢,但实际上此时模型也还没训练好;而本文提出的方法,能够实现在整个数据集上均匀采样。

    图1 各种采样结果在模拟数据集上的采样结果

    Margin based loss

    如图2所示,为不同loss function取不同样本时损失的曲线图。可以根据constractive loss和triplet loss的公式,来理解2a和2b。这里主要观察2b,如果采样的时候采的都是hard negative 样本,即Dan的值很小,从图中可以看出,负例的梯度会非常小(也可以对目标函数进行求导,得出相同的结论),此时就会导致模型坍塌。一个简单的改进方法就是,将triplet loss中的二次项换成一次项,这时目标函数的导数固定为1,能够解决梯度消失的问题,这里其实可以类比深度学习中应用广泛的RELU激活函数。

    图2 loss vs pairwise distance

    作者提出了一个新的目标函数Margin based loss,这个函数设计的目标是:1)能像triplet loss一样灵活;2)能够自适应不同的数据分布;3)能够像contrastive loss一样计算高效。

    首先,定义一个自适应的margin:

    我们称anchor样本与正例样本之间的距离为正例对距离;称anchor样本与负例样本之间的距离为负例对距离。公式中的参数beta定义了正例对距离与负例对距离之间的界限,如果正例对距离Dij大于beta,则损失加大;或者负例对距离Dij小于beta,损失加大。A控制样本的分离间隔;当样本为正例对时,yij为1,样本为负例对时,yij为-1。如图2d所示,为该目标函数的损失曲线图,与2a比较,它放松了对正例的约束。将其与2c比较,在有损失的地方,它们的导数都是1,具有良好的性质,且2d的形状不受限于数据集本身,而只与a和beta有关。

    为了实现像triplet loss一样的灵活性,可以将beta设置为与样本有关的值:

    其中, beta(class)称为样本偏置, beta(img)称为类别偏置。这里需要注意,第一个beta(0)是人工定义的初始值,利用梯度下降,不断调整beta(class)和beta(img)的值(就如同调整神经网络的参数)以在训练集上达到最优,这时能够得到最优的beta(class)和beta(img)(每个类一个beta(class),每个样本一个beta(img))。在调整beta的值的时候,可以对其整体求导

    用来指导beta值的调整。从公式可以看出,beta的值似乎越大越好,其值越大,负例离anchor点的距离也就越大,不容易受到噪声的影响(上文已经提到了具体细节)。为了对beta进行规划化,需要给它一个限制,作者引入了一个超参数v,并定义:

    这个v参数能够调整margin两边,违反margin数据点的数量,具体原理可见[3]中的v-trick。

    实验结果

    数据集:Stanford Online Products, CARS196, CUB200-2011, CASIA-WebFace, LFW.

    实验:图片检索和图片聚类(Stanford Online Products, CARS196, CUB200-2011),人脸验证(CASIA-WebFace, LFW)。

    模型:ResNet-50[4]

    初始化参数:beta(0)=1.2,beta(class)=0,beta(img)=0.

    首先,在Stanford Online Products数据集上进行实验,来测试不同loss function和采样方式对结果的影响,ResNet-50模型从头开始训练。结果如表1所示,在semi-hard采样方法中,constrastive loss和triplet loss的性能类似,而如果使用随机采样,constrastive loss的性能要差很多(triplet loss不能随机采样),这其实反证了一个结论:triplet loss的性能不仅仅来自于其自身的函数结构,也与采样方式有很大的关系。


    Distance weighted采样方法对于除了constrastive loss之外的所有loss function都有加强的效果。作者称该采样方法在constrastive loss上结果差的原因是它对于超参数特别敏感,无法找到一个合适的参数。

    作者也实验了pre-trained的模型效果,提升了大概10%的效果。

    由于pre-trained模型效果更好,因此接下来的时候均使用该模型。如图3所示,为图片搜索的结果,可以看到本文基于margin的方法要优于triplet loss方法。

    图3 图片搜索结果

    作者还对比了固定的beta和本文灵活的beta对结果的影响。由表2的结果可知,灵活的beta对于结果的确是有提升的。注意,这里作者只说了beta(class),得到了更好的效果,他也试验了beta(img),但结果很不稳定,很有可能是过拟合的原因。因此,在实验的时候,可以只考虑beta(class),去除beta(img)。

    如图4所示,作者对loss function的稳定性进行了实验,将batch中图片的数量分为改为2和10,有结果可知,本文基于margin的方法要比triplet loss方法稳定很多。

    图4 Margin loss和triplet loss稳定性对比

    如图5所示,是对收敛速度的实验,其中本文算法收敛最快且效果最好,triplet loss其次,contrastive loss就要差很多了。

    图5 不同loss的收敛速度对比

    本文还与目前最好的图片搜索和聚类方法进行了比较,结果如表3、4、5所示,可以看到本文算法效果最好。


    表6是人脸验证的结果,本文算法accuracy结果依然最好。

    总结

    本文主要对contrastive loss、triplet loss目标函数和各种采样策略进行了分析,结合分析结果,提出了一种新的采样方式distance weighted sampling和一种新的损失函数margin-based loss。这两种方法能够显著提高模型各方面的性能,取得了在多个数据集上至今最好的结果。有一点吐槽一下,文章的题目只提到“sampling matters”,但实际上文章的算法共两个部分:采样和损失函数。这样取名字仅仅是因为目前该领域损失函数的工作太多,采样的工作太少么?

    参考文献

    [1]Facenet: A unified embedding for face recognition and clustering.(CVPR2015)

    [2]The sphere game in n dimensions. faculty.madisoncollege.edu. Accessed: 2017-02-22.

    [3]New support vector algorithms. Neural computation, 2000.

    [4]Deep residual learning for image recognition.(CVPR 2016)


    展开全文
  • 这几天看了一篇将关于采样,过采样,欠采样,子采样,下采样 的文章,写的挺好的,直接给出链接,文章比较长不贴过来了。 http://blog.sina.com.cn/s/blog_4b146a9c0100sg57.html 简单的说 过采样采样...
  • 随机采样和随机模拟:吉布斯采样Gibbs Sampling

    万次阅读 多人点赞 2016-05-12 00:24:21
    吉布斯采样算法详解 为什么要用吉布斯采样 什么是sampling? sampling就是以一定的概率分布,看发生什么事件。举一个例子。甲只能E:吃饭、学习、打球,时间T:上午、下午、晚上,天气W:晴朗、刮风、下雨。现在要...
  • 论文笔记整理:杨海宏,浙江大学博士生,研究方向为开放世界下的多语言知识问答。 1. 简介受显存的因素限制,应用图神经网络于大规模图学习任务上面临“邻居爆炸(Neighbor...
  • 本文提出了一种称为PU-GAN 的新点云上采样网络,该网络是基于生成对抗网络(GAN)制定的,旨在从潜在空间中学习丰富的点分布并在对象表面的子块上对点进行上采样。为了实现可运行的GAN网络,我们在生成器中构造了一...
  • 图像处理——上采样和下采样

    万次阅读 2016-11-22 15:34:55
    最近看一篇图像去雾的论文,看到算法中使用了图像的下采样和上采样,就去了解了一下。上下采样的评判标准为看重(chong)采样时的采样频率与第一次采样将连续信号变为离散信号时的采样频率相比的大小,若小于第一次的...
  • 今天看了篇中文的硕士论文,完全把下采样和欠采样搞混了,哎,有些论文确实存在概念不清的情况,这里笔者就详细区分一下各个名称的概念。 文章目录1. 上采样&下采样2.过采样&欠采样3.信号领域 1. 上采样&...
  • 采样和下采样

    千次阅读 2018-05-20 22:27:53
    采样是subsampled降采样downsampled就是缩小图像上采样是upsampling或图像插值interpolating就是放大图像英文不是pooling,我搞错了。mark一下,之后会梳理一下关系。今天完成了迁移学习,然而论文还没写完。。。...
  • 论文地址:CUSBoost: Cluster-based Under-sampling with Boosting for Imbalanced ClassificationAbstract普通的机器学习方法,对于非平衡数据分类,总是倾向于最大化占比多的类别的分类准确率,而把占比少的类别...
  • 论文题目:Adaptive Sampling Towards Fast Graph Representation Learning 作者:来自Tencent AI Lab的Wenbing Huang, Tong Zhang, Yu Rong, Junzhou Huang 时间:2018 来源:NIPS 论文链接:...
  • 子图采样总结

    2020-08-22 23:36:34
    子图采样总结1、按层采样的方法(FastGCN & AS-GCN) 1、按层采样的方法(FastGCN &...论文中对每个顶点(独立同分布,有放回地均匀采样)的概率采用1/tl1/t_{l}1/tl​ 论文中完整的算法描述如下 ...
  • 采样方法

    千次阅读 2018-05-28 16:19:26
    原地址:https://blog.csdn.net/u011332699/article/details/74298555引子最近开始拾起来看一些NLP相关的东西,特别是深度学习在...恰好想到最开始深度学习在DBN的时候采样也发挥了关键的作用,而自己对采样相关的...
  • 带权采样——word2vec负采样中的原理

    千次阅读 2019-04-13 22:23:32
    遇到了带权采样的问题,一搜发现其实就是Word2vec中负采样所用到的方法,平时论文看的还是不够仔细啊。。 原文地址http://www.imooc.com/article/41635 Negative Sampling        在负采样...
  • 采样

    千次阅读 2019-03-02 22:08:05
    参考: https://www.imooc.com/article/29453 https://blog.csdn.net/itplus/article/details/37998797 (这个博客里有很多关于word2vec论文的细节,很值得阅读)
  • 最近在看到一篇论文中用到了transposed convolution,并出现了upsampling等概念,表示很迷。那么什么是upsampling ? 1. 下采样和上采样的基本概念 下采样: 对卷积得到的压缩特征图进行进一步压缩。实际上就是卷...
  • )前几天刚好做了个图像语义分割的汇报,把最近看的论文和一些想法讲了一下。所以今天就把它总结成文章啦,方便大家一起讨论讨论。本文只是展示了一些比较经典和自己觉得比较不错的结构,毕竟这方面还是有挺多的结构...
  • 采样

    2008-10-09 11:09:00
    采样的经典论文: Splitting the unit delay: tools for fractional delay filter design 了解了各种方法,具体问题还需要深入 这个问题可以用于音频,视频,通信等很多领域
  • 带通采样定理

    2021-03-17 10:09:21
    为什么要用带通采样定理呢?按理说,奈奎斯特采样定理不是通吃一切吗?话虽如此,奈奎斯特说,只要采样率不小于信号最高频率的2倍,采样后的信号就能能够准确恢复。 可事实上,有很多行不通的地方,并不是说理论行...
  • 采样方法

    千次阅读 2019-04-02 10:02:31
    搜上采样的文章,看到了这篇,虽然现在自己还用不太到,但是觉得挺好的,万一哪天就用着了,所以果断转载啦~这里附上原创...缩小图像(或称为下采样(subsampling)或降采样(downsampling))的主要目的有两个:...
  • CAN采样

    千次阅读 2019-07-11 09:09:53
    熟悉CAN总线的朋友应该都知道,CAN通信...而单采样点一般位于相位缓冲段1之后,采样点顾名思义,从名字就可以看出,是读取总线电平,并解释各位的值的一个时间点,采样点对CAN总线来说也非常重要,尤其在组网的时候...
  • 蒙特卡罗方法采样算法

    万次阅读 多人点赞 2018-03-21 10:00:58
    蒙特卡罗方法采样算法  蒙特卡罗方法(Monte Carlo Simulation)是一种随机模拟(或者统计模拟)方法。  给定统计样本集,如何估计产生这个样本集的随机变量概率密度函数,是我们比较熟悉的概率密度估计问题。 求解...
  • 随机采样方法研究综述

    千次阅读 2017-06-12 11:00:53
    鉴于深度学习在学术界和工业界的重要性,向对目前有代表性的深度学习数据随机采样算法进行归纳和总结,综述了不同类型随机采样算法的基本思想和方法。首先介绍了深度学习和随机采样的概念;然后根据深度学习算法的...
  • 带通采样定理简单记录

    万次阅读 多人点赞 2018-08-23 11:44:13
    转眼间,半年过去了,这次为了看论文而再次回顾带通采样定理时,发现,接受就好,也看了推导,反而觉得麻烦。 下面简单的记录下带通采样定理,这个知识点,当你用的时候,你就不会认为它生涩难懂,因为比它难懂的...
  • 采样方法(一)

    万次阅读 多人点赞 2017-04-30 08:46:18
    本篇文章先主要介绍一下经典的采样方法如Inverse Sampling、Rejective Sampling以及Importance Sampling和它在NLP上的应用,后面还会有一篇来尝试介绍MCMC这一组狂炫酷拽的算法。才疏学浅,行文若有误望指正。
  • 随机采样方法

    千次阅读 2016-08-04 16:35:40
    Metropolis的这篇论文被收录在《统计学中的重大突破》中, Metropolis算法也被遴选为二十世纪的十个最重要的算法之一。 7、MCMC——Metropolis-Hasting算法 我们接下来介绍的MCMC 算法是 Metropolis 算法的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 59,153
精华内容 23,661
关键字:

关于采样的论文