精华内容
下载资源
问答
  • 采样计算与期望

    2019-11-02 15:31:35
    连续型随机变量的期望 p(x)p(x)p(x)为随机变量X随机变量X随机变量X的概率密度函数。 E[X]=∫xp(x)dx(1)\tag{1} E[X] = \int xp(x)dxE[X]=∫xp(x)dx(1) 离散型随机变量的期望 X的分布律为p(X=xi)=piX的分布律为p(X = ...
    连续型随机变量的期望

    p ( x ) p(x) p(x) 随 机 变 量 X 随机变量X X的概率密度函数。
    E [ X ] = ∫ x p ( x ) d x (1) \tag{1} E[X] = \int xp(x)dx E[X]=xp(x)dx(1)

    离散型随机变量的期望

    X 的 分 布 律 为 p ( X = x i ) = p i X的分布律为p(X = x_{i}) = p_{i} Xp(X=xi)=pi
    E [ X ] = ∑ i x i p i (2) \tag{2} E[X] = \sum_{i} x_{i}p_{i} E[X]=ixipi(2)

    对于(1)式,如果我们从其定义域中选取若干个点 x 0 , x 1 , , , , x n x_{0}, x_{1}, ,,,x_{n} x0,x1,,,,xn,满足 x i < x i + 1 x_{i} < x_{i+1} xi<xi+1,且 x i + 1 − x i x_{i+1}-x_{i} xi+1xi的值足够小,那么我们可以用 ( x i + 1 − x i ) 来 近 似 代 替 d x (x_{i+1}-x_{i})来近似代替dx (xi+1xi)dx,即
    E [ X ] ≈ ∑ i = 0 n − 1 x i p ( x i ) ( x i + 1 − x i ) (3) \tag{3}E[X] \approx \sum_{i=0}^{n-1}x_{i}p(x_{i})(x_{i+1}-x_{i}) E[X]i=0n1xip(xi)(xi+1xi)(3)

    值得注意的是,在机器学习中,模型的方程中很多都是多变量的,当涉及边缘化时,也可以用期望来代替。在这里插入图片描述
    比如上面面的式子是最大化 θ \theta θ,但是模型中还有其他变量 y 和 x y和x yx,所以要边缘化 x 和 y x和y xy使得最后只含有 θ \theta θ。边缘化 x 和 y x和y xy也就是对 x 和 y x和y xy求期望。
    在这里插入图片描述

    采样与期望

    对于(1)式,在现实中有时候由于 p ( x ) p(x) p(x)太过复杂,积分积不出来,那么我们除了用(3)式的方法计算期望,还可以用采样的方法。
    如果我们 p ( x ) p(x) p(x)中采样若干个点 x 0 , x 1 , , , , x m x_{0}, x_{1}, ,,,x_{m} x0,x1,,,,xm ,那么有
    E [ X ] ≈ 1 m + 1 ∑ i = 0 m x i , x i ∼ p ( x ) (4) \tag{4}E [X] \approx {1 \over m+1}\sum_{i=0}^{m}x_{i},x_{i} \sim p(x) E[X]m+11i=0mxixip(x)(4)
    比较(3)和(4)式,可以发现由于(3)式中样本点是从定义域中选取的,选取某一个点 x i x_{i} xi的时候并没有考虑 x i x_{i} xi的概率,所以在(3)式中计算时要加上概率的计算。而在(4)式中,采样是依据概率分布来采样的,概率大的 x i x_{i} xi被采样的概率也高,采样的次数也就越多。所以已经考虑了 p ( x i ) p(x_{i}) p(xi),就不用再乘 p ( x i ) p(x_{i}) p(xi)了。

    更一般的,可以写出
    E x ∼ p ( x ) [ f ( x ) ] = ∫ f ( x ) p ( x ) d x ≈ 1 n ∑ i = 0 n f ( x i ) , x i ∼ p ( x ) (5) \tag{5}E_{x\sim p(x)}[f(x)] = \int f(x)p(x)dx \approx {1 \over n} \sum_{i=0}^{n}f(x_{i}),x_{i} \sim p(x) Exp(x)[f(x)]=f(x)p(x)dxn1i=0nf(xi)xip(x)(5)

    (5)式估计期望的方法也叫做蒙特卡洛估计
    我们其实可以发现KL散度也可以写成期望的形式。
    K L ( p ( x ) ∣ ∣ q ( x ) ) = ∫ p ( x ) l n p ( x ) q ( x ) d x = E x ∼ p ( x ) [ l n p ( x ) q ( x ) ] = 1 n ∑ i = 1 n l n p ( x i ) q ( x i ) , x i ∼ p ( x ) \begin{aligned} KL(p(x)||q(x)) = & \int p(x)ln{p(x) \over q(x)}dx \\ = & E_{x \sim p(x)}[ln{p(x) \over q(x)}] \\ = & {1 \over n}\sum_{i=1}^n ln{p(x_{i}) \over q(x_{i})},x_{i} \sim p(x) \end{aligned} KL(p(x)q(x))===p(x)lnq(x)p(x)dxExp(x)[lnq(x)p(x)]n1i=1nlnq(xi)p(xi)xip(x)

    参考:变分自编码器(二):从贝叶斯观点出发

    展开全文
  • 处理不平衡样本集的采样方法

    千次阅读 2019-06-09 22:12:11
    例如,如果正负样本比例达到1:99,则分类器简单地将所有样本都判定为负样本能达到99%的正确率,显然这并不是我们想要的,我们想让分类器在正样本和负样本上都有足够的准确率和召回率。 为什么很多分类模型在训练数据...

    在训练二分类模型时,例如医疗诊断、网络入侵检测、信用卡反诈骗等,经常会遇到正负样本不均衡的问题。对于分类算法,如果直接采用不平衡的样本集进行训练学习,会存在一些问题。例如,如果正负样本比例达到1:99,则分类器简单地将所有样本都判定为负样本能达到99%的正确率,显然这并不是我们想要的,我们想让分类器在正样本和负样本上都有足够的准确率和召回率。

    为什么很多分类模型在训练数据不均衡时会出现问题?
    本质原因是模型在训练时优化的目标函数和人们在测试时使用的评价标准不一致。这种“不一致”可能是由于训练数据的样本分布与测试时期望的样本分布不一致,例如,在训练时优化的是整个训练集(正负样本比例可能是1∶99)的正确率,而测试时可能想要模型在正样本和负样本上的平均正确率尽可能大(实际上是期望正负样本比例为1∶1);也可能是由于训练阶段不同类别的权重(重要性)与测试阶段不一致。

    根据上述分析,一般可以从两个角度来处理样本不平衡问题。

    • 基于数据的方法
      对数据进行重采样,使原本不平衡的样本变得均衡。首先,记样本数较大的类别为 C m a x C_{max} Cmax,样本数较少的类别为 C m i n C_{min} Cmin,对应的样本集分别为 S m a x S_{max} Smax S m i n S_{min} Smin。显然, S m a x &gt; &gt; S m i n S_{max}&gt;&gt;S_{min} Smax>>Smin
      最简单的处理不平衡样本集的方法是随机采样。采样一般分为过采样和欠采样。过采样是从少数类样本集 S m i n S_{min} Smin中随机重复抽取样本(有放回)得到更多样本;欠采样是从多数类样本集 S m a x S_{max} Smax随机选取较少的样本(有放回或无放回)。
      直接的随机采样虽然可以使样本集变得均衡,但会带来一些问题,比如,过采样对少数类进行多次复制,扩大了数据规模,增加了模型训练的复杂度,同时也容易导致过拟合;欠采样会丢弃一些样本,可能会损失部分有用信息,造成模型只学到了整体模式的一部分。
      为了解决上述问题,通常在过采样时并不是简单地复制样本,而是采用一些方法生成新的样本。例如,SMOTE算法对少数类样本集 S m i n S_{min} Smin中每个样本x,从它在 S m i n S_{min} Smin中的K近邻中随机选一个样本y,然后在x,y连线上随机选取一点作为新合成的样本,这种合成新样本的过采样方法可以降低过拟合的风险。
      SMOTE算法为每个少数类样本合成相同数量的新样本,这可能会增大类间重叠度,并且会生成一些不能提供有益信息的样本。为此出现Borderline-SMOTE、ADASYN等改进算法。Borderline-SMOTE只给那些处在分类边界上的少数类样本合成新样本,而ADASYN则给不同的少数类样本合成不同个数的新样本。此外,还可以采用一些数据清理方法(如基于Tomek Links)来进一步降低合成样本带来的类间重叠,以得到更加良定义(well-defined)的类簇,从而更好地训练分类器。

    对于欠采样,可以采用Informed Undersampling来解决由于随机欠采样带来的数据丢失问题。常见的Informed Undersampling算法有:

    1. Easy Ensemble算法。 每次从多数类Smaj中上随机抽取一个子集E(|E|≈|Smin|),然后用E+Smin训练一个分类器;重复上述过程若干次,得到多个分类器,最终的分类结果是这多个分类器结果的融合。
    2. Balance Cascade算法。级联结构,在每一级中从多数类Smaj中随机抽取子集E,用E+Smin训练该级的分类器;然后将Smaj中能够被当前分类器正确判别的样本剔除掉,继续下一级的操作,重复若干次得到级联结构;最终的输出结果也是各级分类器结果的融合。
    3. 其他诸如NearMiss(利用K近邻信息挑选具有代表性的样本)、Onesided Selection(采用数据清理技术)等算法。
    • 基于算法的方法
      在样本不均衡时,也可以通过改变模型训练时的目标函数(如代价敏感学习中不同类别有不同的权重)来矫正这种不平衡性;当样本数目极其不均衡时,也
      可以将问题转化为单类学习(one-class learning)、异常检测(anomaly detection)。
    展开全文
  • 我们利用最大似然的primal-dual reformulation,将原始MLE中不可解的log-partition 函数重写成能量函数(potential function)针对对一个可学习的负样本采样器(negative sampler)的期望。通过这样的形式,我们可以...

    作者 | 蚂蚁金服

    编辑 | Jane

    出品 | AI科技大本营(ID:rgznai100)

    【导读】一年一度的国际顶级学术会议NeurIPS2019将于12月8日至14日在加拿大温哥华举行。作为人工智能和机器学习领域最顶级的盛会之一,NeurIPS每年都会吸引来自全世界的AI大牛、学者、技术爱好者参会。本文是蚂蚁金服的技术专家对入选论文《使用对抗式动态系统嵌入的深度指数族分布估计》做出的深度解读。

     

    前言

    指数分布族 (exponential family),同时又被称为能量模型(energy-based model),是一类广泛应用的生成式概率模型。通过和深度模型结合,指数分布族能够灵活的拟合各种数据分布。由于指数分布族的灵活性,目前已经有越来越多的研究者利用指数分布族对各种结构数据进行建模。例如,[1] 将能量模型用于对蛋白质结构预测,从而更好的指导药物设计和材料科学;[2] 将能量模型用于语言模型及句子生成;[3] 将能量模型用于基于模型的强化学习;等等。这些都展示了指数族分布能量模型作为有别于变分自编码器(variational autoencoder)和对抗式生成模型(generative adversarial network)之外,另一种截然不同的生成式模型的能力和潜在应用。但是,如何有效的求解通用指数分布族的最大似然估计(MLE)以及如何高效的进行推断仍然是一个亟待解决的问题。

     

    摘要

    针对通用深度指数分布族有效求解最大似然估计这一问题,我们利用最大似然的primal-dual reformulation,将原始MLE中不可解的log-partition 函数重写成能量函数(potential function)针对对一个可学习的负样本采样器(negative sampler)的期望。通过这样的形式,我们可以同时学习能量函数以及负样本采样器。相比现存的方法,使用手工设计的固定的,我们的算法可以根据训练样本自动调整负样本采样器,以便更好的学习模型。与此同时,学习得到的负样本采样器可以用来平摊统计推断(amortized inference)。

     

    基于这样的框架,我们进一步模仿哈密尔动态系统顿蒙特卡洛采样器(Hamiltonian Monte-Carlo (HMC)),并加入可学习模块来设计HMC负样本神经网络采样器。这样的采样器有一下两个优点:

    1. 可以使得负样本神经网络采样器也采用了能量函数中的参数;

    2. 设计得到的HMC负样本神经网络采样器有可计算的熵函数表示,从而可以带入到我们的primal-dual form of MLE中。

     

    这一框架同时将现存的各种能量模型学习算法统一在一个清晰的观点下。我们严格证明了对照散度(contrasitive divergence),伪最大似然(pseudo/composite-likelihood), 分数匹配(score matching), 最小化Stein差异(minimum Stein discrepancy estimator), 非局部对照目标(non-local contrastive objectives), 噪声对照估计(noise-contrastive estimation), 以及最小化概率流( minimum probability flow)等等能量模型估计方法都是我们框架下的特例:在学习中使用了某种手工设计的固定负样本采样器。

     

    对抗式动态系统嵌入(Adversarial Dynamics Embedding )简介

    1、最大似然的 Primal-Dual 表示

    深度指数分布族(能量模型)表示为

     

    其中为神经网络,叫做能量函数;而  叫做log-partition function。使用这样的符号,能量模型的MLE可以写成:

                                   

    注意到log-partition function 不可计算,直接求解MLE非常困难。我们利用Fenchel 对偶函数,我们可以将MLE重新写成

    引入学习负样本采样器q(x),从而避免到直接计算log-partition function。

     

    2、动态系统采样器设计

    在MLE的primal-dual 表示中,我们引入负样本采样器避免不可计算的部分。学习到的potential function的实际表现依赖于负样本采样的灵活性。于此同时,primal-dual 表示也要求负样本的熵可计算。我们知道动态系统采样器HMC可以近似任意的能量模型,而且HMC的argumented 熵是可计算的。因此,我们推广了HMC采样器,将每个HMC step当作一个cell来组成神经网络。

    具体来说,当初始,我们设计T层HMC神经网络为

     

    其中

    同理,我们可以设计Langevin神经网络以及广义HMC神经网络。这样的负样本采样器

     

    将这样的负样本采样器带入MLE的primal-dual 形式,我们得到了最终的优化目标:

     

    这样以来,我们可以使用随即梯度优化(stochastic gradient descent)来对目标函数进行优化。其中f 是原始potential function,表示负样本采样器中的参数,包括初始分布中的参数,以及HMC step cell 中的参数

    实验结果

    上图展示了我们提出的ADE算法在synthetic 数据上的结果。其中奇数列展示学到的negative sampler:其中红色样本点是训练数据,蓝色是学习到的采样器生成的样本。可以看到我们学习到的采样器能够很好的复原训练数据分布。图中的偶数列表示学习到的potential function。可以看到通过ADE学习到的potential function 符合训练数据中密度高的地方。

     

    我们将ADE应用到训练real-world image上的深度能量模型并在MNIST和CIFAR-10进行测试。图1和图3展示了从学习到的采样器中抽样得到的样本。可以看到学习到的采样器能够生成非常逼真的图像样本。图2和图4展示了学习得到potential function在训练数据(橙色)以及生成数据(蓝色)上的直方图对比。学习得到的potential function 在生成数据和训练数据上匹配的非常好。

     

    我们还提供了数量性质的比较。因为我们学习到的采样器可以用来生成图片,我们和已有的生成模型进行了比较,包括WGAN-GP,Spectral-GAN,以及使用固定Langevin sampler 作为负样本采样器学习得到的能量模型。ADE得到的模型能够在Inception Score下生成更好的样本。除此之外,我们还验证了learnable HMC的效果。相比ADE without HMC,在ADE中使用数据自动调整过的HMC能够提升IS。

     

    [1] Ingraham, John, Adam Riesselman, Chris Sander, and Debora Marks. "Learning protein structure with a differentiable simulator." (2018).

    [2] Du, Yilun, Toru Lin, and Igor Mordatch. "Model based planning with energy based models." arXiv preprint arXiv:1909.06878 (2019).

    [3] Bakhtin, Anton, Sam Gross, Myle Ott, Yuntian Deng, Marc'Aurelio Ranzato, and Arthur Szlam. "Real or Fake? Learning to Discriminate Machine from Human Generated Text." arXiv preprint arXiv:1906.03351 (2019).

    (*本文为AI科技大本营投稿文章,转载微信联系 1092722531)

    精彩公开课

    推荐阅读

    展开全文
  • 原文:http://www.iterate.site/2019/04/13/07-%E4%B8%8D%E5%9D%87%E8%A1%A1%E6%A0%B7%E6%9C%AC%E9%9B%86%E7%9A%84%E9%87%8D%E9%87%87%E6%A0%B7/ 在训练二分类模型时,例如医疗...是的,正样本很少,负样本一大堆...

    原文:http://www.iterate.site/2019/04/13/07-%E4%B8%8D%E5%9D%87%E8%A1%A1%E6%A0%B7%E6%9C%AC%E9%9B%86%E7%9A%84%E9%87%8D%E9%87%87%E6%A0%B7/

     

    在训练二分类模型时,例如医疗诊断、网络入侵检测、信用卡反诈骗等,经常会遇到正负样本不均衡的问题。是的,正样本很少,负样本一大堆。

    对于很多分类算法,如果直接采用不均衡的样本集来进行训练学习,会存在一些问题。例如,如果正负样本比例达到1∶99,则分类器简单地将所有样本都判为负样本就能达到99%的正确率,显然这并不是我们想要的,我们想让分类器在正样本和负样本上都有足够的准确率和召回率。

    采样,数据扩充

    对于二分类问题,当训练集中正负样本非常不均衡时,如何处理数据以更好地训练分类模型?

    为什么很多分类模型在训练数据不均衡时会出现问题?

    本质原因是模型在训练时优化的目标函数和人们在测试时使用的评价标准不一致。是的。:

    • 这种“不一致”可能是由于训练数据的样本分布与测试时期望的样本分布不一致,例如,在训练时优化的是整个训练集(正负样本比例可能是1∶99)的正确率,而测试时可能想要模型在正样本和负样本上的平均正确率尽可能大(实际上是期望正负样本比例为1∶1);
    • 也可能是由于训练阶段不同类别的权重(重要性)与测试阶段不一致,例如训练时认为所有样本的贡献是相等的,而测试时假阳性样本(False Positive)和伪阴性样本(False Negative)有着不同的代价。是的,不同的代价

    根据上述分析,一般可以从两个角度来处理样本不均衡问题[17]。

    基于数据的方法

    对数据进行重采样,使原本不均衡的样本变得均衡。首先,记样本数大的类别为Cmaj,样本数小的类别Cmin,它们对应的样本集分别为SmajSmin。根据题设,有 Smaj>>|Smin|

    最简单的处理不均衡样本集的方法是随机采样。

    采样一般分为过采样(Over-sampling)和欠采样(Under-sampling)。

    • 随机过采样是从少数类样本集 SminSmin 中随机重复抽取样本(有放回)以得到更多样本;
    • 随机欠采样则相反,从多数类样本集 S maj S maj  中随机选取较少的样本(有放回或无放回)。

    感觉过采样和欠采样都有些问题吧。嗯,下面说了。

    直接的随机采样虽然可以使样本集变得均衡,但会带来一些问题,比如:

    • 过采样对少数类样本进行了多次复制,扩大了数据规模,增加了模型训练的复杂度,同时也容易造成过拟合;
    • 欠采样会丢弃一些样本,可能会损失部分有用信息,造成模型只学到了整体模式的一部分。

    是呀。

    为了解决上述问题,通常在过采样时并不是简单地复制样本,而是采用一些方法生成新的样本。例如,SMOTE 算法对少数类样本集 Smin中每个样本 xx,从它在 Smin中的 K 近邻中随机选一个样本 y,然后在 x,y 连线上随机选取一点作为新合成的样本(根据需要的过采样倍率重复上述过程若干次),如图8.14所示。嗯,感觉有些厉害,但是这种合成要怎么合成?两个样本怎么合成成一个样本?

    mark

    mark

    这种合成新样本的过采样方法可以降低过拟合的风险。

    SMOTE 算法为每个少数类样本合成相同数量的新样本,这可能会增大类间重叠度,并且会生成一些不能提供有益信息的样本。是呀。

    为此出现 Borderline-SMOTE、ADASYN 等改进算法。

    • Borderline-SMOTE 只给那些处在分类边界上的少数类样本合成新样本,
    • 而 ADASYN 则给不同的少数类样本合成不同个数的新样本。

    此外,还可以采用一些数据清理方法(如基于Tomek Links)来进一步降低合成样本带来的类间重叠,以得到更加良定义(well-defined)的类簇,从而更好地训练分类器。哇塞,这么厉害!简直了,各种手段,厉害!都要总结进来。

    同样地,对于欠采样,可以采用 Informed Undersampling 来解决由于随机欠采样带来的数据丢失问题。常见的 Informed Undersampling 算法有:

    • Easy Ensemble 算法。每次从多数类 Smaj 中上随机抽取一个子集 E(|E||Smin|),然后用 E+Smin训练一个分类器;重复上述过程若干次,得到多个分类器,最终的分类结果是这多个分类器结果的融合。嗯,感觉还是有道理的。
    • Balance Cascade 算法。级联结构,在每一级中从多数类 Smaj 中随机抽取子集 EE ,用 E+Smin 训练该级的分类器;然后将Smaj中能够被当前分类器正确判别的样本剔除掉,继续下一级的操作,重复若干次得到级联结构;最终的输出结果也是各级分类器结果的融合。是的,这个感觉类似决策树。
    • 其他诸如 NearMiss(利用K近邻信息挑选具有代表性的样本)、One-sided Selection(采用数据清理技术)等算法。这些也要总结下。

    在实际应用中,具体的采样操作可能并不总是如上述几个算法一样,但基本思路很多时候还是一致的。例如:

    • 基于聚类的采样方法,利用数据的类簇信息来指导过采样/欠采样操作;
    • 经常用到的数据扩充方法也是一种过采样,对少数类样本进行一些噪声扰动或变换(如图像数据集中对图片进行裁剪、翻转、旋转、加光照等)以构造出新的样本;
    • 而Hard Negative Mining则是一种欠采样,把比较难的样本抽出来用于迭代分类器。

    基于算法的方法

    在样本不均衡时,也可以通过改变模型训练时的目标函数(如代价敏感学习中不同类别有不同的权重)来矫正这种不平衡性;当样本数目极其不均衡时,也可以将问题转化为单类 学习(one-class learning)、异常检测(anomaly detection)。本节主要关注采样,不再赘述。哇塞!思路清奇呀!竟然可以转化成单类检测和异常检测。嗯,还是要再补充下的。

    总结与扩展

    在实际面试时,这道题还有很多可扩展的知识点。例如:

    • 模型在不均衡样本集上的评价标准
    • 不同样本量(绝对数值)下如何选择合适的处理方法(考虑正负样本比例为1∶100和1000∶100000的区别)
    • 代价敏感学习和采样方法的区别、联系以及效果对比等。嗯,这个也想知道。

    这些都要总结,弄清楚。

    原文及相关

    • 《百面机器学习》

    转载于:https://www.cnblogs.com/ottll/p/11057852.html

    展开全文
  • 不均衡样本集的重采样       在训练二分类模型时,例如姨姥诊断、网络入侵检测、信用卡反欺诈等,经常会遇到正负样本不均衡的问题。对于很多分类算法,如果直接采用不均衡的样本集来...
  • 在设计控制图时,需要了解-控制限的计算公式-合理子组原则我们本篇继续探讨子组样本量大小和抽样频率。在前几篇内容得知,考虑控制限的计算(比如均值极差图),为了用样本极差对标准差进行有效的估计,子组样本量可以...
  • 失衡样本采样 02数据采样的原因 其实我们在训练模型的过程,都会经常进行数据采样,为了就是让我们的模型可以更好的去学习数据的特征,从而让效果更佳。但这是比较浅层的理解,更本质上,数据采样就是对随机现象...
  • [机器学习篇]机器学习知识总结篇

    万次阅读 热门讨论 2017-03-08 22:36:48
    使用随机森林计算样本相似度 #10、随机森林实践 随机森林与特征选择 决策树应用于回归 多标记的决策树回归 决策树和随机森林的可视化 葡萄酒数据集的决策树/随机森林分类 #11、提升 提升为什么...
  • 八种样本抽样方法介绍

    万次阅读 多人点赞 2019-10-16 09:24:15
    -是指样本中所包含的个体的数量,这些个体的数量需要足量以对期望的准确度和精度进行推断。 样本量越大,我们对总体的推断就越准确。 在民意调查中,各机构试图让尽可能多的不同背景的人参与抽样调查,因为这有...
  • 这项工作研究了一种生物启发式的微免疫优化算法,以解决一般的单目标非线性约束期望值编程,而无需任何先验分布。 在算法研究中,理论上发展了两个下界样本估计值,以估计个体的经验值。 设计了两种自适应竞赛采样...
  • 2019工程伦理慕课答案(2019秋)习题及期末答案

    万次阅读 多人点赞 2019-11-08 18:19:53
    第一章习题(下) 单选题 (1/1 point) 下列哪一项不是工程与技术的区别 内容和性质 目的 活动主体 任务、对象和思维方式 单选题 (1/1 point) 下列哪一项不是工程活动的特征 ...计划、设计、建造...
  • 作者:无影随想时间:2016年1月。... 机器学习很多场景中会用到放回采样,比如bagging方法。采样后的数据集会有一些数据重复,一些数据缺失,从$N$个样本采样$K$个样本,不同样本数量的期望为$U(K...
  • 采样策略

    2020-10-19 19:46:46
        在多篇论文中均提及到了负采样策略,那么就来简单学习下什么是负采样策略。 偶然搜到了两篇大佬的文章: 负采样算法 神经网络中的负采样 顺便一提,找到了一个很nice的网站,看了网站的关于部分: 算法初心...
  • 随机采样和随机模拟:吉布斯采样Gibbs Sampling

    万次阅读 多人点赞 2016-05-12 00:24:21
    吉布斯采样算法详解 为什么要用吉布斯采样 什么是sampling? sampling就是以一定的概率分布,看发生什么事件。举一个例子。甲只能E:吃饭、学习、打球,时间T:上午、下午、晚上,天气W:晴朗、刮风、下雨。现在要...
  • 随机采样和随机模拟

    万次阅读 2016-01-31 19:26:41
    随机采样方法 模拟方法:是一种基于“随机数”的计算方法,基于数值采样的近似推断方法,也被称为蒙特...通常均匀分布Uniform(0,1) 的样本,即我们熟悉的类rand()函数,可以由线性同余发生器生成;而其他的随机分布...
  • 均值与期望:傻傻分不清?

    万次阅读 多人点赞 2018-05-04 17:01:07
    前些日子偶然间听到一位新同事问一位做算法的同事:均值是不是期望?老算法回答说:这是不同的概念。说完之后,由于有事就急匆匆的走了。偶听到之后狐疑了一会,打开了搜索引擎。当然,答案是非常明晰且简单的,均值...
  • 有放回采样和无放回采样

    万次阅读 2017-09-26 10:09:44
    随机采样 可以分为随机欠采样和随机过采样...随机欠采样有两种类型分别为有放回和无放回两种,无放回欠采样在对多数类某样本采样后不会再被重复采样,有放回采样则有可能。 放回子采样:bagging(bootstrap agg...
  • 不平衡数据采样方法整理

    千次阅读 2019-04-02 11:14:51
    不平衡数据采样方法整理 在实际的分类问题中,数据集的分布经常是...重采样方法是通过增加小众训练样本数的上采样和减少大众样本数的下采样使不平衡样本分布变平衡,从而提高分类器对小众的识别率。 1.上采样 (1...
  • 有人问我什么是MIS,我懒得解释,想给她搜几篇文章看,结果从网上搜了半天也没几篇关于MIS多重重要性采样有关的文章,着实有些不解。 这么重要的技术,为什么仅仅存在于论文的世界里呢? 作为上个世纪末一篇流芳几...
  • 基于采样的近似推断

    2020-02-21 20:01:46
    随机采样即给定概率密度函数p(x)p(x)p(x)中抽取出符合其概率分布的样本。 假设我们要推断的概率分布为p(x)p(x)p(x),并基于p(x)p(x)p(x)来计算函数f(x)f(x)f(x)的期望 为了计算上式,我们可以通过数值解的方法来近似...
  • 目标检测中广泛采用的采样策略是随机采样(正样本和负样本按照一定比例随机采样),然而随机采样并不能保证能够选取得到更有价值的样本(使检测器更鲁棒)。 在探索更有效的采样策略的过程中,产生了两类方法: Hard...
  • 采样方式

    2021-10-27 17:54:32
    一、随机负采样 二、曝光未点击 三、混合负采样 四、重要性采样 五、有偏采样 六、NCE采样 参考: [mixed negative sampling] Mixed Negative Sampling for Learning Two-tower Neural Networks in ...
  • 三步完成吉布斯采样Gibbs sampling

    千次阅读 2019-07-20 23:30:22
    它是很宽泛的一类计算方法,依赖重复的随机采样去获得数值结果。a broad class of computational algorithms that rely on repeated random sampling to obtain numerical results。 它潜在的本质是使用随机性去解决...
  • 本文提供粒子群算法简介和一个算法举例,提供粒子群算法仿真PID的M文件代码及simulink仿真。另外,本文还提供了一种动态simulink仿真方法,可以让M文件和simulink文件之间互相交换数据,实现仿真与程序的反馈,增加...
  • 8 采样

    2020-01-09 17:54:49
    采样,从特定的概率分布中抽取样本点。 它可将复杂的分布简化为离散的样本点; 可用重采样样本集进行调以更好地适应后期的模型学习; 用于随机模拟以进行复杂模型的近似求解或推理 采样在数据可视化方面也有应用,...
  • 重要性采样(Importance Sampling)详细学习笔记

    千次阅读 多人点赞 2021-01-08 21:57:02
    文章目录重要性采样(Importance Sampling)透彻学习笔记前言:参考主体:on-policy 和 off-policyOn-policy:Off-policy:重要性采样重要性采样后方差的变化-公式推导 前言: 重要性采样,我在众多算法中都看到的一个...
  • 强化学习样本利用率研究(一)

    千次阅读 2020-01-12 22:10:44
    从本篇文章开始,我们将详细介绍和研究强化学习及其样本利用率问题。 传统人工智能领域可分为三大学派:以逻辑推断和贝叶斯学习为代表的符号主义学派、以神经网络为代表的联结主义学派、以控制论和强化学习为代表的...
  • 采样问题指的是给定一个特定的概率分布p(z),得到一批符合这个概率分布的样本点。 采样的方法有很多,MCMC是其中的一类方法,意思是利用Mento Carlo和Markov Chain完成采样。 当然,要完成对各种分布的采样,有一...
  • skip-gram负采样原理

    2020-07-20 22:34:38
    采样得到一个上下文词和一个目标词,生成一个正样本(positive example),生成一个负样本(negative example),则是用与正样本相同的上下文词,再在字典中随机选择一个单词,这就是负采样(negative sampling)。...
  • 如果采样的时间间隔相等,这种采样称为均匀采样。 在计算机系统中,有一个重要的问题就是给定一个概率分布p(x) , 我们如何在计算机中生成它的样本。平时我们接触比较多的场景是,给定一堆样本数据,求出这堆

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 17,023
精华内容 6,809
关键字:

期望样本采样