连续型随机变量的期望
 
$p(x)$为$随机变量X$的概率密度函数。
 $$E[X]=\int xp(x)dx\text{\hspace{1em}(1)}$$
 
离散型随机变量的期望
 
$X的分布律为p(X=x_i)=p_i$
 $$E[X]=\sum _i{x}_i{p}_i\text{\hspace{1em}(2)}$$
 
对于（1）式，如果我们从其定义域中选取若干个点$x_0,x_1,,,,x_n$，满足$x_i<x_{i+1}$，且$x_{i+1}-x_i$的值足够小，那么我们可以用$(x_{i+1}-x_i)来近似代替dx$，即
 $$E[X]\approx \sum _{i=0}^{n-1}{x}_{i}p(x_i)(x_{i+1}-x_i)\text{\hspace{1em}(3)}$$
 
值得注意的是，在机器学习中，模型的方程中很多都是多变量的，当涉及边缘化时，也可以用期望来代替。
 比如上面面的式子是最大化$\theta$，但是模型中还有其他变量$y和x$，所以要边缘化$x和y$使得最后只含有$\theta$。边缘化$x和y$也就是对$x和y$求期望。
 
 
采样与期望
 
对于（1）式，在现实中有时候由于$p(x)$太过复杂，积分积不出来，那么我们除了用（3）式的方法计算期望，还可以用采样的方法。
 如果我们 从$p(x)$中采样若干个点$x_0,x_1,,,,x_m$ ，那么有
 $$E[X]\approx \frac{1}{m+1}\sum _{i=0}^m{x}_i，x_i\sim p(x)\text{\hspace{1em}(4)}$$
 比较（3）和（4）式，可以发现由于（3）式中样本点是从定义域中选取的，选取某一个点$x_i$的时候并没有考虑$x_i$的概率，所以在（3）式中计算时要加上概率的计算。而在（4）式中，采样是依据概率分布来采样的，概率大的$x_i$被采样的概率也高，采样的次数也就越多。所以已经考虑了$p(x_i)$，就不用再乘$p(x_i)$了。
 
更一般的，可以写出
 $$E_{x\sim p(x)}[f(x)]=\int f(x)p(x)dx\approx \frac{1}{n}\sum _{i=0}^{n}f(x_i)，x_i\sim p(x)\text{\hspace{1em}(5)}$$
 
（5）式估计期望的方法也叫做蒙特卡洛估计。
 我们其实可以发现KL散度也可以写成期望的形式。
 $$\begin{array}{rl}KL(p(x)||q(x))=& \int p(x)ln\frac{p(x)}{q(x)}dx\\ =& E_{x\sim p(x)}[ln\frac{p(x)}{q(x)}]\\ =& \frac{1}{n}\sum _{i=1}^{n}ln\frac{p(x_i)}{q(x_i)}，x_i\sim p(x)\end{array}$$
 
参考：变分自编码器（二）：从贝叶斯观点出发

在训练二分类模型时，例如医疗诊断、网络入侵检测、信用卡反诈骗等，经常会遇到正负样本不均衡的问题。对于分类算法，如果直接采用不平衡的样本集进行训练学习，会存在一些问题。例如，如果正负样本比例达到1:99，则分类器简单地将所有样本都判定为负样本能达到99%的正确率，显然这并不是我们想要的，我们想让分类器在正样本和负样本上都有足够的准确率和召回率。
 
为什么很多分类模型在训练数据不均衡时会出现问题？
 本质原因是模型在训练时优化的目标函数和人们在测试时使用的评价标准不一致。这种“不一致”可能是由于训练数据的样本分布与测试时期望的样本分布不一致，例如，在训练时优化的是整个训练集（正负样本比例可能是1∶99）的正确率，而测试时可能想要模型在正样本和负样本上的平均正确率尽可能大（实际上是期望正负样本比例为1∶1）；也可能是由于训练阶段不同类别的权重（重要性）与测试阶段不一致。
 
根据上述分析，一般可以从两个角度来处理样本不平衡问题。
 
基于数据的方法
 对数据进行重采样，使原本不平衡的样本变得均衡。首先，记样本数较大的类别为$C_{max}$，样本数较少的类别为$C_{min}$，对应的样本集分别为$S_{max}$和$S_{min}$。显然，$S_{max}>>S_{min}$。
 最简单的处理不平衡样本集的方法是随机采样。采样一般分为过采样和欠采样。过采样是从少数类样本集$S_{min}$中随机重复抽取样本（有放回）得到更多样本；欠采样是从多数类样本集$S_{max}$随机选取较少的样本（有放回或无放回）。
 直接的随机采样虽然可以使样本集变得均衡，但会带来一些问题，比如，过采样对少数类进行多次复制，扩大了数据规模，增加了模型训练的复杂度，同时也容易导致过拟合；欠采样会丢弃一些样本，可能会损失部分有用信息，造成模型只学到了整体模式的一部分。
 为了解决上述问题，通常在过采样时并不是简单地复制样本，而是采用一些方法生成新的样本。例如，SMOTE算法对少数类样本集$S_{min}$中每个样本x，从它在$S_{min}$中的K近邻中随机选一个样本y，然后在x，y连线上随机选取一点作为新合成的样本，这种合成新样本的过采样方法可以降低过拟合的风险。
  

   
  
SMOTE算法为每个少数类样本合成相同数量的新样本，这可能会增大类间重叠度，并且会生成一些不能提供有益信息的样本。为此出现Borderline-SMOTE、ADASYN等改进算法。Borderline-SMOTE只给那些处在分类边界上的少数类样本合成新样本，而ADASYN则给不同的少数类样本合成不同个数的新样本。此外，还可以采用一些数据清理方法（如基于Tomek Links）来进一步降低合成样本带来的类间重叠，以得到更加良定义（well-defined）的类簇，从而更好地训练分类器。
 
对于欠采样，可以采用Informed Undersampling来解决由于随机欠采样带来的数据丢失问题。常见的Informed Undersampling算法有：
 
Easy Ensemble算法。 每次从多数类Smaj中上随机抽取一个子集E(|E|≈|Smin|)，然后用E+Smin训练一个分类器；重复上述过程若干次，得到多个分类器，最终的分类结果是这多个分类器结果的融合。
Balance Cascade算法。级联结构，在每一级中从多数类Smaj中随机抽取子集E，用E+Smin训练该级的分类器；然后将Smaj中能够被当前分类器正确判别的样本剔除掉，继续下一级的操作，重复若干次得到级联结构；最终的输出结果也是各级分类器结果的融合。
其他诸如NearMiss（利用K近邻信息挑选具有代表性的样本）、Onesided Selection（采用数据清理技术）等算法。
 
基于算法的方法
 在样本不均衡时，也可以通过改变模型训练时的目标函数（如代价敏感学习中不同类别有不同的权重）来矫正这种不平衡性；当样本数目极其不均衡时，也
 可以将问题转化为单类学习（one-class learning）、异常检测（anomaly detection）。

 
 

 
作者 | 蚂蚁金服
 
编辑 | Jane
 
出品 | AI科技大本营（ID：rgznai100）
 
【导读】一年一度的国际顶级学术会议NeurIPS2019将于12月8日至14日在加拿大温哥华举行。作为人工智能和机器学习领域最顶级的盛会之一，NeurIPS每年都会吸引来自全世界的AI大牛、学者、技术爱好者参会。本文是蚂蚁金服的技术专家对入选论文《使用对抗式动态系统嵌入的深度指数族分布估计》做出的深度解读。

 

 
 
 
前言
 
指数分布族 （exponential family），同时又被称为能量模型（energy-based model），是一类广泛应用的生成式概率模型。通过和深度模型结合，指数分布族能够灵活的拟合各种数据分布。由于指数分布族的灵活性，目前已经有越来越多的研究者利用指数分布族对各种结构数据进行建模。例如，[1] 将能量模型用于对蛋白质结构预测，从而更好的指导药物设计和材料科学；[2] 将能量模型用于语言模型及句子生成；[3] 将能量模型用于基于模型的强化学习；等等。这些都展示了指数族分布能量模型作为有别于变分自编码器（variational autoencoder）和对抗式生成模型（generative adversarial network）之外，另一种截然不同的生成式模型的能力和潜在应用。但是，如何有效的求解通用指数分布族的最大似然估计（MLE）以及如何高效的进行推断仍然是一个亟待解决的问题。
 
 
 
摘要
 
针对通用深度指数分布族有效求解最大似然估计这一问题，我们利用最大似然的primal-dual reformulation，将原始MLE中不可解的log-partition 函数重写成能量函数（potential function）针对对一个可学习的负样本采样器（negative sampler）的期望。通过这样的形式，我们可以同时学习能量函数以及负样本采样器。相比现存的方法，使用手工设计的固定的，我们的算法可以根据训练样本自动调整负样本采样器，以便更好的学习模型。与此同时，学习得到的负样本采样器可以用来平摊统计推断（amortized inference）。
 
 
 
基于这样的框架，我们进一步模仿哈密尔动态系统顿蒙特卡洛采样器（Hamiltonian Monte-Carlo （HMC）），并加入可学习模块来设计HMC负样本神经网络采样器。这样的采样器有一下两个优点：
 
1. 可以使得负样本神经网络采样器也采用了能量函数中的参数；
 
2. 设计得到的HMC负样本神经网络采样器有可计算的熵函数表示，从而可以带入到我们的primal-dual form of MLE中。
 
 
 
这一框架同时将现存的各种能量模型学习算法统一在一个清晰的观点下。我们严格证明了对照散度（contrasitive divergence），伪最大似然（pseudo/composite-likelihood）, 分数匹配（score matching）, 最小化Stein差异（minimum Stein discrepancy estimator）, 非局部对照目标（non-local contrastive objectives）, 噪声对照估计（noise-contrastive estimation）, 以及最小化概率流（ minimum probability flow）等等能量模型估计方法都是我们框架下的特例：在学习中使用了某种手工设计的固定负样本采样器。
 
 
 
对抗式动态系统嵌入（Adversarial Dynamics Embedding ）简介
 
1、最大似然的 Primal-Dual 表示
 
深度指数分布族（能量模型）表示为
 
 
 

 
其中为神经网络，叫做能量函数；而  叫做log-partition function。使用这样的符号，能量模型的MLE可以写成：
 

 
                               

 
注意到log-partition function 不可计算，直接求解MLE非常困难。我们利用Fenchel 对偶函数，我们可以将MLE重新写成
 

 
引入学习负样本采样器q(x)，从而避免到直接计算log-partition function。
 
 
 
2、动态系统采样器设计
 
在MLE的primal-dual 表示中，我们引入负样本采样器避免不可计算的部分。学习到的potential function的实际表现依赖于负样本采样的灵活性。于此同时，primal-dual 表示也要求负样本的熵可计算。我们知道动态系统采样器HMC可以近似任意的能量模型，而且HMC的argumented 熵是可计算的。因此，我们推广了HMC采样器，将每个HMC step当作一个cell来组成神经网络。
 
具体来说，当初始，我们设计T层HMC神经网络为
 
 

 
其中
 

 
同理，我们可以设计Langevin神经网络以及广义HMC神经网络。这样的负样本采样器

 
 
 
将这样的负样本采样器带入MLE的primal-dual 形式，我们得到了最终的优化目标：
 
 
 

 
这样以来，我们可以使用随即梯度优化（stochastic gradient descent）来对目标函数进行优化。其中f 是原始potential function，表示负样本采样器中的参数，包括初始分布中的参数，以及HMC step cell 中的参数。
 
实验结果
 

 
上图展示了我们提出的ADE算法在synthetic 数据上的结果。其中奇数列展示学到的negative sampler：其中红色样本点是训练数据，蓝色是学习到的采样器生成的样本。可以看到我们学习到的采样器能够很好的复原训练数据分布。图中的偶数列表示学习到的potential function。可以看到通过ADE学习到的potential function 符合训练数据中密度高的地方。

 
 
 

 
我们将ADE应用到训练real-world image上的深度能量模型并在MNIST和CIFAR-10进行测试。图1和图3展示了从学习到的采样器中抽样得到的样本。可以看到学习到的采样器能够生成非常逼真的图像样本。图2和图4展示了学习得到potential function在训练数据（橙色）以及生成数据（蓝色）上的直方图对比。学习得到的potential function 在生成数据和训练数据上匹配的非常好。
 
 
 

 
我们还提供了数量性质的比较。因为我们学习到的采样器可以用来生成图片，我们和已有的生成模型进行了比较，包括WGAN-GP，Spectral-GAN，以及使用固定Langevin sampler 作为负样本采样器学习得到的能量模型。ADE得到的模型能够在Inception Score下生成更好的样本。除此之外，我们还验证了learnable HMC的效果。相比ADE without HMC，在ADE中使用数据自动调整过的HMC能够提升IS。
 
 
 
[1] Ingraham, John, Adam Riesselman, Chris Sander, and Debora Marks. "Learning protein structure with a differentiable simulator." (2018).
 
[2] Du, Yilun, Toru Lin, and Igor Mordatch. "Model based planning with energy based models." arXiv preprint arXiv:1909.06878 (2019).
 
[3] Bakhtin, Anton, Sam Gross, Myle Ott, Yuntian Deng, Marc'Aurelio Ranzato, and Arthur Szlam. "Real or Fake? Learning to Discriminate Machine from Human Generated Text." arXiv preprint arXiv:1906.03351 (2019).
 
（*本文为AI科技大本营投稿文章，转载请微信联系 1092722531）
 
◆
 
精彩公开课
 
◆
 

 
推荐阅读
 
大四学生发明文言文编程语言，设计思路清奇
芬兰开放“线上AI速成班”课程，全球网民均可免费观看
超模脸、网红脸、萌娃脸...换头像不重样？我开源了5款人脸生成器
解读 | 2019年10篇计算机视觉精选论文（上）
高通：2 亿像素手机 2020 年诞生！
英特尔首推异构编程神器 oneAPI，可让程序员少加班！
VS Code 成主宰、Vue 备受热捧！2019 前端开发趋势必读
我在华为做外包的真实经历
2019 区块链大事记 | Libra 横空出世，莱特币减产，美国放行 Bakkt……这一年太精彩！
互联网诞生记: 浪成于微澜之间

  
你点的每个“在看”，我都认真当成了AI
 
 

 
原文：http://www.iterate.site/2019/04/13/07-%E4%B8%8D%E5%9D%87%E8%A1%A1%E6%A0%B7%E6%9C%AC%E9%9B%86%E7%9A%84%E9%87%8D%E9%87%87%E6%A0%B7/
 
 
 
 
 
在训练二分类模型时，例如医疗诊断、网络入侵检测、信用卡反诈骗等，经常会遇到正负样本不均衡的问题。是的，正样本很少，负样本一大堆。
 
 
对于很多分类算法，如果直接采用不均衡的样本集来进行训练学习，会存在一些问题。例如，如果正负样本比例达到1∶99，则分类器简单地将所有样本都判为负样本就能达到99％的正确率，显然这并不是我们想要的，我们想让分类器在正样本和负样本上都有足够的准确率和召回率。
 
 
采样，数据扩充
 
 
对于二分类问题，当训练集中正负样本非常不均衡时，如何处理数据以更好地训练分类模型？
 
 
为什么很多分类模型在训练数据不均衡时会出现问题？
 
 
本质原因是模型在训练时优化的目标函数和人们在测试时使用的评价标准不一致。是的。：
 
 
这种“不一致”可能是由于训练数据的样本分布与测试时期望的样本分布不一致，例如，在训练时优化的是整个训练集（正负样本比例可能是1∶99）的正确率，而测试时可能想要模型在正样本和负样本上的平均正确率尽可能大（实际上是期望正负样本比例为1∶1）；
也可能是由于训练阶段不同类别的权重（重要性）与测试阶段不一致，例如训练时认为所有样本的贡献是相等的，而测试时假阳性样本（False Positive）和伪阴性样本（False Negative）有着不同的代价。是的，不同的代价
 
根据上述分析，一般可以从两个角度来处理样本不均衡问题[17]。
 
 
基于数据的方法
 
 
对数据进行重采样，使原本不均衡的样本变得均衡。首先，记样本数大的类别为
 
 
最简单的处理不均衡样本集的方法是随机采样。
 
 
采样一般分为过采样（Over-sampling）和欠采样（Under-sampling）。
 
 
随机过采样是从少数类样本集 ${\mathrm{SminSmin 中随机重复抽取样本（有放回）以得到更多样本；}}^{}$
随机欠采样则相反，从多数类样本集 ${\mathrm{S maj S maj 中随机选取较少的样本（有放回或无放回）。}}^{}$
 
感觉过采样和欠采样都有些问题吧。嗯，下面说了。
 
 
直接的随机采样虽然可以使样本集变得均衡，但会带来一些问题，比如：
 
 
过采样对少数类样本进行了多次复制，扩大了数据规模，增加了模型训练的复杂度，同时也容易造成过拟合；
欠采样会丢弃一些样本，可能会损失部分有用信息，造成模型只学到了整体模式的一部分。
 
是呀。
 
 
为了解决上述问题，通常在过采样时并不是简单地复制样本，而是采用一些方法生成新的样本。例如，SMOTE 算法对少数类样本集 ${\mathrm{Smin中每个样本 xx，从它在 Smin中的\; K\; 近邻中随机选一个样本 y，然后在\; x，y\; 连线上随机选取一点作为新合成的样本（根据需要的过采样倍率重复上述过程若干次），如图8.14所示。嗯，感觉有些厉害，但是这种合成要怎么合成？两个样本怎么合成成一个样本？}}^{}$
 
 

   
  
mark
 
 
 
 
这种合成新样本的过采样方法可以降低过拟合的风险。
 
 
SMOTE 算法为每个少数类样本合成相同数量的新样本，这可能会增大类间重叠度，并且会生成一些不能提供有益信息的样本。是呀。
 
 
为此出现 Borderline-SMOTE、ADASYN 等改进算法。
 
 
Borderline-SMOTE 只给那些处在分类边界上的少数类样本合成新样本，
而 ADASYN 则给不同的少数类样本合成不同个数的新样本。
 
此外，还可以采用一些数据清理方法（如基于Tomek Links）来进一步降低合成样本带来的类间重叠，以得到更加良定义（well-defined）的类簇，从而更好地训练分类器。哇塞，这么厉害！简直了，各种手段，厉害！都要总结进来。
 
 
同样地，对于欠采样，可以采用 Informed Undersampling 来解决由于随机欠采样带来的数据丢失问题。常见的 Informed Undersampling 算法有：
 
 
Easy Ensemble 算法。每次从多数类 ${\mathrm{Smaj 中上随机抽取一个子集 E(|E|\approx |Smin|)，然后用 E+Smin训练一个分类器；重复上述过程若干次，得到多个分类器，最终的分类结果是这多个分类器结果的融合。嗯，感觉还是有道理的。}}^{}$
Balance Cascade 算法。级联结构，在每一级中从多数类 ${\mathrm{Smaj 中随机抽取子集 EE ，用 E+Smin 训练该级的分类器；然后将Smaj中能够被当前分类器正确判别的样本剔除掉，继续下一级的操作，重复若干次得到级联结构；最终的输出结果也是各级分类器结果的融合。是的，这个感觉类似决策树。}}^{}$
其他诸如 NearMiss（利用K近邻信息挑选具有代表性的样本）、One-sided Selection（采用数据清理技术）等算法。这些也要总结下。
 
在实际应用中，具体的采样操作可能并不总是如上述几个算法一样，但基本思路很多时候还是一致的。例如：
 
 
基于聚类的采样方法，利用数据的类簇信息来指导过采样/欠采样操作；
经常用到的数据扩充方法也是一种过采样，对少数类样本进行一些噪声扰动或变换（如图像数据集中对图片进行裁剪、翻转、旋转、加光照等）以构造出新的样本；
而Hard Negative Mining则是一种欠采样，把比较难的样本抽出来用于迭代分类器。
 
基于算法的方法
 
 
在样本不均衡时，也可以通过改变模型训练时的目标函数（如代价敏感学习中不同类别有不同的权重）来矫正这种不平衡性；当样本数目极其不均衡时，也可以将问题转化为单类 学习（one-class learning）、异常检测（anomaly detection）。本节主要关注采样，不再赘述。哇塞！思路清奇呀！竟然可以转化成单类检测和异常检测。嗯，还是要再补充下的。
 
 
总结与扩展
 
 
在实际面试时，这道题还有很多可扩展的知识点。例如：
 
 
模型在不均衡样本集上的评价标准
不同样本量（绝对数值）下如何选择合适的处理方法（考虑正负样本比例为1∶100和1000∶100000的区别）
代价敏感学习和采样方法的区别、联系以及效果对比等。嗯，这个也想知道。
 
这些都要总结，弄清楚。
 
 
原文及相关
 
 
《百面机器学习》
 
转载于:https://www.cnblogs.com/ottll/p/11057852.html