说起交叉熵损失函数「Cross Entropy Loss」，脑海中立马浮现出它的公式：
 
 
我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？
 
1.交叉熵损失函数的推导
 
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。
 Sigmoid 函数的表达式和图形如下所示：
 
 
 
其中 s 是模型上一层的输出，Sigmoid 函数有这样的特点：s = 0 时，g(s) = 0.5；s >> 0 时， g ≈ 1，s << 0 时，g ≈ 0。显然，g(s) 将前一级的线性输出映射到 [0，1] 之间的数值概率上。这里的 g(s) 就是交叉熵公式中的模型预测输出 。
 
我们说了，预测输出即 Sigmoid 函数的输出表征了当前样本标签为 1 的概率：
 
 
很明显，当前样本标签为 0 的概率就可以表达成：
 
 
重点来了，如果我们从极大似然性的角度出发，把上面两种情况整合到一起：
 
 
不懂极大似然估计也没关系。我们可以这么来看：
 
当真实样本标签 y = 0 时，上面式子第一项就为 1，概率等式转化为：
 
 
当真实样本标签 y = 1 时，上面式子第二项就为 1，概率等式转化为：
 
 
两种情况下概率表达式跟之前的完全一致，只不过我们把两种情况整合在一起了。
 
重点看一下整合之后的概率表达式，我们希望的是概率 P(y|x) 越大越好。首先，我们对 P(y|x) 引入 log 函数，因为 log 运算并不会影响函数本身的单调性。则有：
 
 
我们希望 log P(y|x) 越大越好，反过来，只要 log P(y|x) 的负值 -log P(y|x) 越小就行了。那我们就可以引入损失函数，且令 Loss = -log P(y|x)即可。则得到损失函数为：
 
 
非常简单，我们已经推导出了单个样本的损失函数，是如果是计算 N 个样本的总的损失函数，只要将 N 个 Loss 叠加起来就可以了：
 
 
这样，我们已经完整地实现了交叉熵损失函数的推导过程。
 
2. 交叉熵损失函数的直观理解
 
我已经知道了交叉熵损失函数的推导过程。但是能不能从更直观的角度去理解这个表达式呢？而不是仅仅记住这个公式。好问题！接下来，我们从图形的角度，分析交叉熵函数，加深理解。
 
首先，还是写出单个样本的交叉熵损失函数：
 
 
我们知道，当 y = 1 时
 
 
这时候，L 与预测输出的关系如下图所示：
 
 
看了 L 的图形，简单明了！横坐标是预测输出，纵坐标是交叉熵损失函数 L。显然，预测输出越接近真实样本标签 1，损失函数 L 越小；预测输出越接近 0，L 越大。因此，函数的变化趋势完全符合实际需要的情况。
 
当 y = 0 时：
 
 
这时候，L 与预测输出的关系如下图所示：
 
 
同样，预测输出越接近真实样本标签 0，损失函数 L 越小；预测函数越接近 1，L 越大。函数的变化趋势也完全符合实际需要的情况。
 
从上面两种图，可以帮助我们对交叉熵损失函数有更直观的理解。无论真实样本标签 y 是 0 还是 1，L 都表征了预测输出与 y 的差距。
 
另外，重点提一点的是，从图形中我们可以发现：预测输出与 y 差得越多，L 的值越大，也就是说对当前模型的 “ 惩罚 ” 越大，而且是非线性增大，是一种类似指数增长的级别。这是由 log 函数本身的特性所决定的。这样的好处是模型会倾向于让预测输出更接近真实样本标签 y。
 
3. 交叉熵损失函数的其它形式
 
什么？交叉熵损失函数还有其它形式？没错！我刚才介绍的是一个典型的形式。接下来我将从另一个角度推导新的交叉熵损失函数。
 
这种形式下假设真实样本的标签为 +1 和 -1，分别表示正类和负类。有个已知的知识点是Sigmoid 函数具有如下性质：
 
 
这个性质我们先放在这，待会有用。
 
好了，我们之前说了 y = +1 时，下列等式成立：
 
 
如果 y = -1 时，并引入 Sigmoid 函数的性质，下列等式成立：
 
 
重点来了，因为 y 取值为 +1 或 -1，可以把 y 值带入，将上面两个式子整合到一起：
 
 
这个比较好理解，分别令 y = +1 和 y = -1 就能得到上面两个式子。
 
接下来，同样引入 log 函数，得到：
 
 
要让概率最大，反过来，只要其负数最小即可。那么就可以定义相应的损失函数为：
 
 
还记得 Sigmoid 函数的表达式吧？将 g(ys) 带入：
 
 
好咯，L 就是我要推导的交叉熵损失函数。如果是 N 个样本，其交叉熵损失函数为：
 
 
接下来，我们从图形化直观角度来看。当 y = +1 时：
 
 
这时候，L 与上一层得分函数 s 的关系如下图所示：
 
 
 
 
横坐标是 s，纵坐标是 L。显然，s 越接近正无穷，损失函数 L 越小；s 越接近负无穷，L 越大。
 
另一方面，当 y = -1 时：
 
 
这时候，L 与上一层得分函数 s 的关系如下图所示：
 
 
同样，s 越接近负无穷，损失函数 L 越小；s 越接近正无穷，L 越大。
 
4.总结
 
本文主要介绍了交叉熵损失函数的数学原理和推导过程，也从不同角度介绍了交叉熵损失函数的两种形式。第一种形式在实际应用中更加常见，例如神经网络等复杂模型；第二种多用于简单的逻辑回归模型。
 
需要注意的是：第一个公式中的变量是sigmoid输出的值，第二个公式中的变量是sigmoid输入的值。

文章来源：https://blog.csdn.net/anshuai_aw1/article/details/82626468
 
1 先从离散型随机变量和连续性随机变量说起
 
对于如何分辨离散型随机变量和连续性随机变量，在贾俊平老师的《统计学》教材中，给出了这样的区分：
 
如果随机变量的值都可以逐个列举出来，则为离散型随机变量。如果随机变量X的取值无法逐个列举则为连续型变量。
 
进一步解释，离散型随机变量是指其数值只能用自然数或整数单位计算的则为离散变量。例如，企业个数，职工人数，设备台数等，只能按计量单位数计数，这种变量的数值一般用计数方法取得。反之，在一定区间内可以任意取值的变量叫连续变量，其数值是连续不断的，相邻两个数值可作无限分割，即可取无限个数值。例如，生产零件的规格尺寸，人体测量的身高，体重，胸围等为连续变量，其数值只能用测量或计量的方法取得。
 
形象点来解释：
 
画一幅画，左边是梯子，右边是斜坡。
 像梯子一样能说出有多少层的，可描述的，是离散型随机变量；
 像斜坡一样不能说出有多少层阶梯，不可描述的，是连续性随机变量。
 需要注意的是，实际操作中梯子的阶高可能很小，看起来很像斜坡，需要放大看。
  
 
 
2 离散型随机变量的概率函数，概率分布和分布函数
 
在理解概率分布函数和概率密度函数之前，我们先来看看概率函数和概率分布是咋回事。
 
为什么我们花这么大的力气去研究这个概念。因为它实在太重要了，为什么呢？在这里，直接引用陈希孺老师在他所著的《概率论与数理统计》这本书中说的：
 
研究一个随机变量，不只是要看它能取哪些值，更重要的是它取各种值的概率如何！
 
这句是本文的核心内容，本文的所有概念，包括概率密度，概率分布，概率函数，都是在描述概率！
 
2.1 概率函数和概率分布
 
2.1.1 概率函数
 
概率函数，就是用函数的形式来表达概率。
 
pi=P(X=ai)(i=1,2,3,4,5,6)
 
在这个函数里，自变量（X）是随机变量的取值，因变量（pi）是取值的概率。它就代表了每个取值的概率，所以顺理成章的它就叫做了X的概率函数。从公式上来看，概率函数一次只能表示一个取值的概率。比如P（X=1）=1/6,这代表用概率函数的形式来表示，当随机变量取值为1的概率为1/6，一次只能代表一个随机变量的取值。
 
2.1.2 概率分布
 
接下来讲概率分布，顾名思义就是概率的分布，这个概率分布还是讲概率的。我认为在理解这个概念时，关键不在于“概率”两个字，而在于“分布”这两个字。为了理解“分布”这个词，我们来看一张图。
  
 
 
                                                                                               离散型随机变量的值和概率的分布列表
 
 
 
在很多教材中，这样的列表都被叫做离散型随机变量的“概率分布”。其实严格来说，它应该叫“离散型随机变量的值分布和值的概率分布列表”，这个名字虽然比“概率分布”长了点，但是肯定好理解了很多。因为这个列表，上面是值，下面是这个取值相应取到的概率，而且这个列表把所有可能出现的情况全部都列出来了！
 
举个例子吧，一颗6面的骰子，有1，2，3，4，5，6这6个取值，每个取值取到的概率都为1/6。那么你说这个列表是不是这个骰子取值的”概率分布“？
 
 
长得挺像的，上面是取值，下面是概率，这应该就是骰子取值的“概率分布”了吧！大错特错！少了一个最重要的条件！对于一颗骰子的取值来说，它列出的不是全部的取值，把6漏掉了! 
 
2.2 分布函数
 
说完概率分布，就该说说分布函数了。这个分布函数是个简化版的东西！全名应该叫概率分布函数。
 
看看下图中的分布律，这里的分布律明明就是我们刚刚讲的“概率函数”，完全就是一个东西。但是我知道很多教材就是叫分布律的。
 
 
                                                                                                    概率分布函数就是把概率函数累加
 
我们来看看图上的公式，其中的F(x)就代表概率分布函数啦。这个符号的右边是一个长的很像概率函数的公式，但是其中的等号变成了小于等于号的公式。你再往右看看，这是一个一个的概率函数的累加！
 
发现概率分布函数的秘密了吗？它其实根本不是个新事物，它就是概率函数取值的累加结果！所以它又叫累积概率函数！
 
概率函数和概率分布函数就像是一个硬币的两面，它们都只是描述概率的不同手段！
 
3 连续型随机变量的概率函数和分布函数
 
连续型随机变量的“概率函数”换了一个名字，叫做“概率密度函数”。
 
为啥要这么叫呢？我们还是借用大师的话来告诉你，在陈希孺老师所著的《概率论与数理统计》这本书中，
 
 
如果这么解析你还是不太懂的话，看看下面的这个公式：
 
 
概率密度函数用数学公式表示就是一个定积分的函数，定积分在数学中是用来求面积的，而在这里，你就把概率表示为面积即可！
 
 
左边是F(x)连续型随机变量分布函数画出的图形，右边是f(x)连续型随机变量的概率密度函数画出的图像，它们之间的关系就是，概率密度函数是分布函数的导函数。
 
两张图一对比，你就会发现，如果用右图中的面积来表示概率，利用图形就能很清楚的看出，哪些取值的概率更大！所以，我们在表示连续型随机变量的概率时，用f(x)概率密度函数来表示，是非常好的！
 
但是，可能读者会有这样的问题：
 
Q：概率密度函数在某一点的值有什么意义？
 
A：比较容易理解的意义，某点的 概率密度函数 即为 概率在该点的变化率(或导数)。很容易误以为 该点概率密度值 为 概率值.
 
比如: 距离(概率)和速度(概率密度)的关系.
 
某一点的速度, 不能以为是某一点的距离
没意义,因为距离是从XX到XX的概念
所以, 概率也需要有个区间.
这个区间可以是x的邻域（可以无限趋近于0）。对x邻域内的f（x）进行积分，可以求得这个邻域的面积，就代表了这个邻域所代表这个事件发生的概率。
  
 

说起交叉熵损失函数「Cross Entropy Loss」，我们都不陌生，脑海中会马上浮现出它的公式：



我们已经对这个交叉熵函数的形式非常熟悉，多数情况下都是直接拿来使用。那么，它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？接下来我将尽可能通俗地回答上面这几个问题。



（一）交叉熵损失函数的数学原理



我们知道，在二分类问题模型，例如逻辑回Logistic Regressio、神经网络等，真实样本的标签为 [0，1]，分别表示负类、正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。
Sigmoid 函数的表达式和图形如下所示：




其中 s 是模型上一层的输出，Sigmoid 函数有这样的特点：s = 0 时，g(s) = 0.5；s >> 0 时， g ≈ 1，s << 0 时，g ≈ 0。显然，g(s) 将前一级的线性输出映射到 [0，1] 之间连续的数值概率上。这里的 g(s) 就是交叉熵公式中的模型预测输出 。
我们说了，预测输出，即Sigmoid函数的输出表征了当前样本标签为1的概率：

很明显，当前样本标签为 0 的概率就可以表达成：

如果我们从极大似然性的角度出发，把上面两种情况整合到一起：

对于这个式子而言，
当真实样本标签 y = 0 时，上面式子第一项就为 1，概率等式转化为：

当真实样本标签 y = 1 时，上面式子第二项就为 1，概率等式转化为：

两种情况下概率表达式与之前的完全一致，只不过我们把两种情况整合在一起了。
重点看一下整合之后的概率表达式，我们希望的是概率 P(y|x) 越大越好。首先，我们对 P(y|x) 引入log函数，因为log运算并不会影响函数本身的单调性。则有：





我们希望log P(y|x)越大越好，反过来，只要 -log P(y|x) 越小就行了。那我们就可以引入损失函数，且令 Loss = -log P(y|x)即可。则得到损失函数为：

非常简单，我们已经推导出了单个样本的损失函数，是如果是计算 N 个样本总的损失函数，只要将N个Loss叠加起来就可以了：


这样，我们已经完整地实现了交叉熵损失函数的推导过程。


（二）交叉熵损失函数的直观理解



我们现在已经知道了交叉熵损失函数的推导过程，能不能从更直观的角度去理解这个表达式，而不是仅仅记住这个公式。接下来，我们从图形的角度，分析交叉熵函数，以此来加深大家的理解。
首先，写出单个样本的交叉熵损失函数：



我们知道，当 y = 1 时：





这时候，L 与预测输出的关系如下图所示：





看了 L 的图形，简单明了！横坐标是预测输出，纵坐标是交叉熵损失函数 L。显然，预测输出越接近真实样本标签 1，损失函数 L 越小；预测输出越接近 0，L 越大。因此，函数的变化趋势完全符合实际需要的情况。


当 y = 0 时：

这时候，L 与预测输出的关系如下图所示：





同样，预测输出y^越接近真实样本标签0，损失函数L越小；预测函数越接近1，L越大。函数的变化趋势也完全符合实际需要的情况。
上面两图，可以帮助我们对交叉熵损失函数有直观的理解。无论真实样本标签 y是0还是1，L都表征了预测输出y^与y的差距。


另外，重点提一点的是，从图形中我们可以发现：预测输出y^与y差得越多，L的值越大，也就是说对当前模型的“ 惩罚”越大，而且是非线性增大，是一种类似指数增长的级别。这是由log函数本身的特性所决定的。这样的好处是模型会倾向于让预测输出更接近真实样本标签y。


（三）交叉熵损失函数的其它形式

交叉熵损失函数还有其它形式，之前介绍的是一个典型的形式。接下来将从另一个角度推导新的交叉熵损失函数。
这种形式下假设真实样本的标签为 +1 和 -1，分别表示正类和负类。有个已知的知识点是Sigmoid 函数具有如下性质：






之前提及 y = +1 时，下列等式成立：



如果 y = -1 时，并引入 Sigmoid 函数的性质，下列等式成立：



重点来了，因为 y 取值为 +1 或 -1，可以把 y 值带入，将上面两个式子整合到一起：



这个比较好理解，分别令 y = +1 和 y = -1 就能得到上面两个式子。
接下来，同样引入 log 函数（极大似然），得到：



要让概率最大，反过来，只要其负数最小即可。那么就可以定义相应的损失函数为：



将Sigmoid函数的表达式g(ys) 带入：



L 就是我们要推导的交叉熵损失函数。如果是 N 个样本，其交叉熵损失函数为：



接下来，我们从图形化直观角度来看。当 y = +1 时：

这时候，L 与上一层得分函数 s 的关系如下图所示：





横坐标是 s，纵坐标是 L。显然，s 越接近真实样本标签 1，损失函数 L 越小；s 越接近 -1，L 越大。
另一方面，当 y = -1 时：

这时候，L 与上一层得分函数 s 的关系如下图所示：





同样，s 越接近真实样本标签 -1，损失函数 L 越小；s 越接近 +1，L 越大。


（四）总结
本文主要介绍了交叉熵损失函数的数学原理和推导过程，也从不同角度介绍了交叉熵损失函数的两种形式。第一种形式在实际应用中更加常见，例如神经网络等复杂模型；第二种多用于简单的逻辑回归模型。



 

做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法：
 
 
下面为大家解释一下为什么softmax是这种形式。
 
首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。
 
softmax就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的。
 
1）将预测结果转化为非负数
 
下图为y=exp(x）的图像，我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。
 
 
2）各种预测结果概率之和等于1
 
为了确保各个预测结果的概率之和等于1。我们只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比。这样就得到近似的概率。
 
下面为大家举一个例子，假如模型对一个三分类问题的预测结果为-3、1.5、2.7。我们要用softmax将模型结果转为概率。步骤如下：
 
1）将预测结果转化为非负数
 
y1 = exp(x1) = exp(-3) = 0.05
 
y2 = exp(x2) = exp(1.5) = 4.48
 
y3 = exp(x3) = exp(2.7) = 14.88
 
2）各种预测结果概率之和等于1
 
z1 = y1/(y1+y2+y3) = 0.05/(0.05+4.48+14.88) = 0.0026
 
z2 = y2/(y1+y2+y3) = 4.48/(0.05+4.48+14.88) = 0.2308
 
z3 = y3/(y1+y2+y3) = 14.88/(0.05+4.48+14.88) = 0.7666
 
总结一下softmax如何将多分类输出转换为概率，可以分为两步：
 
1）分子：通过指数函数，将实数输出映射到零到正无穷。
 
2）分母：将所有结果相加，进行归一化。
 
下图为斯坦福大学CS224n课程中最softmax的解释：