精华内容
参与话题
问答
  • Softmax

    千次阅读 2019-06-08 23:44:08
    进行多分类时,就要用到softmax。       训练样本是:{(x(1),y(1)),...,(x(m),y(m))}\lbrace{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})}\rbrace{(x(1),y(1)),...,(x(m),y(m))},值得注意...

    模型

           进行多分类时,就要用到softmax。

          训练样本是:{(x(1),y(1)),...,(x(m),y(m))}\lbrace{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})}\rbrace,值得注意是,每个样本x(i)x^{(i)}都是n+1维向量,当然了,其中x(0)=1x^{(0)}=1是对应的截距项,也就是说,每个样本都是具有n+1维的向量,并且第1维都是为1(方便与参数θ的第0维与偏置b相乘)。

          我们要做的是分类,因此当然想知道,当输入x时,,x分别属于每一个类的概率,概率最大的那个就是我们认为的属于的类。
          让输出为一个向量,并且有k维,分别代表属于i类的概率。当然还要进行归一化,让输出的向量元素的值和为1。

                                              在这里插入图片描述
    其中,eθTx(i)e^{\theta^Tx^{(i)}}就是yiy_{i},因此就是对输出进行归一化。
          我们将hθ(x(i))h_θ(x^{(i)})进行了变换,现在对于输入x(i)x^{(i)}输出的是一个向量,并不是像sigmoid一样输出的是一个0~1的数。

          softmax回归将样本x(i)x^{(i)}标记为类别jj的概率为:

                                                                在这里插入图片描述

    模型参数

          softmax模型的参数是k个n+1维的θ组成的矩阵,输出的是向量:
                                                                            在这里插入图片描述

    代价函数

          softmax 的代价函数为:
                                                    在这里插入图片描述
    其中I{}I{\lbrace\cdot\rbrace}是示性函数,示性函数指I{}=1I{\lbrace值为真的表达式\rbrace}=1I{}=0I{\lbrace值为假的表达式\rbrace}=0。因此我们的目的还是最小化代价函数,可以用梯度下降来求,下面来推导下梯度。
    梯度推导参见:https://blog.csdn.net/u012328159/article/details/72155874

    文章参考

    https://blog.csdn.net/u012328159/article/details/72155874
    https://www.jianshu.com/p/ffa51250ba2e
    https://blog.csdn.net/Hungryof/article/details/50395062

    展开全文
  • 小白都能看懂的softmax详解

    万次阅读 多人点赞 2018-09-02 23:35:37
    1.softmax初探 在机器学习尤其是深度学习中,softmax是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数,并且归一化保证和为1,因此多分类的概率之和也刚好为1。 ...

    项目github地址:bitcarmanlee easy-algorithm-interview-and-practice
    欢迎大家star,留言,一起学习进步

    1.softmax初探

    在机器学习尤其是深度学习中,softmax是个非常常用而且比较重要的函数,尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数,并且归一化保证和为1,因此多分类的概率之和也刚好为1。
    首先我们简单来看看softmax是什么意思。顾名思义,softmax由两个单词组成,其中一个是max。对于max我们都很熟悉,比如有两个变量a,b。如果a>b,则max为a,反之为b。用伪码简单描述一下就是 if a > b return a; else b
    另外一个单词为soft。max存在的一个问题是什么呢?如果将max看成一个分类问题,就是非黑即白,最后的输出是一个确定的变量。更多的时候,我们希望输出的是取到某个分类的概率,或者说,我们希望分值大的那一项被经常取到,而分值较小的那一项也有一定的概率偶尔被取到,所以我们就应用到了soft的概念,即最后的输出是每个分类被取到的概率。

    2.softmax的定义

    首先给一个图,这个图比较清晰地告诉大家softmax是怎么计算的。
    这里写图片描述
    (图片来自网络)

    假设有一个数组V,ViV_i表示V中的第i个元素,那么这个元素的softmax值为:
    Si=eijejS_i = \frac{e^i}{\sum_j e^j}
    该元素的softmax值,就是该元素的指数与所有元素指数和的比值。

    这个定义可以说很简单,也很直观。那为什么要定义成这个形式呢?原因主要如下。
    1.softmax设计的初衷,是希望特征对概率的影响是乘性的。
    2.多类分类问题的目标函数常常选为cross-entropy。即L=ktklnP(y=k)L = -\sum_k t_k \cdot lnP(y=k),其中目标类的tkt_k为1,其余类的tkt_k为0。
    在神经网络模型中(最简单的logistic regression也可看成没有隐含层的神经网络),输出层第i个神经元的输入为ai=dwidxda_i = \sum_d w_{id} x_d
    神经网络是用error back-propagation训练的,这个过程中有一个关键的量是L/αi\partial L / \partial \alpha_i。后面我们会进行详细推导。

    3.softmax求导

    前面提到,在多分类问题中,我们经常使用交叉熵作为损失函数
    Loss=itilnyiLoss = - \sum_i t_i lny_i
    其中,tit_i表示真实值,yiy_i表示求出的softmax值。当预测第i个时,可以认为ti=1t_i = 1。此时损失函数变成了:
    Lossi=lnyiLoss_i = -lny_i
    接下来对Loss求导。根据定义:
    yi=eijejy_i = \frac{e^i}{\sum_j e^j}
    我们已经将数值映射到了0-1之间,并且和为1,则有:
    eijej=1jiejjej\frac{e^i}{\sum_j e^j} = 1 - \frac{\sum_{j \neq i} e^j}{\sum_j e^j}

    接下来开始求导
    Lossii=lnyii=(lneijej)i=1eijej(eijej)i=jejei(1jiejjej)i=jejei(jiej)(1jej)i=jejjiejeiei(jej)2=jiejjej=(1eijej)=yi1{\begin{aligned} \frac{\partial Loss_i}{\partial _i} & = - \frac{\partial ln y_i}{\partial _i} \\ & = \frac{\partial (-ln \frac{e^i}{\sum_j e^j}) }{\partial _i} \\ & = - \frac {1}{ \frac{e^i}{\sum_j e^j}} \cdot \frac{\partial (\frac{e^i}{\sum_j e^j})}{ \partial_i} \\ & = -\frac{\sum_j e^j}{e^i} \cdot \frac{\partial (1 - \frac{\sum_{j \neq i} e^j}{\sum_j e^j}) } {\partial_i} \\ & = -\frac{\sum_j e^j}{e^i} \cdot (- \sum _ {j \neq i}e^j ) \cdot \frac{\partial( \frac {1} {\sum_j e^j} ) } { \partial _i} \\ &= \frac { \sum_j e^j \cdot \sum_{j \neq i} e^j} {e^i } \cdot \frac { - e^i} { (\sum_j e^j) ^ 2} \\ & = -\frac { \sum_{j \neq i} e^j } { \sum_j e^j } \\ & = -(1 - \frac{ e ^ i } { \sum_j e^j } ) \\ & = y_i - 1 \end{aligned}}

    上面的结果表示,我们只需要正想求出yiy_i,将结果减1就是反向更新的梯度,导数的计算是不是非常简单!

    上面的推导过程会稍微麻烦一些,特意整理了一下,结合交叉熵损失函数,整理了一篇新的内容,看起来更直观一些。
    交叉熵损失函数(Cross Entropy Error Function)与均方差损失函数(Mean Squared Error)

    4.softmax VS k个二元分类器

    如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢?
    这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数 k = 4 的softmax回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5。)
    如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。
    现在我们来看一个计算视觉领域的例子,你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是:室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢? (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片,你又会选择 softmax 回归还是多个 logistic 回归分类器呢?
    在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。

    参考文献:
    1.https://www.zhihu.com/question/40403377
    2.http://deeplearning.stanford.edu/wiki/index.php/Softmax回归

    展开全文
  • 深度学习笔记(13) Softmax分类

    万次阅读 2019-06-08 09:24:14
    Softmax 回归、练一个Softmax分类器

    深度学习笔记(13) Softmax分类


    1. Softmax 回归

    有一种logistic回归的一般形式,叫做 Softmax回归
    能在试图识别某一分类时做出预测
    或者说是多种分类中的一个,不只是识别两个分类

    假设不单需要识别猫,而是想识别猫,狗和小鸡
    把猫加做类1,狗为类2,小鸡是类3
    如果不属于以上任何一类,就分到“其它”或者说“以上均不符合”这一类,把它叫做类0

    用大写的C来表示输入会被分入的类别总个数
    建立一个神经网络,其输出层有4个,或者说C个输出单元
    因此n,即输出层也就是L层的单元数量,等于4,或者一般而言等于C
    则输出层单元的数字代表这4种类型中每个的概率

    做到这一点的标准模型要用到Softmax层,以及输出层来生成输出
    对于L层,得到的z值
    在这里插入图片描述用这个元素取幂方法来计算 t:
    在这里插入图片描述
    把四个数字加起来得到176.3
    最终 a[l] = t / 176.3
    第一个节点输出 e5/176.3=0.842,也就是概率84.2%

    Softmax激活函数的特殊之处在于
    因为需要将所有可能的输出归一化,就需要输入一个向量,最后输出一个向量
    Softmax分类器还可以代表的决策边界


    2. 练一个Softmax分类器

    简单来说就是用临时变量t将它归一化,使总和为1,于是这就变成了a[L]
    注意到向量z中,最大的元素是5
    而最大的概率也就是第一种概率,Softmax把向量z变成这个向量
    在这里插入图片描述
    在Softmax分类中,一般用到的损失函数是来训练这个神经网络
    这就意味着,如果试图将它变小
    因为梯度下降法是用来减少训练集的损失的
    要使它变小的唯一方式就是使 -logy^\widehat{y}1 变小,即需要使 y^\widehat{y}1 尽可能大
    整个训练集的损失
    在这里插入图片描述


    参考:

    《神经网络和深度学习》视频课程


    相关推荐:

    深度学习笔记(12)Batch归一化网络
    深度学习笔记(11)超参数调试
    深度学习笔记(10)优化算法(二)
    深度学习笔记(9) 优化算法(一)
    深度学习笔记(8) 实践层面(三)


    谢谢!

    展开全文
  • softmax

    2019-03-24 12:03:15
    s = Wx 输出四个整数,经过softmax处理变成4个概率(四个整数分值大的,被取到的概率大些) 概率表示输出这一类的可能性,这些概率相加等于一 面对softmax数值溢出问题,将V中的每个元素减去V中的最大值 scores = np...

    1、面对多分类问题,比如:
    s = Wx 输出四个整数,经过softmax处理变成4个概率(四个整数分值大的,被取到的概率大些)
    概率表示输出这一类的可能性,这些概率相加等于一
    面对softmax数值溢出问题,将V中的每个元素减去V中的最大值

    scores = np.array([123, 456, 789]) # example with 3 classes and each having large scores
    scores -= np.max(scores) # scores becomes [-666, -333, 0]
    p = np.exp(scores) / np.sum(np.exp(scores))

    2、Softmax损失函数计算相对概率==交叉熵损失(Cross Entropy Loss)
    SVM与Softmax的区别就是损失函数不同,更关注正确样本与错误样本之间的距离

    3、Softmax的值就是e的元素次方/e所有元素次方的和(元素即为s=wx的输出)
    参考文章:
    https://blog.csdn.net/red_stone1/article/details/80687921
    https://blog.csdn.net/bitcarmanlee/article/details/82320853

    展开全文

空空如也

1 2 3 4 5 ... 20
收藏数 12,953
精华内容 5,181
关键字:

softmax