模型
 
       进行多分类时，就要用到softmax。
 
      训练样本是：
    
     
      
       
        {
       
       
        
         (
        
        
         
          x
         
         
          
           (
          
          
           1
          
          
           )
          
         
        
        
         ,
        
        
         
          y
         
         
          
           (
          
          
           1
          
          
           )
          
         
        
        
         )
        
        
         ,
        
        
         .
        
        
         .
        
        
         .
        
        
         ,
        
        
         (
        
        
         
          x
         
         
          
           (
          
          
           m
          
          
           )
          
         
        
        
         ,
        
        
         
          y
         
         
          
           (
          
          
           m
          
          
           )
          
         
        
        
         )
        
       
       
        }
       
      
      
       \lbrace{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})}\rbrace
      
     
    {(x(1),y(1)),...,(x(m),y(m))}，值得注意是，每个样本$x^{(i)}$都是n+1维向量,当然了，其中$x^{(0)}=1$是对应的截距项,也就是说，每个样本都是具有n+1维的向量，并且第1维都是为1（方便与参数θ的第0维与偏置b相乘)。
 
      我们要做的是分类，因此当然想知道，当输入x时，，x分别属于每一个类的概率，概率最大的那个就是我们认为的属于的类。
       让输出为一个向量，并且有k维，分别代表属于i类的概率。当然还要进行归一化，让输出的向量元素的值和为1。
 
                                          
 其中，$e^{{\theta }^T{x}^{(i)}}$就是$y_i$，因此就是对输出进行归一化。
       我们将$h_{\theta }(x^{(i)})$进行了变换，现在对于输入$x^{(i)}$，输出的是一个向量，并不是像sigmoid一样输出的是一个0~1的数。
 
      softmax回归将样本$x^{(i)}$标记为类别$j$的概率为：
 
                                                            
 
模型参数
 
      softmax模型的参数是k个n+1维的θ组成的矩阵，输出的是向量：
                                                                         
 
代价函数
 
      softmax 的代价函数为：
                                                 
 其中
    
     
      
       
        I
       
       
        
         {
        
        
         ⋅
        
        
         }
        
       
      
      
       I{\lbrace\cdot\rbrace}
      
     
    I{⋅}是示性函数，示性函数指
    
     
      
       
        I
       
       
        
         {
        
        
         值
        
        
         为
        
        
         真
        
        
         的
        
        
         表
        
        
         达
        
        
         式
        
        
         }
        
       
       
        =
       
       
        1
       
      
      
       I{\lbrace值为真的表达式\rbrace}=1
      
     
    I{值为真的表达式}=1，
    
     
      
       
        I
       
       
        
         {
        
        
         值
        
        
         为
        
        
         假
        
        
         的
        
        
         表
        
        
         达
        
        
         式
        
        
         }
        
       
       
        =
       
       
        0
       
      
      
       I{\lbrace值为假的表达式\rbrace}=0
      
     
    I{值为假的表达式}=0。因此我们的目的还是最小化代价函数，可以用梯度下降来求，下面来推导下梯度。
 梯度推导参见：https://blog.csdn.net/u012328159/article/details/72155874
 
文章参考
 
https://blog.csdn.net/u012328159/article/details/72155874
 https://www.jianshu.com/p/ffa51250ba2e
 https://blog.csdn.net/Hungryof/article/details/50395062