精华内容
下载资源
问答
  • 损失函数5.1 什么是损失函数5.2 常见的损失函数5.3 逻辑回归为什么使用对数损失函数5.4 对数损失函数是如何度量损失的 在本文中着重介绍机器学习中的目标函数(代价函数,Cost Function)以及损失函数(Loss Fu
  • 说到机器学习,初学者听到最多的就是 损失函数了吧  我对这个词也是一头雾水 好像今天一个定义明天又是一个定义 ,读了大量的文章和博客 终于有点起色 (感谢论坛各位大佬) 这里用自己的简单语言大致说下什么是...

    说到机器学习,初学者听到最多的就是 损失函数了吧 

    我对这个词也是一头雾水 好像今天一个定义明天又是一个定义 ,读了大量的文章和博客 终于有点起色 (感谢论坛各位大佬)

    这里用自己的简单语言大致说下什么是损失函数 如果一个地方看不懂就换个博客看 总会有适合你的文章 万一这篇就是了呢


    首先我们需要了解损失函数的定义是什么:衡量模型模型预测的好坏

    可能这么说有点小小的抽象 ,那么在解释下,损失函数就是用来表现预测与实际数据的差距程度

    比如你做一个线性回归,实际值和你的 预测值肯定会有误差,那么我们找到一个函数表达这个误差就是损失函数

    和实际一样比如你是一个厨师大赛评委 几名厨师最后成绩由你确定 在你认为色香味都应该是100分才算冠军(这个100分就相当于实际值)

    每个人都有自己的做菜方案和技巧,并且达到的效果也是不用的(这个就相当于预测值) 最后你是评委用你的一套规则判断他们多少分(你就是损失函数)


    假设我们令真实值为Y  预测值为f(x) 损失函数为L(Y,f(x))他们的关系就是下图



    损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。



    如果还是不是很清楚 可以看下论坛谋篇博客的一个小例子(我感觉挺好的)

    http://blog.csdn.net/l18930738887/article/details/50615029



    首先我们假设要预测一个公司某商品的销售量:


    X:门店数     Y:销量

    我们会发现销量随着门店数上升而上升。于是我们就想要知道大概门店和销量的关系是怎么样的呢?

    我们根据图上的点描述出一条直线:


    似乎这个直线差不多能说明门店数X和Y得关系了:我们假设直线的方程为Y=a0+a1X(a为常数系数)。假设a0=10 a1=3 那么Y=10+3X(公式1)

    X

    公式Y

    实际Y

    差值

    1

    13

    13

    0

    2

    16

    14

    2

    3

    19

    20

    -1

    4

    22

    21

    1

    5

    25

    25

    0

    6

    28

    30

    -2


    我们希望我们预测的公式与实际值差值越小越好,所以就定义了一种衡量模型好坏的方式,即损失函数(用来表现预测与实际数据的差距程度)。于是乎我们就会想到这个方程的损失函数可以用绝对损失函数表示:

    公式Y-实际Y的绝对值,数学表达式:[1]

    上面的案例它的绝对损失函数求和计算求得为:6

    为后续数学计算方便,我们通常使用平方损失函数代替绝对损失函数:

    公式Y-实际Y的平方,数学表达式:L(Y,f(X))= [1]

    上面的案例它的平方损失函数求和计算求得为:10

    以上为公式1模型的损失值。

    假设我们再模拟一条新的直线:a0=8,a1=4

    X

    公式Y

    实际Y

    差值

    1

    12

    13

    -1

    2

    16

    14

    2

    3

    20

    20

    0

    4

    24

    21

    3

    5

    28

    25

    3

    6

    32

    30

    2


    公式2   Y=8+4X

    绝对损失函数求和:11  平方损失函数求和:27

    公式1   Y=10+3X

    绝对损失函数求和:6  平方损失函数求和:10

    从损失函数求和中,就能评估出公式1能够更好得预测门店销售。

     

    统计学习中常用的损失函数有以下几种:

    (1) 0-1损失函数(0-1 lossfunction):

     L(Y,f(X))={1,0,Y≠f(X)Y=f(X)

     (2) 平方损失函数(quadraticloss function)

     L(Y,f(X))=(Y−f(X))2

     (3) 绝对损失函数(absoluteloss function)

     L(Y,f(X))=|Y−f(X)|

     (4) 对数损失函数(logarithmicloss function) 或对数似然损失函数(log-likelihood loss function)

     L(Y,P(Y|X))=−logP(Y|X)

     损失函数越小,模型就越好。




    展开全文
  • 机器学习中的常见问题——损失函数
  • [机器学习笔记] 什么是损失函数

    万次阅读 多人点赞 2018-02-01 11:40:29
    机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小,模型越好,如果预测值与真实值相等,就是没有损失。 用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。 常用的损失函数...

    机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小,模型越好,如果预测值与真实值相等,就是没有损失。
    用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。

    常用的损失函数有以下几种(引用自李航的《统计学习方法》)
    1. 0-1损失函数
    0-1损失函数
    二类分类任务中,预测值与真实值不同,就是预测错误,则损失是1;
    预测值与真实值相等,就是预测正确,损失是 0,就是没有损失。

    2. 平方损失函数
    平方损失函数
    预测值与真实值的差的平方。预测误差越大,损失越大。好理解吧。

    3. 绝对损失函数
    绝对损失函数
    预测值与真实值的差的绝对值。绝对值不方便计算,一般不常用。

    4. 对数损失函数
    对数损失函数
    对于预测值是概率的情况,取对数损失。因为概率范围[0, 1] 所以对数值是(-∞, 0) ,为了让损失 > 0 所以取对数的负值。上面的公式里面有个负号。看图像,一目了然哈哈:
    对数曲线

    展开全文
  • 机器学习之常见的损失函数(loss function)

    万次阅读 多人点赞 2019-03-06 09:40:43
    解决一个机器学习问题主要有两部分:数据和算法。而算法又有三个部分组成:假设函数、损失函数、算法优化。我们一般在看算法书或者视频教学时,更多的是去推算或者说参数估计出其假设函数,而往往不太注重损失函数,...

    解决一个机器学习问题主要有两部分:数据和算法。而算法又有三个部分组成:假设函数、损失函数、算法优化。我们一般在看算法书或者视频教学时,更多的是去推算或者说参数估计出其假设函数,而往往不太注重损失函数,但是损失函数在面试时却是一个很重要的知识点。所以仅在此以自己理解的方式总结一些常见的损失函数,作为笔记方便日后复习。

    参考文章:

    一、总览

    在机器学习中,通常把模型关于单个样本预测值与真实值的差称为损失,损失越小,模型越好,而用于计算损失的函数称为损失函数。本文介绍的主要有以下的一些损失函数。

    1. logLoss (对数损失函数,LR)

    2. hinge loss (合页损失函数,SVM)

    3. exp-loss (指数损失函数,AdaBoost)

    4. cross-entropy loss (交叉熵损失函数,Softmax)

    5. quadratic loss (平方误差损失函数,线性回归)

    6. absolution loss (绝对值损失函数, )

    7. 0-1 loss (0-1损失函数)

    二、 logLoss (对数损失函数,也叫binary cross entropy,二元交叉熵损失,LR)

    逻辑回归模型中,通过把线性拟合分类边界的结果送入sigmoid函数,从而得到预测为正的概率。那么很多人可能认为logistics regression模型的损失函数为平方损失函数?其实不是,而是logLoss。为什么是logloss呢?在逻辑回归推导过程中,我们假设样本不是0就是1,即假设样本服从伯努利分布(0-1, 伯努利分布亦称“零一分布”、“两点分布”),然后求满足分布的似然函数,转成对数似然,在对对数似然求极值等。而逻辑回归并没有求似然函数的极值,而是把极大化当成一种思想,对极大取负号变成取极小值。从损失函数的角度去看,其就变成了log损失函数。

    logLoss (log 损失函数)的函数标准形式:

                                                       L(Y,\ P(Y|X)) = - log\ P(Y|X)

    逻辑回归的P(Y=y|x)的表达式如下:

                                P(Y=y|x) = \left\{\begin{matrix} \ \ \ \ \ \ \ h_\Theta (x) = g(f(x)) = \frac{1}{1+e^{-f(x)}}, \ \ \ \ y=1\ \ \ \ \\\\ 1 - h_\Theta (x) = 1 - g(f(x)) = \frac{1}{1+e^{f(x)}}, \ \ y = 0 \end{matrix}\right.

    把P(Y=y|x)带入log loss得:

                               L(y, P(Y=y|x)) = \left\{\begin{matrix} -log\ h_\Theta (x)\ \ \ \ \ \ \ \ \ ,\ y=1\\ \\ -log\ (1- h_\Theta (x))\ , \ y=0 \end{matrix}\right.

    分段函数不太好求解,我们对其进行合并,则最后逻辑回归的目标式子为:

                                         J(\Theta ) = -\frac{1}{m}\sum_{i=1}^{m}[y_i logh_\Theta (x_i) + (1-y_i)log(1-h_\Theta (x_i))]

    当然,一般我们在实际使用中会对目标函数加入正则化:

                                J(\Theta ) = -\frac{1}{m}\sum_{i=1}^{m}[y_i logh_\Theta (x_i) + (1-y_i)log(1-h_\Theta (x_i))]\ +\ \frac{\lambda }{2m}\sum_{j=1}^{n}\Theta_j^2

    m为样本数,n为特征数。

    上面就是逻辑回归使用log loss的推导过程了,得到该目标函数后就可通过梯度下降等优化方法进行求参咯,如果你还不了解逻辑回归,请点这里

    三、hinge loss (合页损失函数,SVM)

    在机器学习中,SVM是你不可能绕过去的模型,SVM有两种解释方式:

    第一种是我们非常熟悉的是通过间隔最大化方式,通过拉格朗日乘子法转化成对偶问题进行建模求解的,其(此处是说线性支持向量机)原始优化问题为:

                                                               \underset{w,b}{min}\ \ \frac{1}{2}||w||^2+C\sum_{i}^{m}\xi_i

                                                               st. \ \ \ y_i(w^Tx_i+b)\geq 1-\xi_i,\ \ \ i=1,2,...,m

                                                                                   \xi_i\geq 0,\ \ \ \ \ i=1,2,...,m 

    通过拉格朗日乘子法转化并求解之后,得到的式子为:

                                                                          \underset{\alpha }{min}\ \ \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _i\alpha _jy_iy_jx_i^Tx_j\ -\ \sum_{i=1}^{m}\alpha _i

                                                                         st. \ \ \ \ \sum_{i=1}^{m}\alpha _iy_i=0

                                                                                    0\leq \alpha _i\leq C,\ \ i=1,2,...,m

    第二种就是包含有hinge loss的解释方式,其通过最小化下面的目标函数:

                                                            \sum_{i=1}^{m}[1 - y_i(w^Tx_i+b)]_+\ + \ \lambda ||w||^2 

    而上面的式子中,第1项是经验损失或者经验风险第二项为系数为\lambda的w的L2范数,为正则化项,对于第1项经验损失,函数

                                                                      L(y(w^Tx+b)) = [1-y(w^Tx+b)]_+

    称为合页损失函数(hinge loss function)。下标“+”表示下面取正值的函数:

                                                                      [z]_+=\left\{\begin{matrix} z,\ \ \ z> 0\\ \\ 0,\ \ \ z\leq 0 \end{matrix}\right.

    也可以这样理解:

                                                                     [z]_+ = max(0, 1-z)

                                                                     \sum_{i=1}^{m}max(0, 1-y_i(w^Tx_i+b)) + \lambda ||w||^2

    hinge loss function 表示,当样本点(x_i, y_i)被正确分类且函数间隔y_i(w^Tx_i+b)大于1时,其损失为0,否则损失为1-y_i(w^Tx_i+b)。所以在使用hinge loss function时,我们的最优化问题为最小化损失函数:

                                                                     \underset{w,b}{min} \ \ \ \sum_{i=1}^{m}[1-y_i(w^Tx_i+b)]_+\ +\ \lambda||w||^2

    转化证明详见《统计学习方法》-- 李航。

    对于多分类的linear SVM,我们的损失函数为多分类的hinge loss:

               

                     

    现在我们来讲一下下面公式的意思:

                                              L_i = \sum_{j\neq y_i}max(0, w^T_jx_i-w^T_{y_i}x_i+\Delta )

                                                   = \sum_{j\neq y_i}max(0, w^T_jx_i+\Delta -w^T_{y_i}x_i)

    也就说对于样本x_i,对于判定为其他类别的得分w_j^Tx_i与其正确的类型w_{y_i}^Tx_i的距离不能小于\Delta,如果超过范围,则其损失为超过的值,如下图:

     其中2的黄色框的红方点为正确类型的得分w_{y_i}^Tx_i,delta为最小的安全距离,则预测为其他类型的得分w_j^Tx_i不能超过1的黄色框中的红方点,或在1的左边损失为0,在1的右边则其损失为得分减去1的分值。

    四、exp-loss (指数损失函数,AdaBoost)

    集成学习中,主要有三种集成方法Boosting、Bagging、Stacking,而Boosting中著名的代表为AdaBoost算法。

    Boosting是一簇可将弱学习器提升为强学习器的算法。其工作机制为:先从初始训练集训练出一个基学习器,再根据基学习器的表现对样本分布进行调整,使得先前的基学习器做错的训练样本在后续收到更多的关注,然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器数目达到实现指定的值T,或整个集成结果达到退出条件,然后将这些学习器进行加权结合。

    Adaboost 算法采用调整样本权重的方式来对样本分布进行调整,即提高前一轮个体学习器错误分类的样本的权重,而降低那些正确分类的样本的权重,这样就能使得错误分类的样本可以受到更多的关注,从而在下一轮中可以正确分类,使得分类问题被一系列的弱分类器“分而治之”。对于组合方式,AdaBoost采用加权多数表决的方法,具体地,加大分类误差率小的若分类器的权值,减小分类误差率大的若分类器的权值,从而调整他们在表决中的作用。

    Adaboost的损失函数为指数损失函数。在Adaboost算法学习的过程中,经过m轮迭代之后,可以得到f_m(x):

                                                       f_m(x) = f_{m-1}(x)+\alpha _mG_m(x)

    而Adaboost每次迭代时的目的是为了得到:

                                                         (\alpha_m,G_m(x))=arg\ \underset{\alpha,G}{min}\sum_{i=1}^{N}exp[-y_if_{m}(x_i)]

                                                                              =arg\ \underset{\alpha,G}{min}\sum_{i=1}^{N}exp[-y_i(f_{m-1}(x_i)+\alpha_mG_m(x_i))]

    而指数损失(exp-loss)函数的标准形式为:

                                                        L(y, f(x)) = exp[-yf(x)]

    与Adaboost每次迭代时的目标函数类似。可以看出,Adaboost的目标式子就是指数损失,所以在给定n个样本的情况下,Adaboost的损失函数为:

                                                        L(y,f(x)) = \frac{1}{n}\sum_{i=1}^nexp(-y_if(x_i))

    五、cross-entropy loss (交叉熵损失函数,Softmax)

    1、先来看看什么是交叉熵?

    上过信息论的同学都知道,交叉熵是信息论中的概念,其原来是用来估算平均编码长度的。给定两个概率分布p和q,通过q来表示p的交叉熵为:

                                          H(p,q) = - \sum_{y}p(y)\ log\ q(y)

    交叉熵刻画的是两个概率分部之间的距离,或可以说其刻画的是通过概率分布q来表达概率分布p的困难程度,p代表正确答案,q代表的是预测值,交叉熵越小,两个概率的分布越接近。

    交叉熵损失函数通常使用在softmax上,而softmax通常使用在神经网络的末端,使其预测结果以概率的形式输出。Softmax函数为:

                                         {\color{DarkRed} \sigma (Z)_j=\frac{e^{z_j}}{\sum_{k=1}^Ke^{z_k}}}

     其把原始输出z_j转化成概率,从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离。

    举例子说就是,假设有一个3分类问题,某个样例的正确答案是(1,0,0),这个模型经过softmax回归之后的预测答案是(0.5,0.4,0.1),那么预测和正确答案之间的交叉熵为:

                                      H((1, 0,0),\ (0.5,0.4,0.1))=-(1*log\ 0.5+0*log\ 0.4+0*log\ 0.1)\approx 0.3

    如果另一个模型的预测是(0.8,0.1,0.1),那么这个预测值和真实值之间的交叉熵是:

                                     H((1, 0,0),\ (0.8,0.1,0.1))=-(1*log\ 0.8+0*log\ 0.1+0*log\ 0.1)\approx 0.1

    明显可见,模型2要优于模型1。也就是对于真实的概率分布(1,0,0),使用预测的概率分布(0.8, 0.1, 0.1去表达比使用(0.5,0.4,0.1)去表达要难度更小。

    从上面的例子,我们发现,对于第i个样本x_i,在给定参数W下的得分结果为f_{yi},则其损失函数为:

                                    L_i=-log(\frac{e^{f_{y_i}}}{\sum_je^{y_j}})

    这就是交叉熵损失。

    在多分类问题中,我们还可使用多分类hinge loss作为损失函数,多分类的hinge loss如下:

    六、quadratic loss (平方误差损失函数,线性回归)

    在回归问题中,我们常常使用平方误差作为其损失函数,其公式为:

                          L(Y,\ f(X))=(f(X)-Y)^2

    但更多的是使用其平均值,即

                                     l(Y,f(X))=\frac{1}{2m}\sum_{i=1}^m(f(x_i)-y_i)^2

    线性回归中常常添加正则化:

    加入L1正则化为Lasso回归:

                        L(Y,f(X))=\frac{1}{2m}\sum_{i=1}^{m}[f(x_i)-y_i]^2\ +\ \lambda\sum_{j=1}^n|w_j|

    加入L2正则化则为岭回归:

                         L(Y,f(X))=\frac{1}{2m}\sum_{i=1}^{m}[f(x_i)-y_i]^2\ +\ \lambda\sum_{j=1}^nw_j^2

     

    七、absolution loss (绝对值损失函数)

    绝对值损失函数的公式:

                          L(Y,f(X))=|Y-f(X)|

    表示预测值与真实值的距离。

    八、0-1 loss (0-1损失函数)

                                       L(y,f(x)) = \left\{\begin{matrix} 0 \ \ \ if\ \ y=f(x)& \\ & \\ 1 \ \ \ if\ \ y\neq f(x)& \end{matrix}\right.

                                       L(y,f(x))=I(y\neqf(x))

    展开全文
  • 前言:损失函数机器学习里最基础也是最为关键的一个要素,通过对损失函数的定义、优化,就可以衍生到我们现在常用的机器学习等算法中 损失函数的作用:衡量模型模型预测的好坏。 正文: 首先我们假设要预测一个...

    前言:损失函数是机器学习里最基础也是最为关键的一个要素,通过对损失函数的定义、优化,就可以衍生到我们现在常用的机器学习等算法中

    损失函数的作用:衡量模型模型预测的好坏。

    正文:

    首先我们假设要预测一个公司某商品的销售量:

    X:门店数 Y:销量

    我们会发现销量随着门店数上升而上升。于是我们就想要知道大概门店和销量的关系是怎么样的呢?

    我们根据图上的点描述出一条直线:

    似乎这个直线差不多能说明门店数X和Y得关系了:我们假设直线的方程为Y=a0+a1X(a为常数系数)。假设a0=10 a1=3 那么Y=10+3X(公式1)

    X

    公式Y

    实际Y

    差值

    1

    13

    13

    0

    2

    16

    14

    2

    3

    19

    20

    -1

    4

    22

    21

    1

    5

    25

    25

    0

    6

    28

    30

    -2

    我们希望我们预测的公式与实际值差值越小越好,所以就定义了一种衡量模型好坏的方式,即损失函数(用来表现预测与实际数据的差距程度)。于是乎我们就会想到这个方程的损失函数可以用绝对损失函数表示:

    公式Y-实际Y的绝对值,数学表达式:

    上面的案例它的绝对损失函数求和计算求得为:6

    为后续数学计算方便,我们通常使用平方损失函数代替绝对损失函数:

    公式Y-实际Y的平方,数学表达式:L(Y,f(X))=

    上面的案例它的平方损失函数求和计算求得为:10

    以上为公式1模型的损失值。

    假设我们再模拟一条新的直线:a0=8,a1=4

    X

    公式Y

    实际Y

    差值

    1

    12

    13

    -1

    2

    16

    14

    2

    3

    20

    20

    0

    4

    24

    21

    3

    5

    28

    25

    3

    6

    32

    30

    2

    公式对比,学习损失函数的意义

    公式2 Y=8+4X

    绝对损失函数求和:11 平方损失函数求和:27

    公式1 Y=10+3X

    绝对损失函数求和:6 平方损失函数求和:10

    从损失函数求和中,就能评估出公式1能够更好得预测门店销售。

    统计学习中常用的损失函数有以下几种:

    (1) 0-1损失函数(0-1 lossfunction):

    (2) 平方损失函数(quadraticloss function)

    (3) 绝对损失函数(absoluteloss function)

    (4) 对数损失函数(logarithmicloss function)或对数似然损失函数(log-likelihood loss function)

    损失函数越小,模型就越好。

    总结:

    损失函数可以很好得反映模型与实际数据差距的工具,理解损失函数能够更好得对后续优化工具(梯度下降等)进行分析与理解。很多时候遇到复杂的问题,其实最难的一关是如何写出损失函数。

     

    <div align="center">
     <img src="https://img-blog.csdnimg.cn/20191029235607711.png?,shadow_10,text_aHR0cHM6Ly92aXAwMS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70" width = "600" height = "400" alt="微信号">
    </div>

    展开全文
  • 机器学习中的损失函数

    千次阅读 2019-08-06 22:10:20
    一、常见的MSE、MAE损失函数 1.1 均方误差、平方损失 1.2 平均绝对误差 二、L1_Loss和L2_Loss 2.1 L1_Loss和L2_Loss的公式 2.2 几个关键的概念 1、鲁棒性(robustness) 2、稳定性 三、smooth L1损失函数 ...
  • 常见机器学习损失函数(Loss Function)  损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好...
  • 机器学习中常见的损失函数 现实世界中的DS (DS IN THE REAL WORLD) In mathematical optimization and decision theory, a loss function or cost function is a function that maps an event or values of one or ...
  • 机器学习中的损失函数分析

    万次阅读 多人点赞 2018-12-18 11:23:27
    这里分析讨论了机器学习中分类与回归问题应用的几个经典、简单的损失函数。 在机器学习中,所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程,我们常常把最小化的函数称为损失函数,它主要...
  • 损失函数 (loss function) 是用来估量在一个样本点上模型的预测值 h(x) 与真实值 y 的不一致程度。它是一个非负实值函数,通常使用 L(y, h(x)) 来表示。 损失函数可由 y 的类型来分类,而第三章提升树的梯度...
  • 机器学习离不开目标函数,我们分析一下目标函数: 其中,前一项是经验风险,后一项是结构风险。前者是为了增加 ML 对已有系统的 fitting,后者是尽量减少 ML 模型的复杂度,以避免 overfitting。整个损失函数称为...
  • 机器学习经典损失函数比较

    千次阅读 2018-01-09 10:43:40
    经典损失函数比较
  • 机器学习总结(三)——损失函数

    万次阅读 多人点赞 2018-08-21 19:59:33
    经典机器学习算法,他们最本质的区别是分类思想(预测y的表达式)不同,有的是基于概率模型,有的是动态规划,表象的区别就是最后的损失函数不同。 损失函数分为经验风险损失函数和结构风险损失函数,经验风险损失...
  • 详解机器学习中的损失函数

    千次阅读 2018-08-21 21:12:07
    详解机器学习中的损失函数 categories Blog description 机器学习中常见的损失函数以及它们的特点和适用场景 keywords 机器学习 损失函数 风险函数 1. 前言 我们知道机器学习的三要素是:方法= ...
  • 机器学习损失函数

    千次阅读 2016-11-17 16:42:57
    对比损失函数主要用来训练siamese网络,改网络为专门处理同时输入两张图像的网络,如用于FaceVerification的DeepID网络。在改网络的最后需要对比两张图像是否为一张人脸,因此需要一个对比损失函数。 (2) Euclidean...
  • 机器学习之--损失函数

    千次阅读 2016-10-11 20:09:57
    此文章翻译至机器学习的一章讲义:  http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf 损失函数。  我们能得到一般化的损失函数表达式,如下(14.1),在(14.1)中,...
  • 我们学习一个算法总是要有个指标或者多个指标来衡量一下算的好不好,不同的机器学习问题就有了不同的努力目标,今天我们就来聊一聊回归意义下的损失函数、正则化的前世今生,从哪里来,到哪里去。 一.L1、L2下的...
  • 浅析机器学习中各种损失函数及其含义

    万次阅读 多人点赞 2017-09-14 14:29:15
    常见的损失函数1.0-1损失函数(0-1 loss function)L(Y,f(X))={1,Y≠f(X)0,Y=f(X) L(Y,f(X))=\left\{ \begin{aligned}&1,\quad Y\ne f(X)\\& 0,\quad Y=f(X) \end{aligned} \right.   可以看出,该损失函数的意义...
  • Logistic损失函数是0-1损失函数的另一个代理损失函数,它也是0-1损失函数的凸上界,且该函数处处光滑。但是该损失函数对所有样本点都惩罚,因此对异常值更加敏感。当预测值 f ∈ [ − 1 , 1 ] f \in[-1,1] f ∈ [ ...
  • 机器学习中的损失函数和风险函数

    千次阅读 2018-03-08 20:40:24
    1、损失函数:度量一次模型的好坏统计学习中常用的损失函数有如下几种: 1. 0-1损失函数(0-1 loss function) 预测正确,损失函数为0;预测错误,损失函数为1;该函数不考虑预测差别多少。 2. 平方损失函数: 取...
  • 机器学习损失函数和风险函数

    千次阅读 2017-03-09 15:26:07
    当样本容量足够大的时候,经验风险最小化能保证有很好的学习效果,但样本数量小的时候,就会产生“过拟合”现象。因为参数太多,会导致我们的模型复杂度上升,容易过拟合(训练误差会很小),但训练误差小不是我们的...
  • 我们训练数据时,需要指定模型的损失函数,并对其进行优化处理,使得模型到达要求。那这个模型的损失函数,一般情况下是如何确定的呢?到底是选用平方损失函数还是绝对损失函数,或是对数损失函数??
  • 参考知乎:https://www.zhihu.com/question/52398145基本概念:损失函数...目标函数是一个与他们相关但更广的概念,对于目标函数来说在有约束条件下的最小化就是损失函数(loss function)。举个例子解释一下:(图片...
  • 机器学习中常见的损失函数

    万次阅读 多人点赞 2016-09-07 19:16:56
    机器学习中常见的损失函数   一般来说,我们在进行机器学习任务时,使用的每一个算法都有一个目标函数,算法便是对这个目标函数进行优化,特别是在分类或者回归任务中,便是使用损失函数(Loss Function)作为其...
  • 机器学习损失函数与风险函数

    千次阅读 2016-11-17 19:18:35
    1.损失函数与风险函数 监督学习的任务就是学习一个模型f作为决策函数,对于给定的输入X,给出相应的输出f(X),这个输出的预测值f(X)与真实值Y可能一致也可能不一致,用一...机器学习常用的损失函数有以下几种: (1)0-
  • 今天看到一篇很精简的文章来说明目标函数、损失函数以及正则项是什么。以下是文章正文。 转自:https://xiaozhuanlan.com/topic/7504682391 什么是目标函数? 定义是:指所关心的目标与相关的因素的函数关系。...
  • 每一个机器学习工程师都应该知道机器学习中这些常见的损失函数以及何时使用它们。 在数学优化和决策理论中,损失函数或成本函数将一个或多个变量的值映射为一个实数,该实数直观地表示与该事件相关的一些“成本”。 ...
  • 机器学习模型的损失函数

    千次阅读 2018-09-11 19:25:53
     最近被问到一些机器学习模型的损失函数,虽然经常使用,竟然记得不怎么准确,今天来梳理复习一下。后续继续补充。 3、模型 1)感知机  感知机就是求出一个超平面,划分正负样本集。损失函数就是所有误分点到...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 93,677
精华内容 37,470
关键字:

机器学习的损失函数是什么