精华内容
下载资源
问答
  • 看了这一篇知乎文章,又加深了一遍印象 https://www.zhihu.com/question/27126057

    看了这一篇知乎文章,又加深了一遍印象

    https://www.zhihu.com/question/27126057

    为什么不用平方损失函数,原因是使用平方损失函数,会存在很多局部极小点,梯度下降很容易陷入局部最优

    https://www.zhihu.com/question/264396874/answer/281443787

    展开全文
  • Logistic回归损失函数推导

    千次阅读 2019-01-29 08:10:07
    【学习任务】 ...Logistic回归为什么不像线性回归那样用平方损失函数? Logistic回归的参数为什么不像线性回归那样直接公式求解? Logistic回归与线性回归有哪些联系? 一.Logisti...

    前言

    在Logistic回归的极大似然推导之前,我们先要明白,什么是Logistic回归?
    回归问题可以分成如下三类:
    在这里插入图片描述
    其中广义线性回归,本质上是非线性回归,但我们可以把它转变为线性回归来做。而Logistic回归就是广义线性回归的一种。那为什么广义线性回归可以将非线性转变为线性来做呢?

    广义线性回归实质上是线性回归的扩展,其要求因变量只能通过线性的形式来依赖于自变量,从而保持了线性自变量的思想。那具体怎么以线性的形式依赖?广义线性通过设定一个连接函数,将因变量的期望与因变量相联系,并且对误差的分布给出了一个误差函数

    因此对于广义线性回归模型而言,其有三部分构成:
    第一是线性自变量,描述了自变量与因变量的直接关系;
    第二是连接函数,描述了因变量与因变量的期望之间的关系;
    第三是误差函数,描述了广义线性模型中的随机误差。

    Logistic回归损失函数的极大似然推导:西瓜书公式3.27怎么推来的?

    在说明清楚Logistic回归之前,我们先来讲清楚Logistic回归的广义,即对数线性回归(log-linear regression)是什么。
    根据上节的内容,线性回归
    我们知道线性回归表达的是真实标记y与自变量x的一一映射,那么,我们如何得到自变量x与y的期望值的一个映射呢?
    假设y的期望值是一个对数函数,那么我们可以知道:
    在这里插入图片描述
    于是得到了对数线性回归模型(log-linear regression),这里y的期望函数,即对数函数起到了将线性回归模型的预测值和真实标记联系起来的作用。

    理解到这,再往下看对数几率回归(Logistic regression),即Logistic回归损失函数,其只是将y的期望函数,即连接函数改变为了sigmoid函数,那么连接函数的选择有没有什么要求呢?西瓜书上p57页提到,说对于“只需要找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来”。这里再多解释下,为什么要用单调可微?因为后期会需要求导,单调可微是为了让求导的局限性更小。

    在这里插入图片描述
    到这里以后,我们仅仅是说出了Logistic回归是什么,但是它和极大似然又有什么毛关系呢?又为何用极大似然来求它的损失函数?
    我们先来看下sigmoid函数的特性:
    在这里插入图片描述
    sigmoid函数对应的取值范围是0-1,即采用概率的方式来进行判断,正是基于此,因此在求概率的分布情况时,同上一篇博客一样,我们才可以通过极大似然估计来推导其损失函数,推导过程如下:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在求出似然函数后,接下来要考虑的就是如何最大化似然函数以求出损失函数,因为根据最优化原理,任何最大化问题统一转为最小,任何凹函数都转为凸函数。所以将最大化似然函数变为最小化其相反的函数,并将其相反的函数作为损失函数,如下:

    在这里插入图片描述
    对照西瓜书求解如下:
    在这里插入图片描述
    总结->Logistic回归:就是用对数几率函数,将模型预测值z转化为接近0或1的y值,再用线性模型拟合y的对数几率。

    Logistic回归损失函数的极大似然推导:西瓜书公式3.27怎么推来的?

    Logistic回归损失函数的最优化算法:什么是牛顿法、拟牛顿法?

    为什么不用线性回归做分类?

    Logistic回归为什么不像线性回归那样用平方损失函数?

    Logistic回归的参数为什么不像线性回归那样直接公式求解?

    Logistic回归与线性回归有哪些联系?

    展开全文
  • 线性回归损失函数推导-最大似然

    千次阅读 2018-05-28 20:01:18
    之前是根据函数图像推导损失函数为误差平方和,这次用统计学方法推导。 拟合数据,就是把误差减到最小 误差ϵ=y−θTXϵ=y−θTX\epsilon=y-\theta^TX。 假设误差服从正态分布,误差最小也就是期望为0。ϵϵ\...

    统计看了一遍就是为了这里!
    线性回归假设函数为
    y=θTX
    之前是根据函数图像推导出损失函数为误差平方和,这次用统计学方法推导。
    拟合数据,就是把误差减到最小
    误差ϵ=yθTX
    假设误差服从正态分布,误差最小也就是期望为0。ϵ~N(0,σ2)
    最大似然估计就是使所有样本最接近参数,也就是似然函数最大。
    求似然函数
    L(θ)=i=1mp(ϵ)=i=1m12πσeϵ22σ2
    L(θ)=12πm1σmei=1mϵ22σ2
    L(θ)=2πmσmei=1m(yθTX)22σ2
    两边取ln
    lnL(θ)=mln(2π)mln(σ)12σ2i=1m(yθTX)2
    要使似然函数最大,i=1m(yθTX)2就要最小。也就是误差平法和最小。

    展开全文
  • 前面一节,介绍了神马是...损失函数,不知道为啥,doctor wu瞬间就拿出了平方差这个方法,上网搜索了下,对于损失函数,还是有几种选择。请查看。 常见的损失函数(信息引用http://blog.csdn.net/bitcarmanlee/art

    前面一节,介绍了神马是sigmoid函数。

    其实他的本质,根据doctor wu所示,就是y=wTx+b

    机器学习的重点就是能够算出wT和b两个不同的参数,进行模拟。

    损失函数,不知道为啥,doctor wu瞬间就拿出了平方差这个方法,上网搜索了下,对于损失函数,还是有几种选择。请查看。

    常见的损失函数(信息引用http://blog.csdn.net/bitcarmanlee/article/details/51165444)

    机器学习或者统计机器学习常见的损失函数如下:

    1.0-1损失函数 (0-1 loss function) 

    L(Y,f(X))={1,0, f(X)Y = f(X)

    2.平方损失函数(quadratic loss function) 

    L(Y,f(X))=(Yf(x))2

    3.绝对值损失函数(absolute loss function) 

    L(Y,f(x))=|Yf(X)|

    4.对数损失函数(logarithmic loss function) 或对数似然损失函数(log-likehood loss function) 

    L(Y,P(Y|X))=logP(Y|X)

    逻辑回归中,采用的则是对数损失函数。如果损失函数越小,表示模型越好。

    损失函数详解

    根据上面的内容,我们可以得到逻辑回归的对数似然损失函数cost function: 

    cost(hθ(x),y)={log(hθ(x))log(1hθ(x))if y=1if y=0

    稍微解释下这个损失函数,或者说解释下对数似然损失函数: 
    当y=1时,假定这个样本为正类。如果此时hθ(x)=1,则单对这个样本而言的cost=0,表示这个样本的预测完全准确。那如果所有样本都预测准确,总的cost=0 
    但是如果此时预测的概率hθ(x)=0,那么cost。直观解释的话,由于此时样本为一个正样本,但是预测的结果P(y=1|x;θ)=0, 也就是说预测 y=1的概率为0,那么此时就要对损失函数加一个很大的惩罚项。 
    当y=0时,推理过程跟上述完全一致,不再累赘。

    将以上两个表达式合并为一个,则单个样本的损失函数可以描述为: 

    cost(hθ(x),y)=yilog(hθ(x))(1yi)log(1hθ(x))

    因为 yi 只有两种取值情况,1或0,分别令y=1或y=0,即可得到原来的分段表示式。

    全体样本的损失函数可以表示为: 

    cost(hθ(x),y)=i=1myilog(hθ(x))(1yi)log(1hθ(x))

    这就是逻辑回归最终的损失函数表达式

    好了,上面就是具体的推导,其实成本函数就是对损失函数的求和。但是至于具体如何使用,博主还是不太清楚,在下面的学习中,我会弄懂,究竟是如何利用成本损失函数进行机器学习。



    展开全文
  • 损失函数推导

    万次阅读 2018-06-24 00:45:03
    之前在机器学习算法的学习中一直疑惑,为什么cost...起初认为是绝对值不好计算因而换成平方项,但是这个1212\frac{1}{2}解释不通(虽然它并不影响),而且为什么不是其余偶数次项,于是很好奇这个是怎么来的。 后面...
  • Logistic回归的极大似然估计求解参数的推导:https://blog.csdn.net/LegenDavid/article/details/79221063 ...推导到最后要计算的方程(对各个参数求偏导,使其等于0,这样联合概率取得最大值--极大似然),和Log...
  • (给机器学习算法与Python学习加星标,提升AI技能)作者:董文辉本文长度为4500字,建议阅读10+分钟... 平方损失函数(最小二乘法):回归问题中常用的损失函数,在线性回归中,可以通过极大似然估计(MLE)推导。计算的是...
  • 《李宏毅机器学习》课程中 逻辑...解析损失函数之categorical_crossentropy loss与 Hinge loss. categorical_crossentropy(交叉熵损失函数) 交叉熵是用来评估当前训练得到的概率分布与真实分布的差异情况。 它刻画...
  • 特别无奈 逻辑回归的损失函数为啥是交叉熵 我的另一篇博客:逻辑回归为什么...逻辑回归为啥不用平方损失 原因很简单:就是会出现梯度消失问题,至于为啥看下面的这个推导(我真是无语!),其他的真的没啥说的了 ...
  • 作者:董文辉本文长度为4500字,建议... 平方损失函数(最小二乘法):回归问题中常用的损失函数,在线性回归中,可以通过极大似然估计(MLE)推导。计算的是预测值与真实值之间距离的平方和。实际更常用的是均方误差(...
  • 平方损失函数(最小二乘法):回归问题中常用的损失函数,在线性回归中,可以通过极大似然估计(MLE)推导。计算的是预测值与真实值之间距离的平方和。实际更常用的是均方误差(MSE): 2. 平均绝对值误差(L1)-- ...
  • LR逻辑回归与损失函数理解1、LR的推导2、损失函数2.1 对数损失函数:2.2 平方损失函数:2.3 指数损失函数:2.4 Hinge损失函数:2.5 0-1损失函数:2.6 绝对值损失函数: 1、LR的推导   LR逻辑回归是一种监督学习...
  • XGBoost推导

    2020-02-10 22:16:34
    文章目录1、XGBoost损失函数1.1常见的损失函数(待补充)1.1.1 平方损失函数1.1.2 对数损失函数 1、XGBoost损失函数 XGBoost损失函数由两部分构成,一部分(第一项)是经验损失,另一部分(第二项和第三项)是正则化项...
  • 2. 代价函数(Cost Function)衡量一个假设函数的“损失”,又称作“平方和误差函数”(Square Error Function),给出如下定义:相当于,对所有样本的假设值与真实值之差的平方再求总和,再除以样本数量m,得到平均...
  • 损失函数(平方损失函数): 梯度下降更新参数: 添加正则化的损失函数: python实现: def grad_descent(dataMatIn, classLabels): dataMatrix = np.mat(dataMatIn) labelMat = np.mat(classLabels).transpose...
  • 当我们使用平方误差作为损失函数的时候,你 会想要让这个误差尽可能地小,对于这个逻辑回归损失函数,我们也想让它尽可能地小,为 了更好地理解这个损失函数怎么起作用,举两个例子: 当y = 1时损失函数,如果想...
  • 多项式回归 项目链接:https://github.com/Wchenguang/gglearn/blob/master/PolynomialClassifier/...公式推导 损失函数定义为平方损失函数 cos⁡t=12(f(X)−Y)2L=1N×∑i=1N12(∑j=0M(wjxij)−yi)2 \begin{arra...
  • 对于一般的回归树,采用平方误差损失函数,这时根据前向分布每次只需要达到最优化,就能保证整体上的优化。由于平方误差的特殊性,可以推导出每次只需要拟合残差(真实值-预测值)。而对于其他损失函数, Fre
  • BP算法简单推导过程

    2019-04-28 23:09:56
    在这里想到你已经了解了神经网络的基本过程,就输入层,隐含层,输出层基本思路,然后按下图最简单的推导过程,以一个输出...反向传播,利用梯度下降算法最小化损失函数的过程,主要采取链式求导,这里以为举例 下次...
  • 最近有人问我一个问题,我数学不好,代码基础薄弱,英语一般般,如何入门...均方差损失,MSE,平方损失函数,二次代价函数都是什么意思?这个问题问得好,诸如学好数学,多敲代码,攻克专八这类标准回答我就不多说了...
  • 均方差损失,MSE,平方损失函数,二次代价函数都是什么意思? 这个问题问得好,诸如学好数学,多敲代码,攻克专八这类标准回答我就不多说了。我们这回用Python实战教程案例,分分钟带你入门。 下面我们通过机器学习...
  • 均方差损失,MSE,平方损失函数,二次代价函数都是什么意思?这个问题问得好,诸如学好数学,多敲代码,攻克专八这类标准回答我就不多说了。我们这回用Python实战教程案例,分分钟带你入门。下面我们通过机器学习的...
  • 文章目录最小二乘法代数求解step1:f=∑i=1n(yi−(w0+w1xi))2f=\sum_{i=1}^{n}(y_{i}-(w_0+w_1x_i))^2f=∑i=1n​(yi​−(w0​+w1​xi​))2为平方损失函数;step2:分别对该函数的w0w_0w0​和w1w_1w1​求偏导;step3:...
  • 对于回归问题:决策数是二叉回归树,其中损失函数为误差平方和 一般决策问题:一般损失函数,为梯度下降算法 1. 提升树原理 对于二分类问题只需要将AdaBoost中的基本分类器限定为二分类树即可,即是...
  • 一元线性回归假设我们的模型只有一维数据,模型是一条直线 ,我们共有 条训练数据,损失函数为误差平方和的平均数:可以对 和 分别求导,导数为0时,损失函数最小。上面两个公式是损失函数 对 和 进行求偏导。当导数...
  • 一元线性回归假设我们的模型只有一维数据,模型是一条直线,我们共有条训练数据,损失函数为误差平方和的平均数:可以对和分别求导,导数为0时,损失函数最小。上面两个公式是损失函数对和进行求偏导。当导数为...
  • 岭回归与LASSO都是基于线性回归上的...岭回归(ridge regression)考虑线性回归模型,以平方误差作为损失函数,并引入$L_2$范数进行正则化,从而防止过拟合。 而LASSO则将$L_2$范数替换为$L_1$范数,其更容易得到稀疏解
  • 线性回归 岭回归(Ridge) Lasso回归 线性回归 线性回归模型方程形式: ...线性回归的任务就是要构造一个预测函数来映射,输入的特征矩阵和标签的线性关系。...从损失函数可以看出其实这就是L2范式的平方。L2范...
  • **均方差损失,MSE,平方损失函数,二次代价函数都是什么意思?这个问题问得好,诸如学好数学,多敲代码,攻克专八这类标准回答我就不多说了。我们这回拿一个实际案例,分分钟带你入门。下面我...
  • 目标函数也就是在机器学习中常说的损失函数,我们的目标是得到使目标函数最小化时候的拟合函数的模型。 举一个最简单的线性回归的简单例子,比如我们有m个只有一个特征的样本:  (x(1),y(1)),(x(2),y(2),…(x(m),y...

空空如也

空空如也

1 2 3 4 5
收藏数 88
精华内容 35
关键字:

平方损失函数推导