精华内容
下载资源
问答
  • 代价函数

    万次阅读 多人点赞 2016-10-19 21:09:30
    我在网上找了很长时间代价函数的定义,但是准确定义并没有,我理解的代价函数就是用于找到最优解的目的函数,这也是代价函数的作用。二,代价函数作用原理 对于回归问题,我们需要求出代价函数来求解最优解,常用的...

    一,什么是代价函数
    我在网上找了很长时间代价函数的定义,但是准确定义并没有,我理解的代价函数就是用于找到最优解的目的函数,这也是代价函数的作用。

    二,代价函数作用原理
    对于回归问题,我们需要求出代价函数来求解最优解,常用的是平方误差代价函数。

    比如,对于下面的假设函数:
    这里写图片描述

    里面有θ0和θ1两个参数,参数的改变将会导致假设函数的变化,比如:
    这里写图片描述

    现实的例子中,数据会以很多点的形式给我们,我们想要解决回归问题,就需要将这些点拟合成一条直线,找到最优的θ0和θ1来使这条直线更能代表所有数据。
    这里写图片描述

    而如何找到最优解呢,这就需要使用代价函数来求解了,以平方误差代价函数为例。
    从最简单的单一参数来看,假设函数为:
    这里写图片描述

    平方误差代价函数的主要思想就是将实际数据给出的值与我们拟合出的线的对应值做差,这样就能求出我们拟合出的直线与实际的差距了。

    这里写图片描述

    而在前面乘以1/2,是因为后面求导会有2,为了简便计算。这样,就产生了代价函数:
    这里写图片描述

    而最优解即为代价函数的最小值,根据以上公式多次计算可得到
    代价函数的图像:
    这里写图片描述

    可以看到该代价函数的确有最小值,这里恰好是横坐标为1的时候。

    如果更多参数的话,就会更为复杂,两个参数的时候就已经是三维图像了:
    这里写图片描述

    高度即为代价函数的值,可以看到它仍然有着最小值的,而到达更多的参数的时候就无法像这样可视化了,但是原理都是相似的。
    因此,对于回归问题,我们就可以归结为得到代价函数的最小值:
    这里写图片描述


    这是我在学习ng的机器学习课程的基础上,经过自己的一些思考,写下学习笔记,重点是对于一些细节的思考和逻辑的理清。
    以上很多都是个人见解,如果有不对的地方还请大家指点。

    展开全文
  • 犯错代价【犯错的代价读后感】
  • 一致代价搜索

    2017-12-24 22:39:32
    针对给定的路线图,实现一致代价搜索的图搜索算法并记录搜索路径
  • 代价敏感学习

    万次阅读 2020-07-13 04:32:40
    关于代价敏感学习及自己的不成熟想法

    介绍

    代价敏感的学习是分类中错误产生导致不同的惩罚力度时该如何训练分类器。通常,不同的代价用一个 N × N N×N N×N的矩阵 C o s t Cost Cost表示,其中 N N N 是类别的个数。 C o s t [ i , j ] Cost_{[i, j]} Cost[i,j]表示将一个$i 类 的 对 象 错 分 到 类的对象错分到 j$ 类中的代价。代价敏感分类就是为不同类型的错误分配不同的代价,使得在分类时,高代价错误产生的数量和错误分类的代价总和最小。常用的方法有如下几种。

    1. 调整样本分布(Stratification)。这是一种传统的方法,它根据错误分类的代价,按照比例变换训练集中类别的频率。其缺点是改变了样本的分布情况,有时会影响算法的性能。
    2. 元代价(MetaCost)。这是一种将一般分类模型转换成代价敏感模型的方法。它通过一个“元学习”过程,根据最小期望代价修改训练样本的类标记,并使用修改过的训练集重新学习新的模型。
    3. 代价敏感决策。首先在训练集中多次采样,生成多个模型;再根据多个模型,得到测试样本属于每个类别的概率;然后计算测试样本的所有错误分类代价,并根据最小代价得到类标记。一种典型的做法是利用集成学习技术。

    类别

    其中 按照对问题的解决方法的不同,代价敏感学习的算法研究又可以分成三类。

    第一类

    第一类代价敏感的学习方法关注于如何直接构造一个代价敏感的学习模型,对不同的分类器模型研究者们提出了不同的解决办法,它们包括
    (1)决策树:Knoll 等和Bradford 等为决策树提出了代价敏感的剪枝方法,Bradford 等研究了在代价敏感的条件下如何对决策树进行剪枝使得损失达到最小,研究表明基于拉普拉斯方法的剪枝方法能够取得最好的
    效果,Drummond 和Holte 研究了代价敏感学习的决策树的节点分裂
    方法。
    (2) Boosting:Fan 等研究着提出了代价敏感的Boosting 算法Ada-Cost
    (3)神经网络:Geibel 和Wysotzki 提出了基于Perceptron 分类算法的代价敏感的学习方法,在文章中作者对不可分的类提出了代价敏感的参数更新规则。例如Kukar和Kononenko为神经网络提出了新的后向传播算法,使之能够满足代价敏感学习的要求。
    (4) Fumera 和Roli[37]以及Bradford 等从结构风险最小的角度来看代价敏感问题,提出了代价敏感的支持向量机分类算法。

    第二类

    第二类代价敏感的学习方法基于对分类结果的后处理,即按照传统的学习方法学习一个分类模型,然后对其分类结果按照贝叶斯风险理论对结果进行调整,以达到最小的损失。和第一类代价敏感学习方法相比,这种方法的优点在于其不依赖于所使用的具体的分类器。Domingos 提出了一种叫做MetaCost 的过程,它把底层的分类器看成一个黑箱子,不对分类器做任何的假设和改变,MetaCost可以应用到任何个数的基分类器和任何形式的代价矩阵上。给定一个样例x,基分类器得出它属于第j个类的概率为Pr(j|x),这样,认为x 属于第i个类的贝叶斯最优预测的风险为:R(i|x) = ΣP(j|x)C(i,j)(C(i,j)是把属于类别j的分为类别i的代价)。

    第三类

    第三种代价敏感的学习方法基于传统的学习模型,通过改变原始训练数据的分布来训练得到代价敏感的模型。Chan 和Stolfo 提出了层次化模型(Stratification),把分布不均匀的训练数据调整为正负例均匀分布的数据。Zadrozny等研究者基于cost-proportionate 的思想,对训练数据调节权值,在实际应用中,其类似于Boosting 算法,可以通过为分类模型调节权值来进行实现,又可以通过采样(subsampleing)来实现。Abe 等提出了对多类分类问题中如何实现代价敏感的学习进行了探讨,提出了一种新的迭代学习方法。

    开始表演

    下面是本人瞎写的一种基于代价敏感学习的防作弊方法

    用较为常见的一维度数据展示基于代价敏感的卷积神经网络:
    η = a n 1 b n 2 n = n 1 + n 2 \eta=\frac{\frac{a}{n_1}}{\frac{b}{n_2}} \\ n=n_1+n_2 η=n2bn1an=n1+n2
    其中n为样本总数, n 1 n_1 n1 n 2 n_2 n2分别表示一维样本中的两个不同群体,其中 a a a b b b又分别是 n 1 n_1 n1 n 2 n_2 n2中符合某种条件/不符合某种条件的样本。

    但是其中是由于数据不准确导致 a a a存在虚假数据,因此以上公式可以认定是不正确的,使用代价敏感卷积神经网络的将其正确分类的其步骤是:

    • 获取一维特征数据集的步骤:对包含样本群体与是否符合条件的原始数据集进行分析,利用统计方法提取样每个样本的特征,获得一维特征数据集;

    • 构造特征矩阵的步骤:利用多粒度的时间窗口将一维特征转换成特征矩阵;

    • 分类预测训练的步骤:将特征矩阵数据集作为输入,选择卷积神经网络结构进行分类
      预测训练;在输出层引入代价敏感机制,利用阈值移动进行反向传播;

    • 利用训练好的分类预测。

    代价敏感卷积神经网络

    (全连接层以及层数表示有点问题)

    展开全文
  • 嵌入误分类代价和拒识代价的极限学习机基因表达数据分类
  • 代价敏感支持向量机

    2021-01-15 07:02:27
    以分类精度为目标的传统分类算法通常假定:每个样本的误分类具有同样的代价且每类样本数大致相等.但现实数据挖掘中该假定不成立时,这些算法的直接应用不能取得理想的分类和预测.针对此缺隙,并基于标准的SVM,通过在SVM...
  • 代价敏感属性选择问题的目的是通过权衡测试代价和误分类代价,得到一个具有最小总代价的属性子集。目前,多数代价敏感属性选择方法只考虑误分类代价固定不变的情况,不能较好地解决类分布不均衡等问题。而在大规模...
  • 小数点的代价.docx

    2021-09-12 00:02:40
    小数点的代价.docx
  • 二次代价函数的局限性 首先来说一下二次代价函数的局限性,看下面这张图: 假设现在使用的激活函数是sigmoid,并且代价函数是二次代价函数,我们收敛得目标是1,那么A点的梯度比较大,B点由于离目标比较近梯度小,...
    二次代价函数的局限性

    首先来说一下二次代价函数的局限性,看下面这张图:
    在这里插入图片描述
    假设现在使用的激活函数是sigmoid,并且代价函数是二次代价函数,我们收敛得目标是1,那么A点的梯度比较大,B点由于离目标比较近梯度小,所以是合理的;但是如果我们的收敛目标是0,那么A点离目标比较近,所以梯度应该要小于B点,但是图中明明是A点的梯度大于B点,这是不合理的。

    交叉熵

    正式由于二次大家函数的这个局限性,我们需要引入交叉熵。看下面这张图:
    在这里插入图片描述

    上面这张图中, C = − 1 2 ∑ [ y l n a + ( 1 − y ) l n ( 1 − a ) ] C=-\frac{1}{2}\sum[ylna+(1-y)ln(1-a)] C=21[ylna+(1y)ln(1a)]代表的是交叉熵代价函数,对w和b进行求导后得到下面的式子:
    在这里插入图片描述
    现在我们发现w和b的调整已经跟 激活函数的导数(注意是导数哦) 无关了,而是跟输出值和真实值的误差有关,他们的误差越大,梯度也就越大,w和b的收敛速度越快。

    总结

    虽然二次代价函数有自身的局限性,但是我们也不能因此而丢弃它不用,因为在线性回归问题中它依然用后很大的价值,因此要根据实际需要选择代价函数。底下是一个小结,大家可以在实际中根据需要进行选择:

    • 二次代价函数:输出神经元是线性的就选用该代价函数
    • 交叉熵代价函数:输出神经元是S型的就选用该代价函数,例如sigmoid激活函数中(tf.nn.sigmoid_cross_entropy_with_logits())
    • 对数似然代价函数:输出神经元是softmax的时候选用(tf.nn.softmax_cross_entropy_with_logits())

    结束线/

    欢迎大家加入Q群讨论:463255841

    结束线/

    展开全文
  • 错误代价

    千次阅读 2019-10-08 12:30:08
    假如,将A类别错分为B类别的代价与将B类别错分为A类别的代价是相同的,那么可以取X0作为区分的阈值,即,对于某个类别未确定的样本,如果其特征值大于X0,那么将其判为B类,否则判为A类。 如果不想将A类错判为B类,...

    假设有A、B两个类别,feature为特征值,count为数量。

    蓝色和红色的曲线分别表示了,随着特征值的变化,A类别事物出现的数量以及B类别事物出现的数量。

    假如,将A类别错分为B类别的代价与将B类别错分为A类别的代价是相同的,那么可以取X0作为区分的阈值,即,对于某个类别未确定的样本,如果其特征值大于X0,那么将其判为B类,否则判为A类。

    如果不想将A类错判为B类,即将A类错判为B类的错误代价更大,那么可以在[X1,X0]之间取值作为判别的阈值。

    相反的,如果不想讲B类错判为A类,即将B类错判为A类的错误代价更大,那么可以在[X0,X2]之间取值作为判别的阈值。

    转载于:https://www.cnblogs.com/elaron/archive/2012/10/16/2726264.html

    展开全文
  • 代价敏感错误率与代价曲线

    千次阅读 2020-05-18 19:58:11
    因此为了权衡不同类型错误所造成的不同的损失,可为错误赋予“非均等代价(unequal cost)”。 以二分类为例:可设定一个代价矩阵(cost matrix) 真实类别 预测 第0类 结果 ...
  • 为了进一步提高汉语语音合成的自然度,通过对汉语语音合成技术的分析与对比,确定了以汉语音节作为拼接的合成基元,采用韵律匹配代价和韵律拼接代价的方法,进行合成基元的优化选取,实现了汉语语音合成的韵律建模...
  • 代价敏感的随机森林

    2019-03-04 16:27:19
    关于代价敏感随机森林的参考文章,主要针对非平衡的数据集
  • 降维分为三种:特征选择、线性降维和非线性降维。本文主要介绍一些关于降维的基本知识以及线性降维的典例PCA(主成分分析法)
  • 印度气候变化的代价:印度面临的气候相关风险及其经济和社会代价(英文).pdf
  • 二次代价函数和交叉熵代价函数

    千次阅读 2018-02-28 00:44:10
    交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价...
  • 代价函数总结

    千次阅读 2017-09-22 16:06:18
    代价函数是学习模型优化时的目标函数或者准则,通过最小化代价函数来优化模型。到目前为止,接触了一些机器学习算法,但是他们使用的代价函数不一定是一样的,由于,在现实的使用中,通常代价函数都需要自己来确定,...
  • 最小代价路径标签传播算法
  • 软件非功能需求权衡代价
  • 交叉熵代价函数

    2017-09-26 14:03:54
    本文是《Neural networks and deep learning》概览 中第三章的一部分,讲machine learning算法中用得很多的交叉熵代价函数。 1.从方差代价函数说起 代价函数经常用方差代价函数(即采用均方误差MSE),比如对于一个...
  • 1.2不言代价与回报

    2020-11-19 17:17:02
    1.2不言代价与回报
  • 计算代价函数

    2018-10-25 14:39:25
    计算代价函数
  • 初中语文文摘励志爱的代价
  • 初中语文文摘社会成长的代价

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 531,420
精华内容 212,568
关键字:

代价