精华内容
下载资源
问答
  • 机器学习:偏差、噪声的几点认识

    千次阅读 2019-03-20 14:45:12
    最近在看周志华老师的机器学习的书籍(俗称西瓜书)。 因为数学功底差,在理解起来困难重重,但是冥思苦想后还有自己的看法,记录一下并大家分享讨论。 几点理解: 0.吹年之前,先说个 人们容易忽略的概念 真值...

    最近在看周志华老师的机器学习的书籍(俗称西瓜书)。

    因为数学功底差,在理解起来困难重重,但是冥思苦想后还有自己的看法,记录一下并和大家分享讨论。

    几点理解:

    0.吹年之前,先说个 人们容易忽略的概念  真值!

    真值是啥玩意那,就是一个我们不知道的(有时候是我们的目标哦),但是实际存在的东西,比如测电压时的测量值和真值。

    补充一下真值的概念:真值是指在一定的时间及空间(位置或状态)条件下,被测量所体现的真实数值。真值是一个变量本身所具有的真实值,它是一个理想的概念,一般是无法得到的。

    为啥要提真值那?因为真值不是统计学的概念,后面的噪声和偏差都涉及到了真值

    1.噪声是什么玩意,怎么理解?

    噪声的公式为:

    噪声为真实标记与数据集中的实际标记间的偏差:

    说白就是:衡量我拿到的数据集的数据的质量如何,有句话说的好,巧妇难为无米之炊,你原始数据差,我算法再好也搞不定啊,因此噪声是无法通过算法改善的,噪声就是物质的存在(但是人们可以对噪声进行处理,比如滤波)。但是人们总是想(期望)拿到数据的值和真值之间的差的平均值为零,也就是噪声期望为零。举个通俗易懂的例子:我们通过设备测信号,我们总是期望测得的数据就是信号的真值,但是实际上,测得数据都是在真值上下移动,衡量数据与真值的差,我们引入了噪声的概念。但是凡是涉及到真值统计学的角度都无法知道真值。

    2.另外一个涉及到真值的统计量就是:

    偏差

    期望预测与真实标记的误差称为偏差(bias), 为了方便起见, 我们直接取偏差的平方:

    偏差相比起噪声来很容易理解,就是我算法获得值和目标值(真值)的偏差呗!在此不做过多赘述。

     

    注:以上分析仅代表我的个人观点,如果不赞同,欢迎讨论!

    展开全文
  • 机器学习中的方差、偏差和噪声

    千次阅读 2018-07-14 22:39:25
      机器学习算法一般都会有训练测试的过程,而且算法在不同训练集(训练集来自同一个分布)上学得的模型,测试的结果也很可能不同。   一般来说,算法的方差衡量了训练集的变动导致的模型性能的变化,即多次...

    机器学习算法一般都会有训练和测试的过程,而且算法在不同训练集(训练集来自同一个分布)上学得的模型,测试的结果也很可能不同。

    一般来说,算法的方差衡量了训练集的变动导致的模型性能的变化,即多次训练的模型之间的性能差异性。偏差则是度量算法的期望输出与真实标记的区别,表达了学习算法对数据的拟合能力。而噪声则表示数据的真实标记与数据在数据集上标记的区别,表明算法在当前任务上能达到的测试误差的下界。

    假设数据集用 D D D表示,测试样本 x x x y y y表示 x x x在数据集上的标记, y ~ \tilde{y} y~表示 x x x的真实标记, f ( x ; D ) f(x;D) f(x;D)表示从训练集 D D D上学得的模型 f f f的预测输出。

    f ( x ) ‾ \overline{f(x)} f(x)表示从不同训练集上学得模型的期望输出,则
    f ( x ) ‾ = E D [ f ( x ; D ) ] \overline{f(x)} = E_D[f(x;D)] f(x)=ED[f(x;D)]

    则可以定义方差、偏差和噪声的表达,

    方差为:
    v a r ( x ) = E D [ ( f ( x ; D ) − f ( x ) ‾ ) 2 ] var(x) = E_D[(f(x;D) - \overline{f(x)})^2] var(x)=ED[(f(x;D)f(x))2]

    偏差为:

    b i a s 2 ( x ) = [ f ( x ) ‾ − y ~ ] 2 bias^2(x) = [\overline{f(x)} - \tilde{y}]^2 bias2(x)=[f(x)y~]2

    噪声为:

    ϵ 2 = E D [ ( y ~ − y ) 2 ] \epsilon^2 = E_D[(\tilde{y} - y)^2] ϵ2=ED[(y~y)2]

    如果对期望泛化误差进行分解,可以得到

    E ( f ; D ) = b i a s 2 ( x ) + v a r ( x ) + ϵ 2 E(f;D) = bias^2(x) + var(x) + \epsilon^2 E(f;D)=bias2(x)+var(x)+ϵ2

    即算法的期望泛化误差可以分解为偏差、方差和噪声之和。

    另外,一般来说,如果泛化误差的下界为0%,则高方差和高偏差对应如下几种情况。

    train error1%15%15%
    test error15%16%30%
    方差、偏差高方差高偏差高偏差&高方差

      在机器学习中,针对高方差和高偏差的情况,处理机制也是完全不一样的。首先要确保算法有足够的拟合能力,能够很好地处理该任务,即降低偏差,而这通常需要更换算法或者调优算法。在达到低偏差后,如果存在高方差,则需要通过获取更多的训练数据或正则化或dropout等机制减少方差。

      另外,在集成学习中,bagging一般可以用来减少方差,而boosting则有利于减小偏差。

    展开全文
  • ppt video Lecture 8: Noise and Error 噪声和误差 8.1

    ppt
    video

    Lecture 8: Noise and Error 噪声和误差

    8.1 Noise and Probabilistic Target 噪音和概率目标

    我们原有的机器学习流程如下图:

    • 有一个未知的目标函数 f(x) f ( x ) ,还有一个未知的分布 P P ,训练样本的输入X根据 P P 生成,训练样本的输出Y根据 f f 生成。
    • 我们要给机器学习系统一个比较好的假设空间H,也就是说,这个 H H ,要保证dvc有限,但是 dvc d v c 也不能过小,要适当。
    • 然后我们要给机器学习系统同喂一个演算法 A A A会在 H H 中找到它认为最接近目标f g g
    • 找到这个g后,我们的机器学习流程就走完了。

    801

    但是,我们之前考虑的,都是没有噪声和杂质的训练数据;如果有噪声,这个机器学习流程还适用吗?我们之前计算的 vc bound v c   b o u n d 还适用吗?

    之前在 PLA P L A pocket p o c k e t 算法里简短地介绍了噪声。这里,我们更加全面地描述噪声。噪声一般分为三种情况:

    1. noise in y n o i s e   i n   y :被误标记的输出
    2. noise in y n o i s e   i n   y :同样的输入,被标记为不同的分类
    3. noise in x n o i s e   i n   x :输入特征本身不准确

    我们回过头来,看之前计算 vc bound  v c   b o u n d   时,使用的“从桶中抽取橘色球和绿色球”的例子:
    802

    • 之前,从桶中取球,取出的球的颜色是确定的,即“deterministic”的。
    • 之前,我们取弹珠,是按照分布 P P 取的;弹珠的颜色,根据假设h(x) f(x) f ( x ) 是否相等,不一样,漆橘色,一样,漆绿色
    • 如果加上了噪声,取出的球的颜色就不是确定的了,而是概率性的,因为我们也不知道,这个球它的颜色是本身就应该是这个颜色,还是说本不该是这个颜色,被误涂成了这个颜色。也就是说,我们无法完全通过球的颜色判断 h(x) h ( x ) f(x) f ( x ) 的关系。
    • 但是,由于噪声还是少数情况,所以,我们还是可以通过不同球颜色的比例来推断 h(x)f(x) h ( x ) ≠ f ( x ) 的概率。
    • 现在, y y 的分布是服从P(y|x)的。 P(y|x) P ( y | x ) ,指在 X X 的条件下Y出现的概率分布。我们还是举二分类的例子,如果是 y=f(x) y = f ( x ) 函数分布, y y 的值只有1和0两种,即:
      804
      可以看到上图,y的值只有1和0。
      而如果是YP(Y|X),也就是Y是服从一个条件概率分布的话,效果如图:
      805

    图中可以看到这个 P(Y=1|X) P ( Y = 1 | X ) 的概率随着x的变化时不断变化的。我们可以看成,由于噪声的作用,使得 y=1 y = 1 这件事情变得不确定起来。

    • 但是,由于 y y 的取值是相互独立的,也就是Y服从于 P(Y|X) P ( Y | X ) ,且是独立同分布的;之前也说道 X X 服从于分布P,也是独立同分布的。我们仍可以通过数学方法证明,存在噪声的 (x,y) ( x , y ) 对,同样适用于 vc bound v c   b o u n d

      803

    我们把 P(y|x) P ( y | x ) 叫做目标分布,这个目标分布,他描述的是,在一个 x x 上,我们理想的“迷你目标”是什么。

    举个图上的例子,在某个点x

    P(|x)=0.7;P(×|x)=0.3 P ( ∘ | x ) = 0.7 ; P ( × | x ) = 0.3

    我们说,这个点的理想目标是 f(x)= f ( x ) = ∘
    剩下 0.3 0.3 的概率,我们视为噪声误差。

    确定的目标函数 f f ,可以看作目标分布P(y|x)的特殊情况。
    还是以“桶中橘色绿色球”为例,如果

    • y=f(x),P(y|x) y = f ( x ) , P ( y | x ) 就是1
    • yf(x),P(y|x) y ≠ f ( x ) , P ( y | x ) 就是0

    所以,机器学习的目标变成了:
    在输入 X X 上,预测它的理想化迷你目标分布P(y|x)

    806

    所以,新的机器学习流程图如上。
    它的变化,就是左上角的目标函数,变成了目标分布。

    807

    这个Fun Time问题还是很值得思考的。首先1是不对的,因为如果我们事先可以确定样本 D D 是线性分割的,那么我们顺便可以确定那条线长什么样,就不需要PLA了;2也不正确,因为D可能有噪声的存在,使得不线性分割,但目标函数仍有可能是线性函数;3不正确的原因是, D D 样本可能存在样本偏差,万一换一个D就不线性可分了呢?

    8.2 Error Measure 错误度量

    机器学习的目标是使学习到的假设 g g 尽可能地接近于目标函数f,如何去衡量 gf g 和 f 的相近程度呢?我们之前给出的方法是计算 Eout(g) E o u t ( g ) Eout(g) E o u t ( g ) 越小,代表在训练样本 D D 外,gf的表现就越相似。
    808
    这里 Eout E o u t 我们使用的 g g ,有三个特性

    1. out-of-sample:我们考虑的x是训练样本外抽样的 x x 或未知的x

      • pointwise: 我们可以在每个点 x x 上对E进行评估。
      • classification:我们之前限定在二元分类方法,即判断 [prediction=?target] [ p r e d i c t i o n = ? t a r g e t ] 。我们常常把”classification error” 也叫做 “0/1 error”。
      • 更一般地,我们将 gf g 和 f 之间的错误衡量,称为 E(g,f) E ( g , f )

        很多时候,我们进行错误衡量的方式,是先计算每个点上的错误度,然后把这些错误加起来,再平均,我们把这种错误衡量的方式叫做”Pointwise error measure”。

        809

        如果是“in-sample”,我们的平均计算方法,就是求和再比上样本量。如果有噪声的话,这里的 f(xn) f ( x n ) 可以用 yn y n 替换。
        如果是“out-of-sample”,我们就是计算这个分布的期望。如果有噪声的话,使用 y y 替代f(x);使用 P(y|x) P ( y | x ) 替代 P P

        大多时候,使用“pointwise err”就足够了。

        有两种重要的”pointwise err”衡量方式:
        810

        一种是”0/1 error”,主要用在分类问题上;
        一种是”squared error”,主要用在回归问题上。

        我们需要慎重地考虑错误衡量的选择方式。上节提到,我们为每个点x给出了一个理想的”mini-target”。这个点最终是如何被机器学习演算法选取出来的呢?和 P(y|x) P ( y | x ) 和”err”有关。

        811

        如图所示的例子,同样的 P(y|x) P ( y | x ) 配上不同的错误衡量方式,选取的”ideal mini-target”也是不同的。
        一般来说,如果是分类问题,“ideal mini-target”是概率最大的那个 y y ;而如果是回归问题,”ideal mini-target”是平均值/加权平均值。

        812
        更新后的学习流程,增加了错误衡量组件;即我们需要告诉演算法如何衡量错误。

        813

        最后,林教授提到,扩展的”vc bound”对于大多数假设和错误衡量都是适用的。但是具体的推导过于繁琐和复杂,这里不再赘述。

        8.3 Algorithmic Error Measure 演算法的错误衡量

        根据不同的应用,我们需要选择不同的错误衡量方式。
        比如同样是分类问题,超市销售的指纹识别和CIA安保的指纹识别衡量是不同的。
        二元分类问题,有两种分类错误的情形。

        • false accept: 错误地接受;根据结果本来应该拒绝的,系统却错误地接受了。即f(x)=1,g(x)=1

        • false reject:错误地拒绝;根据结果本来应该接受的,系统却错误地拒绝了。即 f(x)=1,g(x)=1 f ( x ) = 1 , g ( x ) = − 1
        • 下图是描述二元分类四种情况的混淆矩阵。

          814

          “0/1 error “对两种类型的错误等价地进行处罚。

          但是如上文所说,不同的分类问题,错误衡量的方式是不同的。

          • 比如,超市打折:一个顾客被错误地拒绝打折,和一个顾客被错误地接收打折,给超市带来的损失是不同的。错误地拒绝,顾客会很生气,超市会损失客源;错误地接受,超市只是少赚点钱,而且可以通过另外的渠道追回损失。这样看来,给”false reject”类型的错误应该设置更高的权重,因为犯这种错误的损失更大。
          • 如果是CIA门禁系统识别人员呢。一个人员被错误地接收进入系统,比一个人员被错误地拒绝进入系统,造成的损失大多了。所以,这种情形,给”false accept”类型的错误,应设置更高的权重。

          815

          所以,我们说:错误衡量”err”是依赖于应用的,也是依赖于客户的选择的。在设计演算法的错误衡量 err^ e r r ^

          • 最好的情形就是需要什么样的错误衡量”err”,就让 err^=err e r r ^ = e r r 即可。但是,很多时候,无法使用“err”作为我们的 err^ e r r ^ 。因为,客户一般很难将自己需要的“err”用数学化的语言表现出来。比如,我们跑去问CIA,“false accept”错误的权重你们觉得多少合理,1000或5000?他们自己其实也没概念。
          • 所以,在设计演算法的 err^ e r r ^ 时,通常采用替代的办法。有两种替代方式,一种是plausible的,即说服我们自己的有意义的错误替代:
            • “0/1 error”:之前有提到,使用这种错误衡量方法。是最小化”flipping noise”。
            • “squared error”:如果我们相信噪声服从高斯分布,那么我们可以通过最小化“Gaussian noise”来最小化错误度。
          • 但是,“0/1 error”的优化是NP hard的,不好优化。我们可以选用另一种friendly的替代方式,方便优化。
            • 凹凸函数
            • 封闭的解

          现在我们将系统的学习流程再做一个更新。加入了 err^ e r r ^ 。这里 err e r r 是我们真正的错误衡量目标;而 err^ e r r ^ 是我们认为的 err e r r 的有效替代。

          816

          8.4 Weighted Classification 带权重的分类

          在二元分类中,根据不同的应用情景,有不同的错误衡量方式。对于“false reject”和“false accept”两种类型的错误,也会赋予不同的权重。
          817

          这种带权重形式的分类问题,应该如何学习呢?
          818

          直观的想法是

          • PLA可以直接用。因为我们没有改变样本的分布,只要样本线性可分,我们总能使找到 Ein=0 E i n = 0 的那条线。
          • 大多数情况样本会有噪声,这时候要用到pocket。pocket算法修改一部分步骤也可以直接用。
            • 就是当 wt+1 w t + 1 得到了比 w^ w ^ 更小的 Ewin E i n w 时,将 wt+1w^ w t + 1 赋 给 w ^ 。这里其实就是用新的 Ewin E i n w 替代了元算法中的 E0/1in E i n 0 / 1
            • 虽然我们直观上认为这样做是没问题的。但是我们能给出理论上的证明吗?

          819

          如图,我们可以看到,将 y=1 y = − 1 的点复制1000遍后(即扩大了数据样本空间 D D ),左式的Ein和右式是相等的。

          820

          但是,直接copy(硬拷贝)很费计算机空间。我们可以使用“虚拷贝”的方法,在概率上给check到“-1”样本的机会扩大1000倍,这样使用“weighted pocket algorithm”,我们就可以解决“weighted classification”的问题。

          821

          Fun Time这个问题涉及到机器学习实战中的很普遍的一个情景,就是正负样本不平衡。调整正负样本的权重是一个很有效的解决方式。

    展开全文
  • 在工业生产活动中,有一类常见机器学习问题,就是如何基于有噪声样本标签训练模型,以进行故障检测分类。 先解释下什么是有噪声样本标签,它指的是训练模型用的样本标签并非完全准确,部分样本的标签有标错的情况...

    在工业生产活动中,有一类常见机器学习问题,就是如何基于有噪声样本标签训练模型,以进行故障检测和分类。

    先解释下什么是有噪声样本标签,它指的是训练模型用的样本标签并非完全准确,部分样本的标签有标错的情况。

    对于这个问题,为了便于大家理解,我们以一个成功实践的项目为例,以实例为大家讲述如何实现。

    一、人工测量电子开关的问题

    在大型工业设备中,有一类广泛使用的电子开关,这些电子开关使用久了,会逐渐老化故障,进而影响设备运行,因此需要替换。

    目前业内的常见做法是首先进行一系列的人工测量,然后通过经验来判断电子开关是否已经损坏,并将损坏的电子开关替换。这里面测量数据只是用作参考,实际上并没有明确的损坏标准,操作中还是以经验为主。

    预测准确度提升20%,这篇机器学习的干货文章必须收藏

    这种方式其实是存在很多问题的。

    比如,人和人之间是有个体差异的,每个人的经验是不一样的,这样就导致最终的判断结果也没法相同。

    就有可能导致本来正常的电子开关,被判断为坏的或者即将损坏的,以此进行替换就会造成浪费。

    同样的,也有可能把坏的或者即将损坏的判断为正常的电子开关,继续使用,导致更大的损失。

    因此,如果能够利用机器学习的技术,避免人工经验判断的误差或错误,提升判断的准确性,就能给我们的客户带来很大的价值。

    于是,我们开始考虑通过机器学习如何去实现?

    二、如何避免训练出“有噪声”的模型

    对于机器学习来说,解决这类问题的难点在于,样本数据的标签是有噪声的或者说不完全准确的。

    如果直接使用这些样本进行训练,无论我们采用哪种分类算法(决策树、逻辑回归 ,亦或是近年较为流行的 XGBoost),最终训练出的模型都是对噪声样本拟合较好的“有噪声”的模型。

    如果我们用这样的模型去判断和分类,准确度是很难超过经验丰富的“老司机”的,所以这样的模型并没有多大的意义。

    那么基于永洪的产品 Yonghong Z-Suite ,我们可以怎么做呢?

    对Z-Suite比较熟悉的朋友都知道,我们的产品里内置了常见的算法模型(分类、聚类、决策树、神经网络、关联模型、时序预测等),采用图形化操作,可以通过简单的拖拽,快速实现典型数据挖掘算法。

    预测准确度提升20%,这篇机器学习的干货文章必须收藏

    除此之外,还内置了R语言支持,提供了强大的模型扩展能力。

    因此,我们借助这一能力,通过R语言模型扩展实现的算法,解决了有噪声样本标签分类的问题。

    我们扩展实现的这种算法,是根据MIT的一篇论文(链接:https://arxiv.org/abs/1705.01936)提供的思路,将其与 XGBoost 分类算法结合而成的。

    这种算法的思路如下:

    首先,训练模型的样本数据来自于历史测量数据,数据的标签都是人工根据经验判断的,所以会发生标签误判的情况,换句话说,训练模型使用的是有噪声的样本数据。

    然后使用常规分类算法比如 Logistic Regression、Bayes,SVM、XGBoost 等在有噪声的样本数据集上训练出分类器;

    分类器对预测的正负标签给出概率(0~1),概率越大说明预测为正标签的可信度越高,概率越小说明预测为负标签的可信度越高,概率接近0.5的预测标签的可信度并不高,可能是有噪声的数据;

    假定有噪声的数据在数据集中占比不大,如果剔除可信度不高的数据,用剩下的相对可靠的数据训练分类模型,那么分类器的准确度理论上将有所提高。

    三、排除不可靠数据,提高模型准确度

    基于以上思路,我们在 Yonghong Z-Suite 中实现的分类算法步骤如下(详细算法推导论证过程可参照上面提到的论文):

    通过选定的二分类算法(我们使用的是XGBoost),利用有噪声样本数据进行模型训练,并得到每个样本x预测结果为true(true表示电子开关合格,false表示不合格,以下同)的概率g(x)。
    计算样本数据中标记为true的比率Ps1(即样本数据中电子开关标记合格的百分比)。
    计算门限概率LBy=1,如果上面第1步的预测概率g(x)大于LBy=1,则表示该样本的真实标签很可能是true(合格);同理计算UBy=0,如果上面第1步的预测概率g(x)小于UBy=0,则表示该样本的真实标签很可能是false(不合格)。LBy=1定义为标记为true的样本数据的g(x)的期望;UBy=0定义为标记为false的样本数据的g(x)的期望
    根据上面第2,3步得出的Ps1,LBy=1和UBy=0,计算出样本数据中的真实标签为true,但是被误标记为false的比率ρ0 =P(s=0|y=1),以及样本数据中的真实标签为false,但是被误标记为true的比率ρ1=P(s=1|y=0)。这里面y表示真实标签,s表示样本标签。
    然后根据贝叶斯公式计算出样本数据中标记为不合格但是实际合格的概率π0=P(y=1|s=0)和标记为合格但是实际不合格的概率π1=P(y=0|s=1)。
    在标记true的样本数据中剪除g(x)最小的比例为π1的那些样本(正样本pruning过程);在标记false的样本数据中剪除g(x)最大的比例为π0的样本(负样本pruning过程);这两类样本被认定为不一致的可能对预测结果产生干扰的错误标记样本,因此需要移除。
    对剩余样本加权后(因为有样本移除,所以需要对剩余样本进行加权修正),重新训练模型。
    根据生成模型对新的电子开关测试数据进行计算,判断其合格或不合格。
    该算法通过排除训练模型中不可靠(不一致)的数据,提升了剩余数据的质量,并利用这些数据进行模型训练,因而提高了模型的准确度,有效的解决了有噪声样本训练带来的模型不准的问题。

    四、预测准确度提升20%

    我们将该模型应用在上述电子开关测试项目,并将其与电子开关进行二次测试(对换下的电子开关的深入测试,基本可以认为是真实标签)的结果进行对比,发现预测准确度从人工预测的60%~70%提升到了80%左右,整体的预测准确度提升了近20%,这为我们的客户带来了十分明显的价值,客户对我们的这一算法赞赏有加。

    在此基础上,我们将 Logistic Regression、Bayes 和 XGBoost 三种模型集成到一起,作为 RankPruning 算法的基础模型。测试结果表明,模型精度在 XGBoost 基础上,又有了近2%的额外的小幅提升。

    预测准确度提升20%,这篇机器学习的干货文章必须收藏

    亚瑟·克拉克说过:“任何足够先进的技术都等同于魔术。”

    机器学习在今天互联网的环境里,可能已经不是什么新鲜事了,但是对于传统的工业和制造业来说,能够大幅度提升效率、节约成本的技术,就是能为他们带来价值的。

    同样的,我们也觉得机器学习的真正应用不是通过概念或者思想的方式,而是通过实践。我们在把机器学习技术实际落地、想办法为客户创造价值的过程中,也在逐渐对机器学习的理解进入更深的层次。

    我们将这个经验分享出来,目的是帮助大家在基于有噪声样本标签,进行故障检测和分类的时候,能够有更科学和精确的方式,也为大家在大数据领域机器学习的应用提供一些具有参考价值的案例。

    展开全文
  • 首先是误差的概念,误差error可以理解为loss,在机器学习中,一般是定义一个误差函数(Loss Function),学习的过程就是最小化loss的过程。我们在学习的时候,最终学习的结果直接在所训练的数据上取得了最小的loss,...
  • KNN(k-NearestNeighbor)-K最近邻 KNN虽然是最简单的算法,但是对刚刚开始机器学习的伙伴确是...噪声:数据不可解释的部分,通常算法所能达到的期望,泛化误差的下界。 KNN算法思想 举个例子看一下,有两种可乐我们已经
  • 机器学习1:机器学习的实现2:机器学习的方法论3:案例:牛顿第二定律4:确定模型参数5:模型结构介绍三:深度学习1:神经网络的基本概念2:深度学习的发展历程3:深度学习的研究应用蓬勃发展4:深度学习改变了AI应用...
  • 这就是机器学习中的“模型选择”问题,理想的解决方案是对候选模型的泛化误差进行评估,然后选择泛化误差最小的那个模型。 泛化误差意义 以前在机器学习中一直使用经验风险(训练误差)来逼近真实风险,但事实上...
  • 这些研究成果从不同的角度入手,有的只利用网页本身的特征,有的还与其他技术相结合,使网页正文抽取的准确性完整性得到不断提高,但还没有一种方法能达到人们期望的程度,还需要不断地研究探索。  一、正文...
  • 机器学习:贝叶斯优化方法 重点 (Top highlight)I recently started a new newsletter focus on AI education. TheSequence is a no-BS( meaning no hype, no news etc) AI-focused newsletter that takes 5 ...
  • 您是涉足机器学习的数据科学家吗? 如果是,那么您应该阅读此内容。定义,目的,流行算法用例-全部说明> Photo by Andy Kelly on Unsplash机器学习已经从科幻小说转变为成为最可靠,最多样化的业务工具,它在...
  • 机器学习:贝叶斯优化方法I recently started a new newsletter focus on AI education. TheSequence is a no-BS( meaning no hype, no news etc) AI-focused newsletter that takes 5 minutes to read. The goal ...
  • 机器学习——过拟合欠拟合一、过拟合1、理解2、形成原因:3、解决方案:4、解决方案解析:正则化数据扩增 一、过拟合 1、理解 2、形成原因: 建模样本选取有误,如样本数量太少,选样方法错误,样本标签错误等,...
  • 机器学习2 机器学习误差分析与代表性算法 目录机器学习2 机器学习误差分析与代表性算法1. 误差分析(1)误差公式(2)欠拟合与过拟合2. 代表性的算法(1)有监督a. 逻辑回归b. 随机森林c. SVM2. 无监督聚类 1. ...
  • 对于每一个数据点,它是由两个均值方差未知的高斯分布来衡量的,并且该数据点分别以不同的未知的概率服从于这两个高斯分布。我们的目标就是估计每一个高斯分布的参数每一个数据点以多大的概率服从于该高斯分布。...
  • 机器学习实践应用

    万次阅读 多人点赞 2018-04-12 10:04:41
    本书通过对机器学习的背景知识、算法流程、相关工具、实践案例以及知识图谱等内容的讲解,全面介绍了机器学习的理论基础实践应用。书中涉及机器学习领域的多个典型算法,并详细给出了机器学习的算法流程。 本书...
  • 度量了同样大小的训练集变动导致学习性能的变化,描述了数据扰动对统计(机器学习)所造成的影响   偏差公式: 描述: 度量了期望预测与真是结果的偏离程度,描述了算法本身的拟合能力   噪声公式...
  • 在这篇文章中,Jeff Dean 等人工智能大牛描绘了一幅机器学习在医疗领域的应用蓝图。 先来看两个场景: 场景 1: 一名 49 岁的病人注意到肩膀上起了皮疹,因为不觉得疼痛,所以也没有寻求治疗。几个月之后,他的...
  • 机器学习的13种算法4种学习方法,推荐给大家

    万次阅读 多人点赞 2018-09-18 21:08:45
    机器学习的算法很多。很多时候困惑人们都是,很多算法是一类算法,而有些算法又是从其他算法中延伸出来的。这里,我们从两个方面来给大家介绍,第一个方面是学习的方式,第二个方面是算法的分类。 一、4大主要学习...
  • 机器学习算法过拟合欠拟合。 偏差、方差。 学习曲线复杂程度曲线。 支持向量机过拟合欠拟合。 KNN回归过拟合欠拟合。 欠拟合过拟合解决方法。
  • 机器学习基本概念

    千次阅读 2018-09-21 22:26:40
    本文首先介绍机器学习的基本流程,然后针对机器学习涉及的数据、算法评估这三个方面用到的基础概念进行介绍。 1.机器学习流程  机器学习是一个数据流转、分析以及得到结果的过程,它的整个流程大致可以分为六个...
  • 机器学习包含多种途径方法,其中一些使用在SVM(支持向量机)ANN(人工神经网络),如K近邻,决策树,或深度学习,而在某些情况下,大型神经网络算法被用于卷积中。  这些方法手段被OpenCV支持、实现;...
  • 机器学习之高斯过程

    2021-09-28 00:11:26
    机器学习领域里,高斯过程是一种假设训练数据来自无限空间、并且各特征都符合高斯分布的有监督建模方式。高斯过程是一种概率模型,无论是回归或者分类预测都以高斯分布标准差的方式给出预测置信区间估计。什么是...
  • 机器学习实战(基于Scikit-LearnTensorFlow) 本文参考书籍:《机器学习实战(基于Scikit-LearnTensorFlow)》 目录机器学习实战(基于Scikit-LearnTensorFlow)1.    1.   
  • 文章目录一、什么是机器学习二、机器学习的流程(一)数据收集(二)数据预处理(三)特征工程(四)模型构建训练三、机器学习该如何学(一)AI时代首选Python(二)PyCharm可视化编辑器Anaconda大礼包1、...
  • 机器学习与数据挖掘

    2021-06-06 09:35:50
    数据挖掘不仅仅要研究、拓展、应用一些机器学习方法,还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪音等等更为实际的问题。 机器学习的涉及面更宽,常用在数据挖掘上的方法通常只是“从数据学习”,...
  • 1.机器学习的概念环境搭建

    千次阅读 2018-10-17 22:14:11
    本文是我学习bobo老师视频的学习笔记,是机器学习的入门课程,建议有编程基础高等数学、概率论、线性代数的学习者参考学习。 github项目课件及代码笔记地址: ...
  • 机器学习中的目标函数总结

    千次阅读 2020-12-18 18:44:01
    点击上方,选择星标或置顶,每天给你送干货!阅读大概需要26分钟跟随小博主,每天进步一丢丢来自:SIGAI几乎所有的机器学习算法都归结为求解最优化问题。有监督学习算法在训练时通过优化一个目...
  • 机器学习高频面试题(41道)

    万次阅读 2020-07-02 15:08:03
    Bias 是由于你使用的学习算法过度简单地拟合结果或者错误地拟合结果导致的错误。它反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,即算法本身的拟合能力。Bias 可能会导致模型欠拟合,使其难以...
  • 机器学习数据清洗

    2020-05-06 10:08:20
    数据清洗:数据清洗的目的不只是要消除错误、冗余数据噪音,还要能将按不同的、不兼容的规则所得的各种数据集一致起来。软件开发中的需求分析数据清洗在数据预处理中占据很重要的地位 有监督清洗:在对应领域专家...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 15,617
精华内容 6,246
关键字:

机器学习噪声和噪声期望