精华内容
下载资源
问答
  • 机器学习-数学期望

    千次阅读 2017-11-16 11:55:42
    1.什么是数学期望 在概率论统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和 严格的定义如下: ...3.数学期望(均值)算术平均值(平均数)的关系(期

    1.什么是数学期望

    在概率论和统计学中,数学期望(mean)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和

    严格的定义如下:




    2.数学期望的含义

    这个很重要,我们一定要明白概念的含义,联系到实际的应用场景中表达的真正意义,数学期望的存在是为了表达什么?

    答:反映随机变量平均取值的大小


    3.数学期望(均值)和算术平均值(平均数)的关系(期望和平均数的关系)

    谈谈我对于这两个概念的理解
    (1)平均数是根据实际结果统计得到的随机变量样本计算出来的算术平均值,和实验本身有关,而数学期望是完全由随机变量的概率分布所确定的,和实验本身无关。以摇骰子为例,假设我们摇4次骰子,摇出的结果依次为5,5,6,4。设摇出的结果为随机变量X,,则X在这次实验中的平均数(5+5+6+4)/4= 5.而X的期望呢?和这次的实验本身无关,只和X的概率分布有关。X的概率分布如下:
    Xi 1 2 3 4 5 6
    pi 1/6 1/6 1/6 1/6 1/6 1/6

    E(X) = 1*1/6+2*1/6+3*1/6+4*1/6+5*1/6+6*1/6 = (1+2+3+4+5+6)*1/6 = 3.5  

    实验的多少是可以改变平均数的,而在你的分布不变的情况下,期望是不变的

    (2)我们可以从概率和统计的角度给出理解

    先给出结论,摘自知乎:

    如果我们能进行无穷次随机实验并计算出其样本的平均数的话,那么这个平均数其实就是期望。当然实际上根本不可能进行无穷次实验,但是实验样本的平均数会随着实验样本的增多越来越接近期望,就像频率随着实验样本的增多会越来越接近概率一样

    如果说概率是频率随样本趋于无穷的极限

    那么期望就是平均数随样本趋于无穷的极限

    上述表达的意思其实也就是弱大数定理



    4.离散型随机变量和连续型随机变量数学期望算法


    5.数学期望的性质

    展开全文
  • 其实求期望和平均之间还是有那么一些关系的期望我们先来举个例子,让你对期望有直观理解。假设我有1个不均匀六面体,每个面标了一个数字,分别是1、2、3、4、5、6。如果我将此六面体向上抛出,那么落地时...

    这是《机器学习中的数学基础》系列的第20篇,也是概率与统计的第4篇。

    一说起期望值,可能有的人会很陌生;但一说起平均数,可能大部分人都了解。其实求期望和求平均之间还是有那么一些关系的。

    • 期望

    我们先来举个例子,让你对期望有直观的理解。

    假设我有1个不均匀的六面体,每个面标了一个数字,分别是1、2、3、4、5、6。如果我将此六面体向上抛出,那么落地时向上一面的概率如下表所示:

    640a3131020703033182ac5d3d016c84.png

    显然,上述的概率之和为1。那么此六面体向上一面的期望是什么呢?

    我们是这样计算期望的:把每个面出现的概率乘以每个面的数字,然后算它们的加和。即:

    1·1/6+2·1/3+3·1/6+4·1/12+5·1/12+6·1/6=37/12

    因此,上面这个六面体落地时正面朝上的期望就是37/12,换算成整数约等于3.

    不均匀的算出来了,那如果是均匀的六面体呢?它落地时向上的一面的期望又是什么呢?

    很简单,由于是均匀的六面体,那么每个面朝上的概率都是1/6。因此,总的期望就是1/6(1+2+3+4+5+6)=21/6=3.5。此时,就相当于我们求了1-6的平均数。

    换句话说,如果每个数字出现的概率是相等的,那我们就相当于求的平均数;如果每个数字出现的概率是不等的,那我们就在求期望。我们一般用“E”来表示期望。

    • 方差

    我们还是来举例说明什么是方差。

    假设小明期末考试考了6门课,他的成绩分别是60,78,77,90,92,83。那么小明成绩的方差该怎么算呢?

    我们需要先算出小明的平均成绩:(60+78+77+90+92+83)/6=80。

    然后,分别用小明每一门课的成绩减去平均成绩,求出差的平方,再算出这些平方的平均值。即

    [(60-80)^2+(78-80)^2+(77-80)^2+(90-80)^2+(92-80)^2+(83-80)^2]/6=111。

    我们把这个结果就叫做方差。把它一般化, 假设有x1、x2...xn一共n个数据,它们的均值是μ,那么方差就可以表示为:

    348bb81e11009bc994849caa8081ec10.png

    有时候分母的n也会换成n-1,取决于它是样本数据还是整体数据,不过对我们的结果影响不大。

    那么方差有什么意义呢?它所表示的是数据的波动程度,更具体的说,它表示的是数据与均值之间的离散程度。方差越大,表明数据越分散,离均值的平均距离远;方差越小,表明数据大多集中在均值周围。

    • 标准差

    标准差就是方差开方得到的结果,即

    6427987b97f67bb7d3629bf340994d1c.png

    那这么做有什么意义呢?注意到,我们的方差是求了平方的,如果我们的数据是有单位的话,最后的结果将是单位的平方,对这个结果不是很好解释。比如上面小明成绩的方差是111,单位是“分”的平方。我们就会感到很奇怪。

    将方差开方后,单位就变成了原来的单位,那么结果就很好解释了。可以得出,小明成绩的标准差约为10.5分。也就是说,小明的成绩与均值的差距平均在10.5分。

    标准差同样衡量数据的波动状况,只不过它的结果很好解释。

    好了,这就是今天的全部内容,欢迎留言讨论。

    本文由人人都会机器学习原创,欢迎关注,带你一起长知识!

    展开全文
  • 注释:之前看周志华老师书本,看到过这个理论,也懂得偏差方差对数据影响,现在重点说明一下数学原理。...f(x)拔:x在某个模型中的期望值(可以说是概率也可以说是平均值,比如硬币正反面的期望是0...
    注释:之前看周志华老师的书本,看到过这个理论,也懂得偏差和方差对数据的影响,现在重点说明一下数学原理。

    我们先定义几个概念:

    x:数据集   

    y:真实标签(实际值)   

    yd: 当前标签(标签值,有可能是错误的,因为收集过程可能出错)   

    f(x;D):在D模型中X的预测值   

    f(x)拔:x在某个模型中的期望值(可以说是概率也可以说是平均值,比如硬币正反面的期望是0.5,不用管怎么来的,就看作平均值即可)

      求取平均值(期望值):

      噪声平方定义(当前标签和实际标签差):   

      方差(预测值和平均值的差):

      偏差(实际值和平均值的差):

      以下推导我没有进行,不求甚解!

    参考:

      https://www.cnblogs.com/en-heng/p/5974371.html

      https://www.cnblogs.com/bentuwuying/p/6654536.html

      都不知道谁是原创,相互学习(抄袭)吧!

    展开全文
  • 概率论中方差用来度量随机变量数学期望(即均值)之间偏离程度。统计中方差(样本方差)是每个样本与全体样本值的平均数之差平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义...

    样本方差

    先求出总体各单位变量值与其算术平均数离差的平方,然后再对此变量取平均数,就叫做样本方差。

    样本方差用来表示一列数的变异程度。

    方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。

    样本均值又叫样本均数。即为样本的均值。均值是指在一组数据中所有数据之和再除以数据的个数。

    mean, variance = tf.nn.moments(x, axes, name=None, keep_dims=False) 
    计算统计矩,mean 是一阶矩即均值,variance 则是二阶中心矩即方差,axes=[0]表示按列计算;

    tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None) 
    tf.nn.batch_norm_with_global_normalization(x, mean, variance, beta, gamma, variance_epsilon, scale_after_normalization, name=None);
    tf.nn.moments 计算返回的 mean 和 variance 作为 tf.nn.batch_normalization 调用参数; 

     

    import tensorflow as tf

    W = tf.constant([[-2.,12.,6.],[3.,2.,8.]], )

    mean,var = tf.nn.moments(W, axes = [0])    #按列计算

    with tf.Session() as sess:

        sess.run(tf.global_variables_initializer())

        resultMean = sess.run(mean)

        print(resultMean)

        resultVar = sess.run(var)

        print(resultVar)

    #输出

    [ 0.5      7.    7.  ]

    [ 6.25   25.     1.  ]

     

     

     

     

     

    展开全文
  • 矩估计最大似然估计关系

    万次阅读 2017-03-22 11:57:12
    理论根源是辛钦大数定律,样本之间是独立同分布,当数据样本量很大时候,样本观测值的平均值和总体的数学期望是在一个极小误差范围内。 矩估计法, 也称“矩法估计”,就是利用样本矩来估计总体中相应参数。...
  • 数理统计概率论区别

    万次阅读 2018-08-28 10:39:42
    一个例子就是平均值期望的关系,如果我们先验的已知变量的取值概率,我们可以从理论去推出变量的期望,比如说对于一个正方体的六个面的骰子,我们无需去真正的去掷骰子,便可以推出骰子值的数学...
  • 6.4 期望值和方差 6.4.1 引言 6.4.2 期望值 6.4.3 期望的线性性质 6.4.4 平均情形下的计算复杂度 6.4.5 几何分布 6.4.6 独立随机变量 6.4.7 方差 6.4.8 切比雪夫不等式 练习 关键术语和结果 复习题 补充练习 计算机...
  • 机器学习-方差

    2017-11-16 14:38:34
    1.什么是方差 2.方差的含义 3.数学期望(均值)算术平均值(平均数)的关系(期望平均数的关系) 4.离散型随机变量连续型随机变量数学期望算法 5.数学期望的性质
  • 3·3 各种平均值之间的关系 3·4 累积金和分期付款 4.各种数列的 4·1 乘幂数列的 4·2 差分数列 4·3 通项是n的整式的数列 4·4 分数项数列 4·5 Σanxn(an是等差数列) 4·6 二重数列与相似形 5.数学归纳法 5·...
  • 3·3 各种平均值之间的关系 3·4 累积金和分期付款 4.各种数列的 4·1 乘幂数列的 4·2 差分数列 4·3 通项是n的整式的数列 4·4 分数项数列 4·5 Σanxn(an是等差数列) 4·6 二重数列与相似形 5.数学归纳法 5·...
  • 偏差:描述是预测值的期望和真实值的偏离关系,偏差越大,越偏离真实。(boosting减少偏差) 方差:描述是预测值的离散程度(波动程度),方差越大,数据分布越分散,波动越明显。(bagging降低方差)从...
  • 其中伯努利大数定律揭示了概率与频率之间的关系,后两者揭示了,样本算术平均值与样本均值算术平均值的关系。后两者用到了切比雪夫不等式证明,区别是第二个要求独立同分布,第三个只要求独立即可 中心极限定理 需要...
  • 数学期望也常成为“均值”,即“随机变量取值的平均值”之意,这个平均是指以概率为权加权平均。 各种分布的数学期望和方差。 如果说条件分布是变量X与Y相依关系在概率上完全刻画,那么,条件期望则在一个很...
  • LINGO软件学习

    2009-08-08 22:36:50
    不同集类型的关系见下图。 §3 模型的数据部分初始部分 在处理模型的数据时,需要为集指派一些成员并且在LINGO求解模型之前为集的某些属性指定。为此,LINGO为用户提供了两个可选部分:...
  • 3.4.3 特征值和特征向量 3.5 稀疏矩阵 3.5.1 稀疏矩阵存储方式 3.5.2 稀疏矩阵生成 3.5.3 稀疏矩阵运算 3.6 本章小结 第4 章MATLAB 编程基础 4.1 M 文件编辑器 4.2 变量 4.2.1 变量命名 ...
  • 3.4.3 特征值和特征向量 3.5 稀疏矩阵 3.5.1 稀疏矩阵存储方式 3.5.2 稀疏矩阵生成 3.5.3 稀疏矩阵运算 3.6 本章小结 第4 章MATLAB 编程基础 4.1 M 文件编辑器 4.2 变量 4.2.1 变量命名 ...
  • 则 都可看做 线性变换,且它们的数学期望为零,方差为 ,因此 皆为高斯过程。根据函数变换关系,可求得包络 相位 分布情况。 窄带高斯过程包络服从瑞利分布, 窄带高斯过程相位服从均匀分布。
  • Bias-Variance Tradeoff

    2020-07-18 14:00:06
    偏差:将模型的期望(或平均)预测我们正在试图预测正确之间差定义为偏差。 方差: 将模型之间多个拟合预测之间偏离程度定义为方差。 二、数学定义 我们定义需要预测真实结果YYY,与其对应自变量XXX...
  • 4. 应用概率工具如Monte Carlo方法、算法的平均情况分析散列法来解决问题。 程序设计基础(PF) PF1.基本程序设计结构[核心] PF2.算法问题求解[核心] PF3. 基本数据结构[核心] PF4. 递归[核心] PF5. 事件...
  • 数据结构与算法分析 Java语言描述第2版

    千次下载 热门讨论 2013-04-11 17:38:12
    7.7.6 选择问题线性期望时间算法 7.8 排序算法一般下界 7.9 桶式排序 7.10 外部排序 7.10.1 为什么需要一些新算法 7.10.2 外部排序模型 7.10.3 简单算法 7.10.4 多路合并 7.10.5 多相合并 7.10.6 ...
  • 7.7.6 选择线性期望时间算法 7.8 大型结构排序 7.9 排序一般下界 7.9.1 决策树 7.10 桶式排序 7.11 外部排序 7.11.1 为什么需要新算法 7.11.2 外部排序模型 7.11.3 简单算法 7.11.4 多路合并 7.11...
  • 数据结构与算法分析

    2014-01-15 02:05:59
    7.7.6 选择问题线性期望时间算法  7.8 间接排序  7.8.1 vector*>不运行  7.8.2 智能指针类  7.8.3 重载operator 7.8.4 使用“*”解引用指针  7.8.5 重载类型转换操作符  7.8.6 随处可见隐式类型...

空空如也

空空如也

1 2 3
收藏数 49
精华内容 19
关键字:

平均值和数学期望的关系