精华内容
下载资源
问答
  • 什么是协方差,怎么计算?为什么需要协方差?

    万次阅读 多人点赞 2017-05-25 15:34:23
    # 均值,方差和标准差 ...很显然,均值描述的样本集合的中间,它告诉我们的信息很有限的,而标准差给我们描述的则样本集合的各个样本到均值的距离之平均。以这个集合为例,[0,8,12,20]和...

    # 均值,方差和标准差

    学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数学的孩子都应该知道吧,一带而过。

    很显然,均值描述的是样本集合的中间点,它告诉我们的信息是很有限的,而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。以这两个集合为例,[0,8,12,20]和[8,9,11,12],两个集合的均值都是10,但显然两个集合差别是很大的,计算两者的标准差,前者是8.3,后者是1.8,显然后者较为集中,故其标准差小一些,标准差描述的就是这种“散布度”。之所以除以n-1而不是除以n,是因为这样能使我们以较小的样本集更好的逼近总体的标准差,即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

    # 为什么需要协方差?

     

    上面几个统计量看似已经描述的差不多了,但我们应该注意到,标准差和方差一般是用来描述一维数据的,但现实生活我们常常遇到含有多维数据的数据集,最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多,比如,一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊,嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量,我们可以仿照方差的定义:

     

    来度量各个维度偏离其均值的程度,标准差可以这么来定义:

     

    协方差的结果有什么意义呢?如果结果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),也就是说一个人越猥琐就越受女孩子欢迎,嘿嘿,那必须的~结果为负值就说明负相关的,越猥琐女孩子越讨厌,可能吗?如果为0,也是就是统计上说的“相互独立”。

    从协方差的定义上我们也可以看出一些显而易见的性质,如:

    协方差多了就是协方差矩阵

    上一节提到的猥琐和受欢迎的问题是典型二维问题,而协方差也只能处理二维问题,那维数多了自然就需要计算多个协方差,比如n维的数据集就需要计算 n! / ((n-2)!*2) 个协方差,那自然而然的我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义:

     

    这个定义还是很容易理解的,我们可以举一个简单的三维的例子,假设数据集有三个维度,则协方差矩阵为

     

    可见,协方差矩阵是一个对称的矩阵,而且对角线是各个维度上的方差。

    # Matlab协方差实战

     

    上面涉及的内容都比较容易,协方差矩阵似乎也很简单,但实战起来就很容易让人迷茫了。必须要明确一点,协方差矩阵计算的是不同维度之间的协方差,而不是不同样本之间的。这个我将结合下面的例子说明,以下的演示将使用Matlab,为了说明计算原理,不直接调用Matlab的cov函数(蓝色部分为Matlab代码)。

    首先,随机产生一个10*3维的整数矩阵作为样本集,10为样本的个数,3为样本的维数。

    mysample = fix(rand(10,3)*50)

    根据公式,计算协方差需要计算均值,那是按行计算均值还是按列呢,我一开始就老是困扰这个问题。前面我们也特别强调了,协方差矩阵是计算不同维度间的协方差,要时刻牢记这一点。样本矩阵的每行是一个样本,每列为一个维度,所以我们要按列计算均值。为了描述方便,我们先将三个维度的数据分别赋值:

    >> dim1 = mysample(:,1);
    >> dim2 = mysample(:,2);
    >> dim3 = mysample(:,3);

    计算dim1与dim2,dim1与dim3,dim2与dim3的协方差:

    >> sum((dim1 - mean(dim1)) .* (dim2 - mean(dim2))) / (size(mysample, 1) - 1)  %得到 -147.0667
    >> sum((dim1 - mean(dim1)) .* (dim3 - mean(dim3))) / (size(mysample, 1) - 1)  %得到  -82.2667
    >> sum((dim2 - mean(dim2)) .* (dim3 - mean(dim3))) / (size(mysample, 1) - 1)  %得到   76.5111

    搞清楚了这个后面就容易多了,协方差矩阵的对角线就是各个维度上的方差,下面我们依次计算:

    >> var(dim1)  %得到 227.8778
    >> var(dim2)  %得到 179.8222
    >> var(dim3)  %得到 156.7111

     这样,我们就得到了计算协方差矩阵所需要的所有数据,调用Matlab自带的cov函数进行验证:

    >> cov(mysample)

     把我们计算的数据对号入座,是不是一摸一样?

    # Update

     

    今天突然发现,原来协方差矩阵还可以这样计算,先让样本矩阵中心化,即每一维度减去该维度的均值,使每一维度上的均值为0,然后直接用新的到的样本矩阵乘上它的转置,然后除以(N-1)即可。其实这种方法也是由前面的公式推导而来,只不过理解起来不是很直观,但在抽象的公式推导时还是很常用的!同样给出Matlab代码实现:

    >> temp = mysample - repmat(mean(mysample), 10, 1);
    >> result = temp' * temp ./ (size(mysample, 1) - 1)

    # 总结

     

    理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差,而不是不同样本之间,拿到一个样本矩阵,我们最先要明确的就是一行是一个样本还是一个维度,心中明确这个整个计算过程就会顺流而下,这么一来就不会迷茫了~ 

    展开全文
  • 文章目录一:基本公式二:互斥事件三:独立事件四:条件概率五:全概率公式六:贝叶斯公式 一:基本公式 二:互斥事件 三:独立事件 1.什么是独立 注:独立,如:今天中午下雨的概率和你玩不玩游戏的概率,...


    一:基本公式

    在这里插入图片描述


    二:互斥事件

    在这里插入图片描述


    三:独立事件

    1.什么是独立在这里插入图片描述
    注:独立,如:今天中午下雨的概率和你玩不玩游戏的概率,毫无关系,可以认为是两个不同的维度的比较;而互斥,你12点去吃饭或者去玩游戏,同一维度,只能有一个发生。


    2.公式

    在这里插入图片描述
    在这里插入图片描述


    四:条件概率

    1.理解
    在这里插入图片描述
    2.公式
    在这里插入图片描述


    五:全概率公式

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述


    六:贝叶斯公式

    在这里插入图片描述
    总结:可以看到其实所谓的全概率公式和贝叶斯公式其实就是简单的条件概率和基本概率的推导,由条件概率可以推导出贝叶斯公式,全概率公式利用到了一个完备事件组,而贝叶斯公式亦可以结合全概率公式。
    在这里插入图片描述

    参考链接:https://www.cnblogs.com/bigmonkey/p/9007970.html

    展开全文
  • 本书从函数功能、函数格式、参数说明、注意事项、Excel 版本提醒、案例应用、交叉参考7 个方面,全面、细致地介绍了Excel 2016/2013/2010/2007/2003 中公式和函数的使用方法、实际应用和操作技巧。最后3 章还将公式...
  • 7·3 与个数列有关的递推公式 7·4 项递推公式(分数式) 7·5 其他递推公式 8.级数 8·1 级数 8·2 正项级数 8·3 关于交错级数的定理 8·4 绝对收敛级数 8·5 条件收敛级数 8·6 幂级数 8·7 各种级数的例题 9....
  • 7·3 与个数列有关的递推公式 7·4 项递推公式(分数式) 7·5 其他递推公式 8.级数 8·1 级数 8·2 正项级数 8·3 关于交错级数的定理 8·4 绝对收敛级数 8·5 条件收敛级数 8·6 幂级数 8·7 各种级数的例题 9....
  • 软件工程知识

    2012-12-02 21:34:25
    软件定义是软件项目的早期阶段,主要由软件系统分析人员和用户合作,针对有待开发的软件系统进行分析、规划和规格描述,确定软件是什么,为今后的软件开发做准备。这个时期往往需要分阶段地进行以下几项工作。 1....
  • 概率论基础知识总结

    2020-06-04 15:38:39
    概率公式3.贝叶斯公式例题四.随机变量与分布函数1.随机变量定义2.分布函数定义3.分布函数的性质例题4.离散型随机变量例题5.离散分布模型1.两点分布 & 0 - 1分布2.伯努利实验 & 二项分


    从五月十号以来就开始忙着实习的工作以及课设的事情,所以半个月来都没又发博客了。最近在准备概率论的考试,所以总结了一些概率论基础知识。我觉得我们还是有必要把概率论基础给掌握的,笔试有时也会考到,面试中也有可能问到譬如选牌这类概率智力题。主要是理解古典概型和全概率、贝叶斯公式以及伯努利实验。

    一.概率论基本概念

    1.什么是概率论

    现实世界中的现象分为两大类:分为确定性的和随机性现象;而概率论研究的是在随机性的现象中的规律的预测和决策。

    2.随机试验

    随机试验指的是

    1. 可以在相同的情况下重复进行
    2. 试验结果不会只有一种
    3. 实验之前不知道会出现哪个结果

    3.样本空间

    随机试验的所有结果集合被称为样本空间

    4.事件运算关系

    在这里插入图片描述

    文氏图:
    在这里插入图片描述

    例子:
    在这里插入图片描述

    5.事件运算律

    在这里插入图片描述

    二.概率与古典概型

    1.概率的定义

    在这里插入图片描述

    2.概率性质

    在这里插入图片描述
    在这里插入图片描述
    TIP:在非古典概率中,P(A)和P(B)是有可能发生冲突的,如下,所以需要有P(AB)这个排除

    3.概率例题

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ExROMdS3-1591247582548)(http://note.youdao.com/yws/res/14144/1D35EC7229BA43929EB063E046E41497)]

    4.古典概型【排列组合求解】

    1.定义
    1. 试验的样本空间是有限的
    2. 每个样本点出现的可能性是相同的
    2.计算公式

    在这里插入图片描述

    3.例题

    在这里插入图片描述

    分房间问题/生日问题

    在这里插入图片描述

    5.几何概型

    1.定义
    1. 样本空间由无数样本点组成,但是可以形成一个区域,该区域是可以度量的
    2. 向样本空间中投掷一个点,其在任意位置出现的概率都是等可能的
    2.例题

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cViahHF0-1591247582554)(http://note.youdao.com/yws/res/14570/5687474A0E00438EB5E3975ACF1051BA)]
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    三.条件概率

    1.定义

    在这里插入图片描述

    例题

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7333ZTxQ-1591247582561)(http://note.youdao.com/yws/res/15471/E71775286FCD4A7FA05382DE67AAD7AD)]
    在这里插入图片描述

    2.乘法定理

    在这里插入图片描述

    2.全概率公式

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LYDfh414-1591247582563)(http://note.youdao.com/yws/res/15486/0551C320895E4F62B16169E0CEB6EA98)]

    3.贝叶斯公式

    也可以表示为(乘法定理):[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SddyM0oZ-1591247582565)(http://note.youdao.com/yws/res/15481/DC1FDA561DA94019BE7A73443810DA15)]

    例题

    在这里插入图片描述

    四.随机变量与分布函数

    1.随机变量定义

    在这里插入图片描述

    2.分布函数定义

    在这里插入图片描述

    3.分布函数的性质

    在这里插入图片描述

    例题

    口袋中装有3个白球和2个红球,从中任取3个球,求取出的3个球中白球数的分布函数

    在这里插入图片描述
    在这里插入图片描述

    4.离散型随机变量

    在这里插入图片描述

    例题

    在这里插入图片描述

    5.离散分布模型

    1.两点分布 & 0 - 1分布

    在这里插入图片描述

    2.伯努利实验 & 二项分布
    • 伯努利实验
      伯努利实验指的是在相同条件下重复进行实验当数学模型,并且只有两个可能的结果。

    • n重伯努利实验
      每次实验中某事件A或者发生或不发生,进行n次实验。例如每天的天气只有下雨和不下雨,求n天中有一天下雨的概率;每次投篮可以中或不中,求n次投篮中有2次不中当概率等,都属于n重伯努利实验。

    • 二项分布

    二项分布即描述n重伯努利实验的数学模型:

    进行n次伯努利实验,其中每次成功的概率为p,如果要有k次成功的概率为:

    在这里插入图片描述

    3. 泊松定理 & 泊松分布

    柏松定理解决的是大数据量情况下的不放回抽样,且抽样失败概率很小时的问题,用以替代掉n重伯努利实验的的二项分布。
    在这里插入图片描述

    例题

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    6.连续分布模型

    1.定义

    在这里插入图片描述

    2.密度函数

    在这里插入图片描述

    3.密度函数性质

    P{X = a} = 0,连续分布情况下,在某个特定的点的概率为0

    在这里插入图片描述

    分布函数求导可得密度函数

    例题

    在这里插入图片描述

    4.均匀分布

    在这里插入图片描述

    性质

    在这里插入图片描述
    在这里插入图片描述

    例题

    在这里插入图片描述

    展开全文
  • 什么是朴素贝叶斯要搞懂朴素贝叶斯分类,首先需要了解什么是贝叶斯定理和特征条件独立假设,朴素贝叶斯算法就是基于这个来实现的分类方法。贝叶斯定理贝叶斯定理通俗讲就是求在事件 B 已经发生的前提下,事件 A ...

    什么是朴素贝叶斯

    要搞懂朴素贝叶斯分类,首先需要了解什么是贝叶斯定理和特征条件独立假设,朴素贝叶斯算法就是基于这两个来实现的分类方法。

    贝叶斯定理

    贝叶斯定理通俗点讲就是求在事件 B 已经发生的前提下,事件 A 发生的概率,记为 P(A|B),被称为 A 的后验概率,也称为条件概率
    其基本公式为:

    60b19fc3b4ee6acb21f30108ca7d37e0.png


    P(A)就叫做先验概率边缘概率
    P(B|A) 就是在 事件A 发生情况下的 B 事件的概率分布,也是条件概率

    公式记不住怎么办,A 和 B 太容易混淆了。有办法,我们来推导一遍,首先 A 和 B 同时发生的概率被成为联合概率,表示为 P(AB)、P(A,B)、P(A ∩ B)。学过概率我们应该都知道,条件概率公式为:

    bd8fea1b93251a965d991babe44ab36e.png


    若由两个事件推广到无穷多个事件,条件概率公式可扩展为:

    110e2b1c0b33678e563809f38eac6fa7.png


    取n=2, 令A2=B, 则P(AB) = P(A)P(B|A), 代入上述公式即可得到贝叶斯定理公式。

    还有一个是全概率:设事件{Aj}是样本空间Ω的一个划分,且P(Ai)>0,那么对于任意事件B,全概率公式为:

    6b0597231f89efab1d33db68087aa7dc.png


    我们将 上面公式也带入到贝叶斯定理中去,最终 贝叶斯公式得到:

    27576de346c05abff2a4a6d59344c51d.png
    此处休息 2 分钟

    特征条件独立

    搞懂了贝叶斯定理,我们再来看特征条件独立,这个就很好理解了。先从数学角度描述一下,然后再通过例子详细说明。假设有一训练集(X,Y),输入 X 记为x=(x1, x2, …, xn), 表示每个样本 x 都有 n 维特征,输出 Y 为类标记集合,记作y={y1, y2, …, yk}, 表示类标记集合有 k 种类别。如果新来一个样本 m,判断它属于 Y 的哪个类别, 转化为概率问题其实就是求解 m属于 Y 哪个类别的概率最大。在这过程中,我们假设 x 的各个特征都相互独立,这个就是特征条件独立假设,根据条件独立公式 P((A,B)|C) = P(A|C)* P(B|C)可得对应公式为:

    ea078e9e4e37427282bf0bb2cced409f.png
    再冷静一下

    现在我们有公式①和公式②,将公式②代入公式①中,可得:

    cbb84c32505f4e26a7202eb56236328c.png


    因此,朴素贝叶斯分类器表达式可以转化为为:

    625c41c61d45fb7ac595a1767bb55b1a.png


    又因对于所有的样本中,公式③的分母都是一样的,朴素贝叶斯分类器表达式最终为:

    b0903439c360bf849f9ce7877c94e0a5.png


    至此可以看出,分类问题其实就是数学中求最大概率的问题。

    用例子学习朴素贝叶斯分类

    比如 下一篇我们即将实现的垃圾短信分类器。首先大概确定一份邮件中出现哪些特征会被判定为垃圾邮件。假设有100封邮件样本,我们已经标注垃圾邮件有25封,垃圾邮件中含有“便宜”、“发票”、“乱码”等字样。根据朴素贝叶斯分类器原理,一个样本判断属于哪个类别是求最大概率问题。通过分析得到:

    • P(垃圾邮件) = 0.25 (先验概率)
    • P(便宜|垃圾邮件) = 10/25 = 0.4 (条件概率)
    • P(发票|垃圾邮件) = 15/25 = 0.6
    • P(乱码|垃圾邮件) = 20/25 = 0.8
      通过朴素贝叶斯公式可得

    P(垃圾邮件|(便宜,发票,乱码)) = 0.048 (后验概率)

    • P(正常邮件) = 0.75
    • P(便宜|正常邮件) = 5/75
    • P(发票|正常邮件) = 3/75
    • P(乱码|正常邮件) = 1/75
      通过朴素贝叶斯公式可得

    P(正常邮件|(便宜,发票,乱码)) = 1/37500

    通过比较,发现 P(垃圾邮件|(便宜,发票,乱码))>P(正常邮件|(便宜,发票,乱码))。因此如果再来一份新邮件,如果出现便宜,乱码,发票字样,那么我们预测为垃圾邮件。
    PS:由于在实际问题中,可能会出现某些特征条件概率为 0 的情况,并不是说不存在这种情况,而是数据样本未采集到对应的数据。针对这种情况,一般采用拉普拉斯平滑来修正,具体的用法暂时先不说明了,简单来说假设样本为 1 来避免。

    最后

    朴素贝叶斯假设就是对条件概率分布做了条件独立的假设,由于这是一个较强的假设,因此朴素两字也是这样来的,也正因为这个假设条件,使得朴素贝叶斯高效,而且易于实现,对应的缺点也因为假设太强,分类的性能不一定很高。
    朴素贝叶斯分类其实在日常生活中我们经常会用到,比如说路上走来一个人,我们一眼就能看出它是男人还是女人,或是黄种人还是白种人。在企业中,判断信用卡诈骗,病人分类,新闻分类等都使用的是朴素贝叶斯分类。

    在下一篇中,我们将运用朴素贝叶斯分类器算法来实现一个垃圾短信分类检测器,敬请期待。

    原创文章,欢迎转载,转载请声明作者和出处,谢谢!

    欢迎关注机器学习 Club ,在这里我将持续输出机器学习原创文章,尽量用朴实的语言带你领略技术的美妙

    机器学习Club

    展开全文
  • 贝叶斯定理与朴素贝叶斯分类器

    千次阅读 2015-01-07 19:53:28
    朴素贝叶斯由于其简单易用、易于理解的特点,已经广泛应用于文本分类、医疗诊断的应用场景。下面就简单总结一下朴素贝叶斯分类器中的...首先引入概率中的个基本公式, 1、条件概率公式: P(AB)=P(A)P(B|A)=P(B)P
  • 我建议大家在纠正完错误之后,再把这套试题从头看一遍,总结一下自己都在哪些方面出错了,原因是什么,这套题中有没有出现我不知道的新的方法、思路,新推导出的定理、公式等,并把这些有用的知识全都写到你的笔记本...
  • 图为二分类图,表示有种类型的,但是在图上(6.5,3.4)的地方有一个黑点,还未分类的,从图上来看,大概觉得这一个绿色的,因为黑点周围的大部分也绿点,所以黑点大概率是绿点。 KNN近邻算法就是依据...
  • 朴素贝叶斯法naïve Bayes,在naïve的中间字母上其实有,查了一下才发现法语中的分音符,在发音过程中发挥作用。但这不是重要的,重要的在这种学习方法中贝叶斯承担了什么样的角色。 首先简单证明一下...
  • 11.4-11.5算法面试总结

    2020-11-05 22:38:39
    1、交叉熵中的熵什么? ‘熵’就是混乱度,衡量事物混乱程度的一个指标。 信息熵公式: 信息熵:对信息的度量。一个具体的事件发生了所带来的信息。也指信息的混乱程度。 信息增益:在划分数据集前后信息发生...
  • LR和Linear SVM的相同监督的分类算法 都线性分类算法 另外这里需要说的就是LR也可以加核函数的至于为什么不用,原因的...生成模型先计算联合概率分布P(Y,X)P(Y,X)然后通过贝叶斯公式转化为条件概率...
  • 要搞懂朴素贝叶斯分类,首先需要了解什么是贝叶斯定理和特征条件独立假设,朴素贝叶斯算法就是基于这个来实现的分类方法。 贝叶斯定理 贝叶斯定理通俗讲就是求在事件 B 已经发生的前提下,事件 A 发生的...
  • 至少有两点值得指出: 首先,作者完全采用了一种问答的形式来组织和介绍相关内容。全书从头到尾共设计了472个问题(很多由学生提出来的),有问有答,循序渐进,逐步将各种图像技术依次介绍。这种形式除能帮助...
  • 跑一遍凸包就好了呀,这些点中,如果i号点是凸包上的,那么它的ans就是自己(第二个),不然的话,从上图来看,i的ans肯定和他相邻的凸包边界的有关(0节点和2节点),那么怎么求这个ans呢?(第x号为横...
  • 在第一题的基础上之上,觉得莫队有个很关键的地方在于 莫队所维护的值是什么,怎么推出维护的公式来。 这道题就是这样,一开始还没自己推出公式来,也有几个坑。 题目链接:...
  • Decision Tree 决策树

    2020-05-10 05:13:45
    什么是熵?用最外行的话来说,熵不过无序的量度。 熵的数学公式如下: 公式中“ Pi”只是我们数据中元素/类“ i”的频繁出现概率。 为了简单起见,假设我们只有个类,一个正类和一个负类。 因此,这里的“ i”...

空空如也

空空如也

1 2 3 4
收藏数 63
精华内容 25
关键字:

两点概率公式是什么