精华内容
下载资源
问答
  • 每个数据科学一旦开始研究统计模型,就会遇到马尔可夫链和马尔可夫过程这两个术语。本文将以一种易于理解的方式解释马尔可夫过程的基本概念。 马尔可夫链广泛应用于金融、汽车、食品、博彩业,在日常生活中几乎...

    每个数据科学家一旦开始研究统计模型,就会遇到马尔可夫链和马尔可夫过程这两个术语。本文将以一种易于理解的方式解释马尔可夫过程的基本概念。

    马尔可夫链广泛应用于金融、汽车、食品、博彩业,在日常生活中几乎无处不在。因此,这是所有统计学家必须知道的话题。

    天气、赌博、股价、人类行为等都是马尔可夫过程。

    文章主旨

      本文旨在解释以下关键主题:

    1. 什么是马尔可夫过程?
    2. 什么是马尔可夫链?
    3. 马尔可夫链实例
    4. 什么是平稳马尔可夫链分布?

    1. 什么是马尔可夫过程?

    让我们考虑一个物体以随机的方式移动。这个对象可以是足球、考虑下一步的棋手、汇率、股票价格、汽车运动、客户在队列中的位置、在路上移动的人、足球场上的运动员等等。

    这些物体以随机的方式移动。因此,我们可以得出结论,物体在本质上是随机的。这些对象基本上代表了整个系统。有趣的是,所有这些系统都可以有马尔可夫性质。

    什么是马尔可夫性质?

    如果一个物体以一种随机的方式运动,并且它的运动是无记忆的,那么这个物体就具有马尔可夫性质。

    作为一个例子,我们假设我们的目标对象是一个被一群足球运动员踢来踢去的足球。接下来足球可以在任何状态下进行。作为一个例子,它可以左右移动。如果我们的目标对象是一个公司的股票价格,那么它接下来可以得到任何数值,比如0.999,1,2,3等等。现在,我们在上面说马尔可夫性质是无记忆的。它意味着物体的未来运动只取决于它的当前状态。这是最重要的概念。

    马尔可夫性质是无记忆的,这就引出了马尔可夫链的概念。

    1. 什么是马尔可夫链?

    让我们考虑一个物体以随机的方式移动,对象(或系统)的状态可以更改。这种变化称为跃迁,每个跃迁都有与其他跃迁相关联的概率。

    因此,这个数学系统可以从一种状态过渡到另一种状态,这种过渡是基于概率的。

    系统是一个随机过程的例子。假设它可以处于状态A或状态B。我们还可以考虑,当对象处于状态A时,它保持在状态A的可能性为40%,转换为状态B的可能性为60%,如下所示:

    示例状态机

    需要注意的关键是进程具有马尔可夫性质,这意味着它是无记忆的。因此,未来转变的可能性并不依赖于过去的状态。它们只取决于当前的状态。这就是我们认为它没有记忆的原因。

    马尔可夫链是一个具有马尔可夫性质的随机过程。

    马尔可夫链表示物体的随机运动。它是随机变量的序列Xn,其中每个随机变量都有一个与其相关联的转移概率。每个序列也有一个初始概率分布π。

    考虑一个可以处于三种状态之一的对象{A,B,C}。随后,这个对象从状态A开始,可以转到另一个状态B或状态C,依此类推。所有状态A、B、C等都在状态空间中(状态空间是所有可能状态的集合)。

    马尔可夫链的组成

    这就引出了马尔可夫链的两个主要组成部分:

      1. 状态空间

    状态空间是随机系统可能处于的所有状态(位置)的集合。

    它被表示为S。作为一个实例,S可以是{up,down}或{top,bottom}或{1.1,2.2,…}或{positive,negative,neutral}或{A A A,AA,A,B,D,E..}等。             

    需要注意的是,S是状态空间,它是对象可能处于的所有状态的集合。

      1. 转移概率

    第二部分是转移概率。转移概率是一个概率表。表中的每个条目i,j都告诉我们对象从状态i转换到状态j的概率。

    因此,所有需要等于或大于0的状态都有一个相关的概率。另外,概率值之和需要为1。             

     

    转移概率告诉我们物体可能处于的下一个状态及其相关概率。因此,对象的下一步移动仅依赖于其当前值。             

    假设我们有一个转移概率矩阵:

    上表显示,如果目标对象处于“向上”状态,则它有60%的机会过渡到“向下”状态,40%的机会保持在“向上”状态。此外,如果目标对象处于“向下”状态,则有60%的可能性它将过渡到“向上”状态,40%的可能性它将保持在“向下”状态。             

    需要注意的关键是,只需要知道当前状态就可以确定未来状态的概率分布。任何其他历史信息都是毫无意义的。

    1. 马尔可夫链实例

    本节将用一个易于理解的例子来解释马尔可夫链的概念。

    让我们考虑一下,我们试图预测交易对手名单的评级。每个交易对手都有当前评级。例如,交易对手Alpha可以有等级A、B或C。因此,{A、B、C}是状态空间中的状态。

    我们得到了一个转移概率矩阵。这个矩阵也称为随机矩阵。转移概率矩阵告诉我们交易对手转移到另一个评级的概率。

    交易对手评级状态空间={A,B,C}             

    转换矩阵:

    需要注意的是,概率行或列的总和是1。             

    因此,如果交易对手的评级为a,则有30%的机会将其转换为C级,50%的机会将其自身转换为B级,而它有20%的机会保持在a级。              随机过程也有一个概率分布,我将很快解释。             

    这就引出了重要的定理:             

    如果一个马尔可夫链是{Xn},并且有一个状态空间S,具有转移概率{pij},其初始概率分布为{μi},那么对于作为S元素的任何i,我们得到:

    PX1=i=∑μPi(S的所有k元素之和)

    因此,我们还应考虑交易对手的当前概率分布如下:

       对于评级为a的交易对手,其评级为0.5             

    对于评级为B的交易对手,其评级为0.1             

    对于评级为C的交易对手,其评级为0.4。             

    马尔可夫链的概率分布可用行向量π表示,如下所示:

    概率分布加起来是1。             

    有了这些信息,我们可以开始更好地理解这个过程。随着时间的推移,我们可以开始估计物体处于特定状态的概率。例如,对于下一个评级为C的交易对手,我们可以将所有状态的当前概率分布和转移概率的乘积相加:

    P(X1=C) = (0.5*0.3) + (0.1*0.4) + (0.4*0.3) = 0.31

    它告诉我们,大约31%的时候,这个交易对手在一个步骤后将获得C级评级。一旦我们有了这些信息,我们就可以开始以更高的置信度预测一个以随机移动的物体。

    1. 什么是平稳马尔可夫链分布?

    这就带来了随机变量的稳定性。这是本文的最后一个重要部分。本节将介绍马尔可夫链的平稳分布问题。             

    假设我们的目标随机过程需要被估计,我们想了解随机过程的稳定性。             

    我们知道马尔可夫链具有概率分布。平稳这个词意味着主体是恒定的,我们知道我们的随机对象可以移动到任何可能的状态。这个例子中的主体是随机过程的概率分布,而不是随机对象本身。

    因此,如果一个马尔可夫链的统计分布是平稳的,那么它意味着分布不会随着时间的推移而改变。             

    因此,如果转移矩阵是P,概率分布是π,那么马尔可夫链的平稳分布是π=π*P             

    这是一个非常重要的概念。它告诉我们,无论具有平稳概率分布的系统在开始时在哪里,随着时间的推移,系统在一个状态下花费的时间量将与其概率分布近似。

    而且,链的概率总是和它开始的概率一样。             

    如果{Xₙ}是一个马尔可夫链,并且它具有平稳分布{πᵢ},那么如果对于所有i都有P(Xₙ=i)=πᵢ,那么只要m>n ,就有P(Xₘ=i)=πᵢ(对于所有i)。             

    这些信息可以帮助我们预测随机过程。

    1. 总结

    本文解释了以下关键问题:

    1. 什么是马尔可夫过程?             
    2. 什么是马尔可夫链?             
    3. 马尔可夫链实例             
    4. 什么是平稳马尔可夫链分布?

    翻译:tensor-zhang

    展开全文
  • 大数据幽默解释

    千次阅读 2017-02-17 14:44:12
    大数据幽默解释

    各位请注意,您知道什么叫大数据吗?下面通过一段对话,您就知道了!看看对当老板的、当领导的或当老师的等等有什么启发和帮助?

     

    必胜客店的电话铃响了。

    客服拿起电话:必胜客。您好! 请问有什么需要我为您服务?

    顾客:你好! 我想要一份……

    客服:先生,请先把您的会员卡号告诉我,好吗?

    顾客:16846146***。

    客服:陈先生,您好!您是住在泉州路一号12楼1205室。您家电话是2646****,您公司电话是4666****,您的手机是1391234****。请问您想用哪一个电话付费?

    顾客:你为什么知道我所有的电话号码?

    客服:陈先生,因为我们联机CRM系统。

    顾客:我想要一个海鲜比萨……

    客服:陈先生,海鲜比萨不适合您。

    顾客:为什么?

    客服:根据您的医疗记录,你的血压和胆固醇都偏高。

    顾客:那你有什么可以推荐的?

    客服:您可以试试我们的低脂健康比萨。

    顾客:你怎么知道我会喜欢这种的?

    客服:您上星期一在国家图书馆借了一本《低脂健康食谱》。

    顾客:好。那我要一个家庭大号比萨。

    客服:陈先生,大号的不够吃。

    顾客:为什么?

    客服:因为您家一共有六口人。来个特大号的,怎样?

    顾客:要付多少钱?

    客服:99元。这个足够您一家六口吃了。但您母亲应该少吃,她上个月刚刚做了心脏搭桥手术,还处在恢复期。

    顾客:那可以刷卡吗?

    客服:陈先生,对不起。请您付现款。

    顾客:你们不是可以刷卡的吗?

    客服:一般是可以的。但是您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括您的房贷利息。

    顾客:那我先去附近的提款机提款。

    客服:陈先生,根据您的记录,您已经超过今日提款限额了。

    顾客:算了,你们直接把比萨送我家吧,家里有现金。你们多久会送到?

    客服:大约30分钟。如果您不想等,可以自己骑摩托车来取。

    顾客:为什么?

    客服:根据我们CRM全球定位系统车辆行驶自动跟踪记录显示,您登记的一辆车号为SB-748的摩托车,目前正在解放路东段华联商场右侧行驶,离我们店只有50米。

    顾客:好吧(头开始晕)

    客服:陈先生,建议您再带一小份海鲜比萨。

    顾客:为什么?你不是说我不能吃吗?

    客服:根据我们CRM通讯系统分析,今天您与一位女性通话频率高、时间长,今天又是2.14,我们分析应该是您的情人,而这位手机用户近来一直买的是海鲜比萨,她应该喜欢这种口味。

    顾客:…………

    客服:您最好现在就送回家,否则您就不方便出来了。

    顾客:为什么?

    客服:根据我们定位系统,您的爱人大约30分钟后到家。

    顾客:我为什么要出来?

    客服:您已在汇峰酒店定了今晚的房间,估计您是与情人约会吧?

    顾客:当即晕倒…………

    这就是大数据!?

    展开全文
  • 哲学总是用不同的方式解释世界,问题在于改变世界。 ---- 卡尔.马克斯


    哲学家总是用不同的方式解释世界,问题在于改变世界。     ----   卡尔.马克斯

    展开全文
  • 这是马克思的墓志铭。在伦敦highgate公墓,用金字刻在大理石墓碑上。The philosophers have only interpreted the world in various ways. The point, however, is to change it. 作者:钱尼马链接:...
    这是马克思的墓志铭。
    在伦敦highgate公墓,用金字刻在大理石墓碑上。
    The philosophers have only interpreted the world in various ways. The point, however, is to change it.


    作者:钱尼马
    链接:https://www.zhihu.com/question/36273696/answer/153437467
    来源:知乎
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
    展开全文
  • 解释一下全连接层

    万次阅读 多人点赞 2017-09-28 11:07:27
    解释全连接层的意义与原理
  • 作者:叶落风逝链接:https://www.zhihu.com/question/36273696/answer/143055214来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 我们如果说我们认为世界是XX,就是说我们把他...
  • AD域中常见属性名词解释

    万次阅读 2015-05-20 09:00:32
    AD域中常见属性名词解释 Active Directory(AD)活动目录 schema对象模型 Organizational Unit(OU)组织单位 Distinguished name(DN)识别名 Canonical Name(CN)正式名称 Domain Controllers(DC)域控制...
  • 设计模式-解释器模式

    千次阅读 2019-04-04 09:33:30
    给定一种语言,定义他的文法的一种表示,并定义一个解释器,该解释器使用该表示来解释语言中句子。 角色: AbstractExpression:抽象解释器 声明一个抽象的解释操作,这个接口为抽象语法树中所有的节点所共享。 ...
  • JAVA解释器模式

    千次阅读 2018-09-16 23:19:01
    JAVA解释器模式 通过本文将学习到 1、前言 2、解释器模式的概念 ...对了,突然想聊聊鲁迅先生,如果在整个学生时代要说我最喜欢的文学的话,周树人先生当之无愧!他的语句犹如手术刀般的锋利,可以直刺心窝...
  • 代理服务器通俗解释

    千次阅读 热门讨论 2017-11-22 20:15:17
    代理服务器英文全称是(Proxy Server),其...再举个通俗的例子,比如你的门坏了,不能走出屋子,你只能借助你后门并且通过邻居的门走出屋子。完成这样一个目的,就等于说是借助其他通道到达你想要到达的目的地
  • 区块链安全解释

    千次阅读 2019-04-15 09:55:48
    科技专家、企业谢尔曼•李(Sherman Lee)最近表示:“区块链本身可能是不可信、不可改变和清廉的,但如果我们忽略其中存在的漏洞,它们就相当于使价值数十亿美元锁在有问题的保险箱里。”区块链因其复杂的数学运算而...
  • PID 通俗解释

    万次阅读 多人点赞 2018-03-26 16:05:12
    PID 控制原理3 个故事:看完您就明白了。1、: PID 的故事小明接到这样一个任务:有一个水缸点漏水(而且漏水的速度还不一定固定不变),要求水面高度维持在某个位置,一旦发现水面高度低于要求位置,就要往水缸里加水...
  • 【机器学习】解释机器学习模型

    千次阅读 2018-08-23 10:05:54
    此外,作为数据科学,您将始终受益于模型的可解释性,以验证和改进您的工作。在这篇博客文章中,我试图解释机器学习中可解释性的重要性,并讨论一些您可以自己试验的简单操作和框架。 关于机器学习的xkcd   ...
  • 解释推荐系统总结

    千次阅读 2018-08-28 19:10:14
    2. 解释的形式 2.1 基于用户和物品的解释 2.2 基于内容的解释 2.3 文本解释 2.4 视觉解释 2.5 社交解释 2.6 混合解释 3. 可解释推荐系统模型 3.1 矩阵分解模型 3.1.1 隐因子模型(LFM) 3.1.2 显因子模型 3.1.3 其他...
  • 如何向奶奶解释SQL与NoSQL的区别

    千次阅读 多人点赞 2019-11-25 19:42:20
    本文介绍SQL和关系代数的起源,没有干货,请谨慎阅读。如何向你奶奶解释SQL和NoSQL最近Medium上出现了一个面试题:如何向你奶奶解释SQL和NoSQL的区别。我看...
  • Gini coefficient直观的解释与实现

    万次阅读 2017-11-14 12:10:07
    我们去Google或者Baidu,得到的都是些不甚满意的经济学相关的解释。那么在机器学习、数据挖掘领域,基尼系数在实际的应用场景中又该如何解释以及如何实现呢?基尼系数的经济学解释首先,我们先看一张从Wiki上找来的...
  • 机器学习模型可解释性的详尽介绍

    千次阅读 多人点赞 2019-11-26 12:22:00
    机器之心平台来源:腾讯技术工程模型可解释性方面的研究,在近两年的科研会议上成为关注热点,因为大家不仅仅满足于模型的效果,更对模型效果的原因产生更多的思考,这样的思考有助于模型和特征的优化,更能够帮助更...
  • 对索伯列夫空间的一个浅显易懂的解释

    万次阅读 多人点赞 2016-05-15 21:46:36
    索伯列夫空间理论是上个世纪30年代初由苏联数学S.L.Sobolev发展起来的。这些空间是由多个实变量的弱可微函数所组成的Banach空间,它们是为研究偏微分方程的近代理论极易研究与数学分析有关的领域中许多问题的需要...
  • NGS基础名词解释(1)

    千次阅读 2017-12-06 13:44:21
    NGS基础名词解释
  • NVIDIA GPU Compute Capability解释

    千次阅读 2019-08-09 17:46:01
    从2006年开始,NVIDIA开始统一使用科学的名字命名其显卡的微架构,第一个架构Tesla是第一个实现统一渲染(Unified Shaders)的微架构,同时引进了CUDA与Compute Capability(计算能力)的概念,对NVIDIA而言具有划...
  • 银行算法

    千次阅读 2015-11-04 22:40:32
    银行算法一种避免死锁的算法,由Dijkstra发明。 本文写出了银行算法的Java实现,并详细解释了算法过程。
  • 电子商务之部分名词解释

    千次阅读 2020-01-03 17:47:25
    电子商务——部分名词解释 目录 电子商务——部分名词解释 (1)电子商务 (2)企业资源计划ERP (3)管理信息系统 (4)人力资源管理 (5)客户关系管理 (6)供应链管理 (7)认证机构 (8)数字证书 ...
  • 解释比特币原理

    千次阅读 2013-11-29 07:58:24
    欢迎收看今天的走进“伪”科学——用普通人也能理解的话解释比特币。 比特币大热,北京时间上周六下午五点多,比特币网络刚刚成交了有史以来最大的一笔交易——19 万比特币被抛向了市场,按照当时的价格 5000 左右...
  • 如何给外行解释云计算

    千次阅读 多人点赞 2018-11-28 10:23:23
    云计算的火热,很多人都问什么是云计算,如何通俗的解释,下面以做饭为例说明。 企业对各种IT服务的需求,就像饿了要吃饭一样,饿了,最开始都是自己做饭,开始就像原始人,狩猎了就地儿火烤,原始的IT服务是企业买...
  • GPU参数解释

    千次阅读 2013-06-15 00:01:50
    GPU参数解释 前言:目前包括电影《阿凡达》和游戏《星际争霸2》在内的大作不断地刺激着我们的眼球和神经,《阿凡达》让我们看到了一个通过3D渲染营造出来的宏大场面,而《星际争霸2》则让我们感受到了它在游戏画质...
  • XGBoost参数解释

    万次阅读 2018-02-19 20:07:34
    虽然大部分数据科学很少用到这个参数,但是这个参数在减少过拟合上还是可以挖掘出更多用处的。. alpha [缺省值=0,别名: reg_alpha] 权重的L1正则化项。(和Lasso regression类似)。 可以应用在很高维度的情况...
  • 3.军事,我从小比较喜欢看抗日电视剧,感觉我们国家从苦难中走出来很不容易,我那时希望自己成为军事,能够保卫好我们的国家! 4.科学,老师跟我们说科学是国家栋梁!我也希望能够成为杰出的科学,提升...
  • 人工智能的不可解释

    千次阅读 2019-07-29 09:21:53
    最近在读《philosophy of science》,里面提到哲学和科学一致反对那些玄学的东西,比如中国农村可能比较流行的分水先生之类的东西。 而且事实证明这些玄学的东西逐渐沦为小众,为什么呢?因为它们的不可解释性?...
  • 白话解释正态分布

    千次阅读 多人点赞 2018-11-27 15:29:30
    复习一个统计学方面的课题,想找些资料看看,结果发现,就算是最基本的一些统计学概念,能找到的中文资料,读起来都是这么的佶屈聱牙,似乎都是从教科书里拷贝几个名词解释给放到一起,就算是一篇文章了。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 284,474
精华内容 113,789
关键字:

家怎么解释