精华内容
下载资源
问答
  • 似然函数(Likelihood function、Likelihood)  在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。似然函数在统计推断中有重大作用,如在最大似然估计和费雪信息之中的应用等等...

    似然函数(Likelihood function、Likelihood)
      在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。似然函数在统计推断中有重大作用,如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性,但是在统计学中,“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
      在这种意义上,似然函数可以理解为条件概率的逆反。在已知某个参数B时,事件A会发生的概率写作:在这里插入图片描述
    极大似然估计  
    贝叶斯决策
    首先来看贝叶斯分类,我们都知道经典的贝叶斯公式:在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 极大似然估计是一种针对一种现象(或事件),提取的一种解决方法 这种现象是:其总体的分布类型已知,但是里面的参数未知。 二、解决问题的思路,几何意义 极大似然原理:概率大的事件在一次观测中更容易发生。反...

    一、要解决什么问题或事件

    极大似然估计是一种针对一种现象(或事件),提取的一种解决方法

    这种现象是:其总体的分布类型已知,但是里面的参数未知。

    二、解决问题的思路,几何意义

    极大似然原理:概率大的事件在一次观测中更容易发生。反过来,在一次观测中发生了的事件其概率应该尽可能地大。

    设X1,X2,...,XN是取自总体X的一个样本,样本的联合密度(连续型)或联合概率函数(离散型)称为f(X1,X2,...,Xn;theta).

    当给定样本X1,X2,...Xn时,定义似然函数为:

    L(theta) = f(X1,X2,...,Xn;theta)

    L(theta)看做参数theta的函数,它可作为theta将以多大可能产生样本值X1,X2,...Xn的一种度量。

    极大似然估计法就是用使L(theta)达到最大值的theta去估计theta,称这样计算出来的theta为参数theta的极大似然估计(MLE)。

    三、如何做

     

    展开全文
  • 极大似然函数 对于L(θ|x)=f(x|θ)这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后,我们去想这个样本出现的可能性到底是多大。统计学的...

    概率

    对概率p(xw)p(x|w)是描述固定参数w时,随机变量x的分布情况。

    极大似然函数

    对于L(θ|x)=f(x|θ)这个等式表示的是对于事件发生的两种角度的看法。其实等式两遍都是表示的这个事件发生的概率或者说可能性。再给定一个样本x后,我们去想这个样本出现的可能性到底是多大。统计学的观点始终是认为样本的出现是基于一个分布的。那么我们去假设这个分布为f,里面有参数theta。对于不同的theta,样本的分布不一样。f(x|θ)表示的就是在给定参数theta的情况下,x出现的可能性多大。L(θ|x)表示的是在给定样本x的时候,哪个参数theta使得x出现的可能性最大。

    例子

    对于投硬币来说,我们已知概率正反面分别为0.5,那么假设投硬币投10次那么概率p(x1,x2,.....x10p=0.5)=11024p(x_1,x_2,.....x_{10}|p=0.5)=\frac{1}{1024},这是对于概率来说的。
    那么对于极大似然函数来说,我们知道结果满足伯努利分布,假设具体的p值我们不知道,我们只知道从该分布取样得到的
    PPNNPNPPPP的一组样本,p代表正面,N代表反面,因为我们只知道这组样本,那么极大似然的思想就是求得使这组样本得到概率最大的对应的p。那么L(θ|x)=f(x|θ)=p*p*(1-p)*(1-p)*p*(1-p)*p*p*p*p=p7(1p)3p^7(1-p)3,对于这个例子来说p=0.5的时候,概率等于11024\frac{1}{1024},但是这个时候概率有更大的值,已知当p=0.7的时候概率最大。但是要知道,我们只取了一组样本,当样本足够大的时候,可以得出p=0.5的时候,概率最大,这与上文我们已知p=0.5一致。

    展开全文
  • 极大似然函数估计Matlab子函数

    千次阅读 2015-09-25 23:14:10
    模块化编程便于程序的阅读、理解和二次开发,本文将《系统辨识与自适应控制Matlab仿真》书中递推极大似然参数估计算法改写为Matlab子函数的形式,方便以后调用。

    模块化编程便于程序的阅读、理解和二次开发,本文将《系统辨识与自适应控制Matlab仿真》书中递推极大似然参数估计算法改写为Matlab子函数的形式,方便以后调用。

    function [theta] = LG_RML(u,y,oa,ob,od)
    % Writer: GeoLee
    % Date: 2015.9.25
    % 参数说明:
    % CARMA模型:A[z^(-1)]*y(k) = B[z^(-1)]*u(k) + D[z^(-1)]*e(k)
    % A[z^(-1)] = 1 + a1*z^(-1) + ... + a_na*z^(-na);
    % B[z^(-1)] = b0 + b1*z^(-1) + ... + b_nb*z^(-nb);
    % D[z^(-1)] = 1 + d1*z^(-1) + ... + d_nd*z^(-nd);
    % u: 输入向量
    % y: 输出向量
    % oa: A的阶数, ob:B的阶数, od: D的阶数
    % theta: 估计的参数
    % 例子:
    %  y(k) = 1.5y(k-1)-0.7y(k-2)+u(k)+0.5u(k-2)+e(k)-0.5e(k)
    %  theta应为[1.5,-0.7,1,0.5,-0.5]的估计值
    % 参数初始化
    na = oa - 1;nb = ob - 1;nc = od - 1;d = 1;
    L = length(u);%驱动数据个数
    nn = max(na,nc);
    uk = zeros(d + nb,1);%输入初值
    yk = zeros(na,1);%输出初值
    vk = zeros(nc,1);% 白噪声估计初值
    yfk = zeros(nn,1);ufk = zeros(nn,1);vfk = zeros(nc,1);% 三个滤波值初始化
    thetae_1 = zeros(na+nb+1+nc,1);%第一个及当前估计估计参数初始化 
    thetae = zeros(na+nb+1+nc,L);%所有递推估计参数初始化
    P = eye(na+nb+1+nc);%P阵初始化
    for k = 1:L
        % step01: 构造向量
        hk = [-yk;uk(d:d+nb);vk];
        v = y(k) - hk'*thetae_1;
        hkf=[-yfk(1:na);ufk(d:d+nb);vfk];
        % step02: 递推极大似然参数估计算法
        K=P*hkf/(1+hkf'*P*hkf);
        thetae(:,k)=thetae_1+K*v;
        P=( eye(na+nb+1+nc)-K*hkf' )*P;
        yf=y(k)-thetae(na+nb+2:na+nb+1+nc,k)*yfk(1:nc);%yf(k)
        uf=u(k)-thetae(na+nb+2:na+nb+1+nc,k)*ufk(1:nc);%uf(k)
        vf=v-thetae(na+nb+2:na+nb+1+nc,k)*vfk(1:nc);%vf(k)
        % step03: 更新数据
        % 01:参数估计更新
        thetae_1=thetae(:,k);        
        % 02:控制量更新
        for i=d+nb:-1:2
            uk(i)=uk(i-1);
        end
        uk(1)=u(k);       
        % 03:输出量更新
        for i=na:-1:2
            yk(i)=yk(i-1);
        end
        yk(1)=y(k);
        % 04:误差更新/误差滤波更新
        for i=nc:-1:2 
            vk(i)=vk(i-1);
            vfk(i)=vfk(i-1);
        end
        vk(1)=v;
        vfk(1)=vf;
        % 05: 输入输出滤波更新
        for i=nn:-1:2 
            yfk(i)=yfk(i-1);
            ufk(i)=ufk(i-1);
        end
        yfk(1)=yf;
        ufk(1)=uf;
    end
    theta = thetae;
    end

    主函数调用Matlab代码:

    clear all;clc;
    %step1: 仿真数据准备:生成长度为L的输入输出数据u,y
    a=[1 -1.5 0.7];b=[1 0.5];c=[1 -0.5];d=1;%对象参数
    L=1000;%仿真长度
    na=length(a)-1;nb=length(b)-1;nc=length(c)-1;%na、nb、nc为A、B、C阶次
    uk=zeros(d+nb,1);%输入初值:uk(i)表示u(k-i)
    yk=zeros(na,1);%输出初值
    u=randn(L,1);%输入采用白噪声序列
    xi=randn(L,1);%白噪声序列
    xik=zeros(nc,1);%白噪声初值
    for k=1:L
        y(k)=-a(2:na+1)*yk+b *uk(d:d+nb)+c *[xi(k);xik];%采集输出数据
        % 更新输入u
        for i=d+nb:-1:2
            uk(i)=uk(i-1);
        end
        uk(1)=u(k);
        % 更新y
        for i=na:-1:2
            yk(i)=yk(i-1);
        end
        yk(1)=y(k);
        % 更新噪声
        xik(1)=xi(k);
    end
    %step2: 调用LG_RML函数,进行参数估计
    thetae = LG_RML(u,y,3,2,2);
    %step3: 绘制估计结果图
    figure(1)
    plot([1:L],thetae(1:na,:),[1:L],thetae(na+nb+2:na+nb+1+nc,:));
    xlabel(k);ylabel('参数估计a、d');
    legend('a_1' ,'a_2' ,'d_1' );axis([0 L -2 2]);
    figure(2)
    plot([1:L],thetae(na+1:na+nb+1,:));
    xlabel(k);ylabel('参数估计b' );
    legend('b_0' ,'b_1' );axis([0 L 0 1.5]);

    运行后的结果与书上一致。

    展开全文
  • 极大似然函数笔记

    千次阅读 2018-11-17 17:54:28
    一、似然与概率的区别 记得在一篇博客中看到博主是这样解释的,感觉讲的很清晰,在这里分享一下。 (1)有一枚均匀的硬币,我们来求它抛20次有12次正面的可能性。这里的可能性指的就是概率。从机器学习的角度来说,...
  • 极大似然函数估计值,矩估计

    千次阅读 2010-10-06 21:54:00
    极大似然函数估计值的一般步骤:   (1) 写出似然函数 L(x1,x2,x3,...,xn,lamda) --->由式f(x1,lamda).f(x2,lamda)...f(xn,lamda)连乘得到;   (2) 对似然函数取对数,并整理;   ...
  • 1. 简述 Logistic Regression Logistic regression 用来解决二分类问题, ...θ) 是对 p 的模拟,p 是个概率,这里用了 p=sigmoid 函数, 所以 目标函数 为: 为什么用 sigmoid 函数?请看:Logistic regr...
  • ![图片说明](https://img-ask.csdn.net/upload/201910/28/1572251483_705350.jpg) 求求各路大神救救小白
  • 极大似然函数到EM算法

    千次阅读 2014-08-13 18:14:06
    极大似然估计,又名最大似然估计,其基本思想是:当我们从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该是使得从模型中抽取的该n组样本观测值的概率最大(直观上也很容易理解,概率大的事件总是比概率小...
  • 推导真的是一件辛苦的事情。 手工推导,如有错误欢迎指正!马上修改!
  • 似然函数类似概率,越,落在正态分布中间段的概率越,越接近预测值 为什么要log(似然函数)? 加法容易计算 为什么让后面结果越小越好?即为什么要最小?二乘法?不是最大二乘法? 推导化简的结果,使似然函数...
  • 似然函数极大似然估计 标签(空格分隔): ML 似然函数   随机变量XXX的概率分布已知,但是这个分布的参数是未知的,需要我们去估计,我们把他记作θ\thetaθ,好比在抛硬币的试验中,硬币正面朝上的概率是未知...
  • 极大似然估计的理解 极大似然估计的形式: 1.离散型统计模型 表示观测值。 2.连续型统计模型 自己的理解: 似然函数的形式是理论上各事件(这个事件表示一个采样一个样本,每个样本有不同的分类)的...
  • R语言自定义极大似然函数函数、假设检验函数(超基础、简易)目录一、自定义极大似然函数二、自定义假设检验函数 目录 一、自定义极大似然函数 1、求出似然函数,以正太分布、指数分布为例 正太分布似然函数: 指数...
  • 统计学中,似然函数是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率: L(θ|x)=P(X=x|θ). 概率描述了已知参数时的随机变量的输出结果...
  • 似然函数 极大似然估计 本质讲解

    千次阅读 2018-04-11 10:48:45
    似然函数在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率: 例子:考虑投掷一枚硬币的...
  • 先验概率、后验概率、贝叶斯、似然函数极大似然估计概述先验概率后验概率贝叶斯公式似然函数极大似然估计 概述 因为笔者对这些的概念跟联系老是分不太清楚,为了加深自己的理解,只好写下这篇博客,以便后续翻阅。...
  • 似然函数,在机器学习的算法模型中,可谓是屡见不鲜了,每次总觉得自己已经掌握了这个概念,但是遇到具体的情况后,发现还是很难说清楚,于是根据wiki上关于Likelihood function的解释,以及个人的学习理解,整理...
  • 最大似然函数和最大后验概率区别

    千次阅读 2017-08-21 21:37:35
    因此,频率派最关心极大似然函数,只要参数求出来了,给定自变量X,Y也就固定了,极大似然估计如下所示:D表示训练数据集,是模型参数相反的,贝叶斯派认为参数也是随机的,和一般随机变量没有本质区别,正是因为参数...
  • 极大似然估计

    2019-10-01 16:17:15
    如果取极大似然函数的相反数,得到的就是我们熟悉的损失函数cost,同时极大似然函数也对应的极小化我们的损失函数。 为什么要有极大似然估计 例子:我与一位猎人一起外出打猎,一只野兔从前方穿过,只听到一声枪响,...
  • 似然函数的意义与极大似然估计

    千次阅读 2019-07-02 19:18:41
    简单来说,概率是一个函数,定义域是样本空间,满足非负性,规范性,可列可加性。 严格的公理化定义如下: 概率可以做什么?统计又可以做什么? 什么是先验概率,后验概率,似然? 先验概率:根据以前的经验...
  • 极大似然 S函数 逻辑回归 具体案例 学习笔记
  • 极大似然估计详解

    万次阅读 多人点赞 2017-05-28 00:55:10
    极大似然估计  以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下: 贝叶斯决策  首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: ...
  • 极大似然估计(Maximum Likelihood Estimattion Theory)是什么?极大似然估计的本质思想是什么?为什么极大似然可以作为损失函数使用?负对数似然损失函数(Negative Log Likelihood)又是什么?交叉熵函数与最大...
  • 该文章copy自侯媛彬老师的《系统辨识及其MATLAB仿真》一书。 对应本书的5.3.3节。
  • 概率论-极大似然估计

    2020-03-06 19:12:33
    文章目录极大似然估计最大似然原理极大似然估计似然函数极大似然函数估计值求解极大似然函数未知参数只有一个位置参数有多个总结 极大似然估计 最大似然原理 极大似然估计   极大似然估计是建立在最大似然原理的...
  • 总体思想:已知结果,求概率密度函数 输入:已知一个抽样样本的规律,一个存在未知量的概率密度函数 输出:求得概率密度函数的未知量,获得分布规律 例子:1000个胃癌患者中,抽出100人调查体重值,我们大概能用一个...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,129
精华内容 9,251
关键字:

极大似然函数