精华内容
下载资源
问答
  • 参数估计的基本原理与直方图方法 1. 前言 在很多情况下,我们对样本的分布并没有充分的了解,无法事先给出密度函数的形式,而且有些样本分布的情况也很难用简单的函数来描述。 在此背景下,采用非参数估计,即不对...

    非参数估计的基本原理与直方图方法

    1. 前言

    在很多情况下,我们对样本的分布并没有充分的了解,无法事先给出密度函数的形式,而且有些样本分布的情况也很难用简单的函数来描述。
    在此背景下,采用非参数估计,即不对概率密度函数的形式作任何假设,而是直接用样本估计出整个函数。当然,这种估计只能用数值方法取得,无法得到完美的封闭函数形式。
    从另一个角度来看,概率密度函数的参数估计实际是在指定的一类函数中选择一个函数作为对未知函数的估计,而非参数估计则可以是看作是从所有可能的函数中进行的一种选择。

    2. 直方图方法

    非参数概率密度估计的最简单方法:

    1. 把样本 x x x的每个分量在其取值范围内分成 k k k个等间隔的小窗。如果 x x x d d d维向量,则这种分割就会得到 k d k^d kd个小体积或者小舱,每个小舱的体积记作 V V V
    2. 统计落入每个小舱内的样本数目 q i q_i qi
    3. 把每个小舱内的概率密度看作是常数,并用 q i N V \frac{q_i}{NV} NVqi作为其估计值,其中 N N N为样本总数。

    3. 非参数估计的基本原理

    已知样本集 X = { x 1 , . . . , x N } X=\{x_1,...,x_N\} X={x1,...,xN}中的样本是从服从密度函数 ρ ( x ) \rho(x) ρ(x)的总体中独立抽取出来的,求 ρ ( x ) \rho(x) ρ(x)得估计 ρ ( x ) ^ \hat{\rho(x)} ρ(x)^。与参数估计相同,这里不考虑类别,即假设样本都是来自同一个类别,对不同类别只需要分别进行估计即可。
    考虑在样本所在空间得某个小区域 R R R,某个随机向量落入这个小区域得概率是:
    P R = ∫ R ρ ( x ) d x (1) P_R=\int_{R} \rho(x) dx \tag 1 PR=Rρ(x)dx(1)
    根据二项分布,在样本集 X X X中恰好有 k k k个落入小区域 R R R得概率是:
    P R = C N k P R k ( 1 − P R ) N − k (2) P_R=C_N^k P_R^k(1-P_R)^{N-k} \tag 2 PR=CNkPRk(1PR)Nk(2)
    其中 C N k C_N^k CNk表示在 N N N个样本中取 k k k个的组合数。 k k k的期望值是:
    E [ k ] = N P R (3) E[k]=NP_R \tag 3 E[k]=NPR(3)
    而且 k k k的众数(概率最大的取值)是:
    m = [ ( N + 1 ) P R ] (4) m=[(N+1)P_R] \tag 4 m=[(N+1)PR](4)
    其中 [   ] [ \ ] [ ]表示取整数。因此,当小区域中实际落入了 k k k个样本时, P R P_R PR的一个很好的估计是:
    P R ^ = k N (5) \hat{P_R} = \frac{k}{N} \tag 5 PR^=Nk(5)
    ρ ( x ) \rho(x) ρ(x)连续、且小区域 R R R的体积 V V V足够小时,可以假定在该小区域范围内 ρ ( x ) \rho(x) ρ(x)是常数,则式 ( 2 ) (2) (2)可近似为:
    P R = ∫ R ρ ( x ) d x = ρ ( x ) V (6) P_R=\int_R \rho(x) dx = \rho(x) V \tag 6 PR=Rρ(x)dx=ρ(x)V(6)
    用式 ( 5 ) (5) (5)代入 ( 6 ) (6) (6),可得在小区域 R R R的范围内:
    ρ ( x ) ^ = k N V (7) \hat{\rho(x)}=\frac{k}{NV} \tag 7 ρ(x)^=NVk(7)
    这就是在上面的直方图中使用的对小舱内概率密度的估计。

    1. 如果小舱选择过大,则假设 ρ ( x ) \rho(x) ρ(x)在小舱内为常数的做法就显得粗糙,导致最终估计出的密度函数也非常粗糙;
    2. 如果小舱过小,则有些小舱内可能就会没有样本或者很少样本,导致估计出的概率密度函数很不连续。

    所以,小舱的选择应该与样本总数相适应。理论上讲,假定样本总数是 n n n,小舱的体积为 V n V_n Vn,在 x x x附近位置上落入小舱的样本个数是 k n k_n kn,那么当样本趋于无穷多时 ρ ( x ) ^ \hat{\rho(x)} ρ(x)^收敛于 ρ ( x ) \rho(x) ρ(x)的条件是:
    ( 1 ) V n = 0 ( n → ∞ ) , ( 2 ) k n = ∞ ( n → ∞ ) , ( 3 ) k n n = 0 ( n → ∞ ) (1) V_n = 0 (n \rightarrow \infty),(2)k_n = \infty(n \rightarrow \infty),(3) \frac{k_n}{n} = 0(n \rightarrow \infty) (1)Vn=0(n)(2)kn=(n)(3)nkn=0(n)
    直观的解释是:随着样本数的增加,小舱体积应该尽可能小(1),同时又必须保证小舱内有充分多的样本(2),但每个小舱内的样本数又必须是总样本数中很小的一部分(3)

    展开全文
  • 最大似然参数估计的基本原理 前导知识:【概率密度函数估计的引入】 在最大似然估计中,我们做以下基本假设: 我们把要估计的参数记作θ\thetaθ,它是确定但未知的量(多个参数时向量)。 每类的样本集记作Xi,i=1,...

    最大似然参数估计的基本原理

    前导知识:【概率密度函数估计的引入】

    在最大似然估计中,我们做以下基本假设:

    • 我们把要估计的参数记作 θ \theta θ,它是确定但未知的量(多个参数时向量)。
    • 每类的样本集记作 X i , i = 1 , 2 , . . . , c X_i,i=1,2,...,c Xi,i=1,2,...,c,其中的样本都是从密度为 ρ ( x ∣ w i ) \rho(x|w_i) ρ(xwi)的总体中独立抽取出来的,即所谓满足独立同分布条件。
    • 类条件概率密度函数 ρ ( x ∣ w i ) \rho(x|w_i) ρ(xwi)具有确定函数形式,只是其中的参数 θ \theta θ未知。比如在 x x x是一维正态分布 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)时,未知参数可能是 θ = [ μ , σ 2 ] T \theta=[\mu,\sigma^2]^T θ=[μ,σ2]T,对不同类别的参数可以记作 θ i \theta_i θi,为了强调概率密度中待估计的参数,可以把 ρ ( x ∣ w i ) \rho(x|w_i) ρ(xwi)写作 ρ ( x ∣ w i , θ i ) \rho(x|w_i,\theta_i) ρ(xwi,θi) ρ ( x ∣ t h e t a i ) \rho(x|theta_i) ρ(xthetai)
    • 各类样本只包含本类的分布信息,即:不同类别的参数是独立的。可以分别对每一类单独处理。

    在上述假设前提下,可以分别处理 c c c个独立的问题。即,在一类中独立地按照概率密度 ρ ( x ∣ θ ) \rho(x|\theta) ρ(xθ)抽取样本集 X X X,用 X X X来估计出未知参数 θ \theta θ

    设样本集包含 N N N个样本,即:
    X = { x 1 , x 2 , . . . , x N } (1) X=\{x_1,x_2,...,x_N\} \tag 1 X={x1,x2,...,xN}(1)
    由于样本是独立地从 ρ ( x ∣ θ ) \rho(x|\theta) ρ(xθ)中抽取的,所以在概率密度为 ρ ( x ∣ θ ) \rho(x|\theta) ρ(xθ)时获得样本集 X X X的概率即出现 X X X中的各个样本的联合概率是:
    l ( θ ) = ρ ( X ∣ θ ) = ρ ( x 1 , x 2 , . . . , x N ∣ θ ) = ∏ i = 1 N ρ ( x i ∣ θ ) (2) l(\theta)=\rho(X|\theta)=\rho(x_1,x_2,...,x_N|\theta)=\prod_{i=1}^{N} \rho(x_i|\theta) \tag 2 l(θ)=ρ(Xθ)=ρ(x1,x2,...,xNθ)=i=1Nρ(xiθ)(2)
    这个概率反映了在概率密度函数的参数是 θ \theta θ时,得到式 ( 1 ) (1) (1)中这组样本的概率。因为样本集已知,而参数 θ \theta θ未知,式 ( 2 ) (2) (2)就成为了 θ \theta θ的函数,它反映的是在不同参数取值下取得当前样本集的可能性,因此称作参数 θ \theta θ相对于样本集 X X X的似然函数,式 ( 2 ) (2) (2)中每一项 ρ ( x i ∣ θ ) \rho(x_i|\theta) ρ(xiθ)就是 θ \theta θ相对于每一个样本的似然函数。
    似然函数 l ( θ ) l(\theta) l(θ)给出了从总体中抽取 x 1 , x 2 , . . . , x N x_1,x_2,...,x_N x1,x2,...,xN这样 N N N个样本的概率。即,参数估计的过程即在参数空间中寻找使得似然函数 l ( θ ) l(\theta) l(θ)最大的那个 θ \theta θ
    一般来说,使似然函数的值最大的 θ ^ \hat{\theta} θ^的样本 x 1 , x 2 , . . . , x N x_1,x_2,...,x_N x1,x2,...,xN的函数,记为:
    θ ^ = d ( x 1 , x 2 , . . . , x N ) (3) \hat{\theta}=d(x_1,x_2,...,x_N) \tag 3 θ^=d(x1,x2,...,xN)(3)
    此时称 θ ^ \hat{\theta} θ^叫做 θ \theta θ的最大似然估计量。
    下面给出 N = 1 N=1 N=1 x x x为一维且具有以均值为3,方差为1的正态分布(那么此时“最可能出现的”样本就是 x 1 ′ = 3 x_1'=3 x1=3):
    θ \theta θ在参数空间中取不同值时:(观察图像可以取定 x = 3 x=3 x=3

    当固定 x = 3 x=3 x=3时:(观察图像令参数取不同值)

    最大似然估计量:令 l ( θ ) l(\theta) l(θ)为样本集 X X X的似然函数, X = { x 1 , x 2 , . . . , x N } X=\{x_1,x_2,...,x_N\} X={x1,x2,...,xN},如果 θ ^ = d ( X ) = d ( x 1 , x 2 , . . . , x N ) \hat{\theta}=d(X)=d(x_1,x_2,...,x_N) θ^=d(X)=d(x1,x2,...,xN)是参数空间中能使似然函数 l ( θ ) l(\theta) l(θ)极大化的 θ \theta θ值,那么 θ ^ \hat{\theta} θ^就是 θ \theta θ的最大似然估计量,或者记作:
    θ ^ = a r g   m a x   l ( θ ) (4) \hat{\theta} = arg \ max \ l(\theta) \tag 4 θ^=arg max l(θ)(4)
    其中, a r g   m a x arg \ max arg max是一种常用的表示方法,表示使后面的函数取得最大值的变量的取值。为了便于分析,还可以定义对数似然函数:
    H ( θ ) = ln ⁡ l ( θ ) = ln ⁡ ∏ i = 1 N ρ ( x i ∣ θ ) = ∑ i = 1 N ln ⁡ ρ ( x i ∣ θ ) (5) H(\theta)=\ln l(\theta)=\ln \prod_{i=1}^{N} \rho(x_i|\theta) =\sum_{i=1}^{N} \ln \rho(x_i|\theta) \tag 5 H(θ)=lnl(θ)=lni=1Nρ(xiθ)=i=1Nlnρ(xiθ)(5)
    容易证明,使对数似然函数最大的 θ \theta θ值也使似然函数最大。

    展开全文
  • 参数估计 已经知道观测数据符合某些模型的概率下,我们可以利用参数估计的方法来确定这些参数值,然后得出概率密度模型。这个过程中用到了一个条件,就是概率分布符合某些模型这个事实。在这个事实上进行加工。 ...

    参数估计

    已经知道观测数据符合某些模型的概率下,我们可以利用参数估计的方法来确定这些参数值,然后得出概率密度模型。这个过程中用到了一个条件,就是概率分布符合某些模型这个事实。在这个事实上进行加工。

    (https://www.cnblogs.com/wt869054461/p/5935981.html)

    个人理解:概率密度函数形式已知,求出形式中的参数。

    非参数估计(无参密度估计)

    实际中,概率密度形式往往未知,往往有多个局部最大;对于高纬度样本,一些高纬度的概率密度函数可以用低纬度密函数的乘积表示的假设通常也不成立。所以概率密度函数形式未知,只能用别的方法求概率密度。

    概率密度估计--参数估计与非参数估计

    我们观测世界,得到了一些数据,我们要从这些数据里面去找出规律来认识世界,一般来说,在概率上我们有一个一般性的操作步骤

    1. 观测样本的存在

    2. 每个样本之间是独立的

    3. 所有样本符合一个概率模型

    我们最终想要得到的是一个概率密度的模型,有了概率密度模型以后,我们就可以统计预测等非常有用的地方,因此,首要任务是找出一些概率分布的概率密度模型。

    我们来分析一下上面的三个步骤,第一第二都很好解决,关于第三点,我们可以有不同的处理方式

    如果我们已经对观测的对象有了一些认识,对观测的现象属于那种类型的概率密度分布已经了解了,只是需要确定其中的参数而已,这种情况就是属于参数估计问题。

    如果我们研究观测的对象,也很难说这些观测的数据符合什么模型,参数估计的方法就失效了,我们只有用非参数估计的办法去估计真实数据符合的概率密度模型了。

    因此,本文主要讨论 参数估计和非参数估计问题

    1. 参数估计

    对我们已经知道观测数据符合某些模型的情况下,我们可以利用参数估计的方法来确定这些参数值,然后得出概率密度模型。这个过程中用到了一个条件,就是概率分布符合某些模型这个事实。在这个事实上进行加工。

    一般来说,参数估计中,最大似然方法是最重要和最常用的,我们重点介绍参数估计方法

    我们在《无基础理解贝叶斯》中已经讲过似然性,那么我们就可以先写出似然函数。

    假设有N个观测数据,并且概率模型是一个一维的高斯模型,用f(x)表示高斯模型,参数待定,因此我们可以写出似然函数

    L(x1,x2,...xn) = f(x1,x2,...xn) = f(x1)*f(x2)*......*f(xn),第二个等式用到了样本之间是独立性这个假设(上面提到的一般步骤的第二条)

    然后把对似然函数取对数

    logL(x1,x2,...xn) = log(f(x1)*f(x2)*......*f(xn)) = log(f(x1)) + log(f(x2))+......+log(f(xn))

    我们既然提到了极大释然方法,那就是要求出使得logL(x1,x2,...xn) 取最大值得参数。

    因此对 logL(x1,x2,...xn) 求导等于0的参数就是符合要求的参数。

    注意,如果似然函数求导有困难,通常我们会用迭代方法去求得这些参数,后面我们讲EM算法就是属于此类型

    2. 贝叶斯方法

    在我们谈到参数估计方法中,我们假定了参数是固定值,但是贝叶斯观点会人文,模型的参数值不是固定的,也是属于某种分布的状态。

    因此我们做参数估计的时候其实是不准确的,因此贝叶斯方法会把参数的也作为一个概率考虑进来,然后再去观测。

    我个人理解,这种方式也只能算是参数估计里面的一个变种而已

    后验概率 ∝ 似然性 * 先验概率

    先验概率,我们可以看成是待估计模型的参数的概率分布,后验模型是在我们观测到新的数据以后,结合先验概率再得出的修正的参数的分布

    注意,如果似然函数的形式和先验概率的乘积有同样的分布形式的话,得到的后验分布也会有同样的分布模型

    因此,人为的规定,如果先验概率与似然函数的乘积在归一化以后,与先验分布的形式上是一致的话,似然函数与先验概率就是共轭的,注意共轭不是指先验与后验的共轭

    至于满足这个条件的共轭分布有很多种,二项分布与贝塔分布,多项式分布于狄利克雷分布等

    后面有时间再更新一些贝叶斯方法相关的内容

    3. 非参数估计

    看过了参数估计后,我们知道,如果有模型的知识可以利用的话,问题就会变得很简单,但是如果没有关于模型的知识,我们怎么办?

    回过头来看我们的目标,求出观测数据的概率密度模型。因此我们就会从概率密度这个定义开始分析,看有没有可以入手的地方。

    概率密度,直观的理解就是在某一个区间内,事件发生的次数的多少的问题,比如N(0,1)高斯分布,就是取值在0的很小的区间的概率很高,至少比其他等宽的小区间要高。

    我们把所有可能取值的范围分成间隔相等的区间,然后看每个区间内有多少个数据?这样我们就定义出了直方图,因此直方图就是概率密度估计的最原始的模型。

    直方图我们用的是矩形来表示纵轴,当样本在某个小区间被观测到,纵轴就加上一个小矩形。

    这样用矩形代表的模型非常粗糙,因此可以用其他的形状来表示,进一步就是核密度估计方法,这个后面会有一个翻译文章来具体讲解

    基本上,参数估计和非参数估计是概率模型里面用的非常多的基本概念,希望自己在后面忘记的时候还能想起来曾经写过的东西

    展开全文
  • 实验三:参数估计与非参数估计实验报告 1811377 李文浩 一、实验目的 通过本次实验实现机器学习中常用的参数估计和非参数估计的方法 使用编程加深对最大似然估计、最大后验概率估计等方法的认识 建立数据集学习...

    实验三:参数估计与非参数估计实验报告

    一、实验目的

    1. 通过本次实验实现机器学习中常用的参数估计和非参数估计的方法
    2. 使用编程加深对最大似然估计、最大后验概率估计等方法的认识
    3. 建立数据集学习使用python对多元数据进行操作

    二、代码框架

    • 本次实验使用的函数框架如下:

      1.Gaussian_function(x, mean, cov)
        #计算多维(这里是2维)样本数据的概率p(x|w),参数mean是已知的均值向量
        #cov是已知的协方差矩阵,x是样本数据
      2.Generate_Sample_Gaussian(mean, cov, P, label)
        #生成符合正态分布的数据,P是指的先验概率,label是类标签
      3.Generate_DataSet(mean, cov, P)
        #根据先验概率生成数据集
      4.Generate_DataSet_plot(mean, cov, P)
        #画出不同先验对应的散点图
      5.Likelihood_Test_Rule(X, mean, cov, P)
        #似然率测试规则
      6.Max_Posterior_Rule(X, mean, cov, P)
        #最大后验概率规则
      7.repeated_trials(mean, cov, P1, P2)
        #单次实验求不同准则下的分类误差
      

    三、代码详细说明

    • Gaussian_function(x, mean, cov)
      函数功能:计算p(x|w)

      def Gaussian_function(x, mean, cov):
          det_cov = np.linalg.det(cov)  # 计算方差矩阵的行列式
          inv_cov = np.linalg.inv(cov)  # 计算方差矩阵的逆
          #计算概率p(x|w)
          p = 1/(2*np.pi*np.sqrt(det_cov))*np.exp(-0.5 * 
          np.dot(np.dot((x - mean),inv_cov), (x - mean)))
          return p
      

      这里使用了如下的公式:
      在这里插入图片描述
      d是指的数据的维数,这里是2;
      Σ是指的协方差矩阵,这里是cov;
      μ是指的均值向量这里是mean

      np.linalg的三个函数:
      1.np.linalg.det() 求矩阵的行列式
      2.np.linalg.inv() 求矩阵的逆
      3.np.dot() 求两矩阵的乘积

    • Generate_Sample_Gaussian(mean, cov, P, label)
      函数功能:生成符合正态分布的数据,P是指的先验概率,label是类标签

      def Generate_Sample_Gaussian(mean, cov, P, label):
        '''
            mean 为均值向量
            cov 为方差矩阵a
            P 为单个类的先验概率
            return 单个类的数据集
        '''
        # round(x[,n=0]) 保留到几位小数
        temp_num = round(1000 * P)
        
        # 生成一个多元正态分布矩阵
        x, y = np.random.multivariate_normal(mean, cov, temp_num).T
      
        #x,y坐标,x和y矩阵均符合正态分布
        #z表示每个点属于哪一类
        z = np.ones(temp_num) * label
        X = np.array([x, y, z])
        
        #X.T中每个元素都是有三个元素的列表,分别表示x值,y值,以及对应的标签
        return X.T
      

      multivariate_normal(mean, cov, size=None, check_valid=None, tol=None)

      1.函数功能:生成一个多元正态分布矩阵
      2.mean:正态分布的均值向量
      3.cov:正态分布的协方差矩阵
      4.size:矩阵的大小(数量,维度)
      5.check_valid:如果cov不是半正定矩阵的处理方法,一共有三个值:warn(输出警告,仍出结果),raise(报错),ignore(或略错误)
      6.tol:检查协方差矩阵奇异值时的公差

    • Generate_DataSet(mean, cov, P)
      函数功能:根据先验概率生成数据集

        def Generate_DataSet(mean, cov, P):
            # 按照先验概率生成正态分布数据
            # 返回所有类的数据集
            X = []
            label = 1
            for i in range(3):
                # 把此时类i对应的数据集加到已有的数据集中
                X.extend(Generate_Sample_Gaussian(mean[i], cov, P[i], label))
                label += 1
                i = i + 1
            return X
      

      注意这里extend()append()的区别:
      1.append将括号中的参数作为一个元素添加到列表对象的后面,即便参数是一个列表也是同样
      2.extend将不是序列类型(list,dict,tuple)的参数作为一个元素添加到列表对象的后面,如果是序列类型的参数,就将序列和列表合并放在列表的后面

    • Generate_DataSet_plot(mean, cov, P)
      函数功能:画出不同先验对应的散点图

      def Generate_DataSet_plot(mean, cov, P):
          # 画出不同先验对应的散点图
          xx = []
          label = 1
          # 将xx变为包含三类数据的数据集
          for i in range(3):
              xx.append(Generate_Sample_Gaussian(mean[i], cov, P[i], label))
              label += 1
              i = i + 1
          #在这时xx是一个有三个元素的列表,每个元素都是一个类
          # 画图
          plt.figure()
          if P==[1 / 3, 1 / 3, 1 / 3]:
              plt.title("X1分布图")
          else:
              plt.title("X2分布图")
          for i in range(3):
          	#画出每类的样本向量(x,y)
              plt.plot(xx[i][:, 0], xx[i][:, 1], '.', markersize=4.)
              #画出每类的中心点(均值向量对应的点)
              plt.plot(mean[i][0], mean[i][1], 'r*')
          plt.show()#没有这句图像不显示
          return xx
      
    • Likelihood_Test_Rule(X, mean, cov, P)
      函数作用:使用似然率测试规则进行估计得准确率

      # 似然率测试规则
      def Likelihood_Test_Rule(X, mean, cov, P):
          class_num = mean.shape[0]  # 类的个数
          num = np.array(X).shape[0]
          error_rate = 0
          for i in range(num):
              p_temp = np.zeros(3)
              for j in range(class_num):
              	# 计算样本i决策到j类的概率
                  p_temp[j] = Gaussian_function(X[i][0:2], mean[j], cov)  
              p_class = np.argmax(p_temp) + 1  # 得到样本i决策到的类
              if p_class != X[i][2]:
                  error_rate += 1
          return round(error_rate / num , 3)
      

      这个函数分别计算数据集中的每个样本被决策到三个不同的类的概率p_temp,使用np.argmax()求出列表中值最大的元素的下标index,index+1即为我们决策出的结果p_class,用p_class和样本真正的类别X[i][2]比较,判断正确与否,计算准确率

    • Max_Posterior_Rule(X, mean, cov, P)
      函数功能:使用最大后验概率规则进行估计得准确率

      ##最大后验概率规则
      def Max_Posterior_Rule(X, mean, cov, P):
          class_num = mean.shape[0]  # 类的个数
          num = np.array(X).shape[0]
          error_rate = 0
          for i in range(num):
              p_temp = np.zeros(3)
              for j in range(class_num):
              	# 计算样本i是j类的后验概率
                  p_temp[j] =Gaussian_function(X[i][0:2],mean[j],cov)*P[j]
              p_class = np.argmax(p_temp) + 1  # 得到样本i分到的类
              if p_class != X[i][2]:
                  error_rate += 1
          return round(error_rate / num,3)
      

      基本思路和似然率测试规则是一样的,但这里计算概率的函数是P(x|w)*P[i]

    • repeated_trials(mean, cov, P1, P2)
      函数功能:单次实验求不同准则下的分类误差

      # 单次试验求不同准则下的分类误差
      def repeated_trials(mean, cov, P1, P2):
          # 根据mean,cov,P1,P2生成数据集X1,X2
          # 通过不同规则得到不同分类错误率并返回
          # 生成N=1000的数据集
          X1 = Generate_DataSet(mean, cov, P1)
          X2 = Generate_DataSet(mean, cov, P2)
          error = np.zeros((2, 2))
          # 计算似然率测试规则误差
          error_likelihood = Likelihood_Test_Rule(X1, mean, cov, P1)
          error_likelihood_2 = Likelihood_Test_Rule(X2, mean, cov, P2)
          error[0] = [error_likelihood, error_likelihood_2]
          # 计算最大后验概率规则误差
          error_Max_Posterior_Rule = Max_Posterior_Rule(X1, mean, cov, P1)
          error_Max_Posterior_Rule_2 = Max_Posterior_Rule(X2, mean, cov, P2)
          error[1] = [error_Max_Posterior_Rule, error_Max_Posterior_Rule_2]
          return error
      

      分别生成两组数据集,分别对这两个数据集进行不同规则下的分类误差分析,将结果存在error中并返回

    四、实验步骤

    1.基本要求

    在两个数据集合上分别应⽤“似然率测试规则” 、“最⼤后验概率规则” 进⾏分类实验,计算分类错误率,分析实验结果。
    在这里插入图片描述

    • 1.根据题设设置我们所需要用到的参数

          mean = np.array([[1, 1], [4, 4], [8, 1]])  # 均值数组
          cov = [[2, 0], [0, 2]]  # 协方差矩阵
          num = 1000  # 样本个数
          P1 = [1 / 3, 1 / 3, 1 / 3]  # 样本X1的先验概率
          P2 = [0.6, 0.3, 0.1]  # 样本X2的先验概率
      
    • 2.绘制散点图,观察样本分布

          Generate_DataSet_plot(mean, cov, P1)  # 画X1数据集散点图
          Generate_DataSet_plot(mean, cov, P2)  # 画X2数据散点图
      

      结果如下:
      在这里插入图片描述在这里插入图片描述

    • 3.进行十次试验观察试验结果

          # 计算十次运算的总误差
          error_all = np.zeros((2, 2))
          # 测试times_num次求平均
          times_num = 10
          for times in range(times_num):
              error=repeated_trials(mean,cov,P1,P2)
              print("第{}次试验: 极似然规则 最大后验规则".format(times+1))
              print("X1误差:   \t{}  \t{}".format(error[0][0],error[1][0]))
              print("X2误差:   \t{}  \t{}".format(error[0][1], error[1][1]))
              error_all += error
          # 计算平均误差
          error_ave = np.around(error_all / times_num,4)
          print("平均误差:  极似然规则   最大后验规则")
          print("X1误差:  \t{}   \t{}".format(error_ave[0][0],error_ave[1][0]))
          print("X2误差:  \t{}   \t{}".format(error_ave[0][1],error_ave[1][1]))
      

      结果如下
      在这里插入图片描述   在这里插入图片描述
      分析试验结果:

      1.当每个类的先验概率P相同或差别不大时,及似然率测试规则和最大后验概率规则分类结果相差不大
      2.当先验概率相差较大时,及似然率规则更好一些

    展开全文
  • 数理统计:参数估计

    千次阅读 2020-12-29 22:57:30
    learning why, thinking what, then forgetting how. 随着时间的流逝,知识总会被遗忘和...统计推断主要分为参数估计和假设检验,参数估计又分为点估计和区间估计。 2.1 参数的点估计 首先提出参数和参数的估计量的.
  • AR模型的参数估计

    千次阅读 2021-04-21 10:51:41
    AR模型的参数估计一、AR模型概述AR模型属于随机信号参数模型的一种。在AR模型中,随机信号x(n)由本身的若干次过去值x(n−k)和当前的激励值w(n)线性组合产生。x ( n ) = w ( n ) − ∑ k = 1 p a k x ( n − k ) (1) ...
  • 介绍参数估计中点估计方法:最大似然估计法,并通过例题加深理解
  • 本发明属于信号处理技术领域,具体涉及一种广义帕累托分布参数估计方法,可用于海杂波背景下的目标检测。背景技术:海杂波背景下的目标检测技术是雷达应用技术中一个至关重要的研究方向,在军事和民用领域已经得到...
  • 参数估计问题 在第一课中,提到使用样本估计模型(比如高斯分布)的参数,并说明了常用的极大似然估计法。假设现在有一枚硬币,但它质地不均匀,导致抛硬币的正面朝上与反面朝上的概率不相等,现在还是想研究正面...
  • 下图展示了线性回归模型对约束条件的要求,如满足以上约束条件,我们就可以采用最小二乘法完成参数估计,并进行建模分析了。 图1 线性回归模型参数约束条件 (二)Tobit模型 对于评分卡模型,模型因变量多为分类问题...
  • 三、抽样与参数估计

    千次阅读 2021-01-29 22:04:29
    令E代表所希望达到的估计误差,即: 据此可以推导出重复抽样或无限总体抽样条件下确定样本量的公式如下: 总结: 1、抽样分布是参数估计中的一个重要概念,是抽样估计的基础 抽样分布是指样本统计量的分布,样本均值...
  • 参数估计1.1 点估计1.2 区间估计 推断统计的工作主要包含两类:参数估计(Parameter Estimation) 和 假设检验(Hypothesis) 。 1.参数估计 参数估计通常有点估计(Point Estimate) 和 区间估计(Interval Estimation) 两...
  • 参数估计方法 概率与统计: 概率:已知模型和参数,推数据结果出现的概率 统计:已知诸多结果,通过结果推概率分布(概率、参数、模型) 比如,我们现在要抛一个硬币,结果会是正面或者反面。我们可以把这个过程,...
  • 参数估计与求法

    2021-08-26 09:55:06
    θ)​ 求 解 步 骤 : 求解步骤: 求解步骤: 构 建 含 未 知 参 数 θ 的 似 然 函 数 L ( θ ) 构建含未知参数\theta的似然函数L(\theta) 构建含未知参数θ的似然函数L(θ) 对 L ( θ ) 取 对 数 对L(\theta)取对数 ...
  • 在机器学习的参数估计(学习)中,常见三种更新方法:梯度下降,极大似然,EM算法;它们的本质目的均是让模型更好地拟合目标分布;在学习三种算法的联系前,需要先了解牛顿法; 牛顿法迭代 先从经典的牛顿法开始,...
  • 对于样本数据集所含变量都是可观测的,我们一般应用极大似然估计法或者贝叶斯估计估计模型参数。但若样本数据集中存在不可观测的变量(隐变量),那么单纯的极大似然估计法是不可用的;EM算法(expectation ...
  • 描述性统计、参数估计和假设检验

    万次阅读 多人点赞 2021-04-03 01:15:43
    描述性统计分析 描述性统计所提取的统计的信息称为统计量,包括频数与频率,反映集中趋势的均值、中位数、众数和分位数,反映离散程度的极差、方差和标准差,反映分布形状(相对于正态分布)的偏度和峰度。...
  • 摘录自《水文模型参数估计方法及参数估计不确定性研究》,王书功。 第1章 水文模型与参数估计 流域水文模拟流程: 水文模型的结构: 参数估计分为两类: #mermaid-svg-zPEMdt9SCzKFnAf1 .label{font-family:'...
  • Bootstrap 属于非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。是一种非参数的蒙特卡洛方法,其实质是对观测信息进行再抽样,进而对总体的分布特性进行统计推断。其核心思想和基本步骤如下: ...
  • 前面,我们讨论了参数估计。它是用样本算得的一个值去估计未知参数。但是,点估计值仅仅是未知参数的一个近似值,它没有反映出这个近似值的误差范围,使用起来把握不大。区间估计正好弥补了点估计的这个缺陷 。 ...
  • R语言参数估计课后习题 实在不知道参数估计该看什么了,做一下习题叭,本书是薛毅版的统计建模与R语言。 第一题见这条博客https://blog.csdn.net/qq_47876527/article/details/111663535,里面有写。 2 首先,观察...
  • 参数估计 两变量关系综述 参数估计 核心思路 统计分析的检验方法 基本介绍 点估计 区间估计 求解置信区间 案例 - 北京房价增长情况 两变量关系综述 参数估计 描述性统计是判断两个变量之间有没有关系 假设检验是根据...
  • 问题描述 1. 最大似然估计 2. 贝叶斯参数估计 3. 顺序(sequential)贝叶斯学习
  • 导入方式:把上面的第三个pvar放进STATA的如下位置ado——base——p文件夹下面,然后就可以用了 PAVR模型一共是要做以下几个步骤: 1、平稳性检验 2、协整 3、滞后阶数的选择 4、PVAR模型系数估计 5、格兰杰因果...
  • 在本文中,结合EM算法,我们给出随机删失数据下Weibull分布的参数估计方法,得到了估计量所满足的方程,从而可以通过求解方程(组)得到参数估计.2EM算法假定随机变量Y服从概率密度f(y;),其中.记Y=(y1,…,yn)为观测数据所...
  • 1.估计量:用于估计总体参数的随机变量 如样本均值、样本比例、样本方差等 例如:样本均值就是总体均值μ的一个估计量 2.参数用θ表示,估计量用表示 3.估计值:估计参数时计算出来的统计量的具体值 如果...
  • 参数估计_点估计01

    2021-03-30 16:50:28
    参数估计两种方法: 点估计和区间估计 不同点是点估计只提供单一的估计值,而区间估计在点估计的基础上还提供了一个误差界限,给出了取值范围——这个取值范围又叫置信区间(confidence interval),受置信度(一个...
  • 区间估计估计未知参数的取值范围,并使此范围包含未知参数,真值的概率为给定的值。 1、矩估计法: 用相应的样本矩去估计总体矩的估计方法称为矩估计法。不同的矩法可得到不同的矩估计。 用样本 k 阶矩作为总体...
  • 《自回归模型AR参数估计》由会员分享,可在线阅读,更多相关《自回归模型AR参数估计(5页珍藏版)》请在人人文库网上搜索。1、自回归模型AR(p)的整体估计1自回归模型1.1模型aj,回归系数用 j(j 1,2, p)子样观测值 Xi,i ...
  • 2. 参数估计的几种方法1. 矩估计矩估计在这里有点乱入的意思:),因为它其实不是用来最大化似然函数的,而是直接进行参数的近似估计。矩估计的方法要追溯到19世纪的Karl Pearson,是基于一种简...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 91,662
精华内容 36,664
关键字:

参数估计的步骤