精华内容
下载资源
问答
  • 核模型(核密度估计

    千次阅读 2018-11-08 20:21:27
    有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右...列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能...

    1、核模型(Kernel function)

    在线性模型中,多项式或三角函数等基函数与训练样本{(xi,yi)}毫不相关的。下面我们介绍一种模型,在基函数设计的时候会使用到输入样本{xi}。
    

    note:是在基函数设计的时候使用到样本,那么训练的是什么?下面看公式。

    核模型,是以使用被称为 核模型的 二元函数 K(.,.),
    在这里插入图片描述
    的线性结合方式加以定义的。
    在这里插入图片描述
    上面的theta就是我们要学习的对象 ,注意 theta为一个向量,可以表述为下面的形式。
    在这里插入图片描述

    可以把公式中的xi看做标记点(landmark),并将样本x和标记点之间相似特征;这里面可以看成一种广义的距离(相似程度),这种距离度量的方式就称之为核函数。

    最常见的核函数是高斯核函数:
    在这里插入图片描述
    上面的 xi(有的书中写作c)就是核函数的 标记点,也可称之为均值;
    h称为带宽;一般的带宽选择有技巧,带宽小怎么样?带宽小,拟合的比较紧凑。具体Google。
    xi称之为均值,说是均值但是选取的时候怎么选,还是从训练样本中选取
    下面给出核函数是如何衡量距离的?
    在这里插入图片描述
    在高斯核模型中,对各个输入的样本{xi}进行高斯核的学习,并把其参数 theta进行学习。

    2、KDE(核密度估计)

    下面是上课时候的一个作业,直接贴出出来。
    作业要求:
    文档中将程序的运行结果贴出,结果应包括两个部分,第一部分是一个维的彩色KDE估计图三(最好用MATLAB画);第二部分是测试图片的运动目标二值图像检测结果(运动员用白色像素,背景用黑色)。
    程序平台:MATLAB R2018 ;处理器:Intel®Core™i5-4210M CPU 2.6GHZ;4G内存。
    视屏序列来源:(1)课上提供数据
    (2)从https://www.bilibili.com/video/av23096534?t=97下载视屏序列; 使用Kmplayer视屏播放软件进行连续帧的截取(1秒3帧)。
    一、算法
    核密度估计(Kernel Destiny Estimation)不利用有关数据分布的先验知识,对数据分布不附加任何假定,是一种从数据集样本本身出发研究数据分布特征的方法。
    核密度估计函数表示推导如下:

    在这里插入图片描述
    在这里插入图片描述
    二、MATLAB代码

     %KDE,目标检测
    clc
    close all
    N=20;%训练集数目
    h=40;   %带宽
    thr=0.000002;%阈值
    train_set=cell(1,N);
    par=double(15/(8*pi*N*h^3));%核函数系数
    %读取并存储训练集
    for i=1:N     
        train_set{i}=double(imread(strcat('frame_',num2str(i),'.jpg')));   
    end
    test=double(imread('frame_0777.jpg'));
    [m,n,d]=size(test);%图像规格
    KDE=zeros(m,n);   %存储KDE值
    %利用EP核函数计算概率
    tic
    for i=1:N         %N张图片,计算每张图片KDE 
        mul=1;
        for j=1:d %d通道计算
            current_frame=train_set{i};
            temp=((current_frame(:,:,j)-test(:,:,j))./h).^2;%EP核函数
            temp=max(1-temp,0);  %EP核函数
    %temp=exp(-(current_frame(:,:,j)-test(:,:,j)).^2/2/h^2);%高斯核函数
    mul=mul.*temp;
    End
    KDE=KDE+mul;%累加一张图片KDE
    End
    KDE=KDE*par;%得到KDE
    toc
    %绘制三维KDE图
    mesh(KDE)
    colorbar
    title('道路 KDE 估计图');
    xlabel('X轴');
    ylabel('Y轴');
    zlabel('Z轴');
    %目标检测
    motion=(KDE<thr);  %阈值比较
    result=mat2gray(motion); %转换为灰度图像
    figure;imshow(result);
    title('道路目标检测结果图')
    

    二、运行结果
    下列运行结果采用基于EP核函数的KDE;(1)中为所提供的训练集,共20帧,带宽h选择为40;(2)中为自己在互联网上找的连续帧,训练集为15帧,带宽h为40。
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 前言: {  由于有代码需要调试,这一次也是选择了... 按照维基百科对核密度估计的介绍[1],核密度估计是一种估计随机变量的概率密度函数的非参数方法,式(1)是公式。 式(1) 其中x是若干数据样本;K()是核...

    前言:

    {

        由于有代码需要调试,这一次也是选择了一部分小内容来更新。

        这次更新的内容是我之前见到到但没仔细了解的核密度估计Kernel Density Estimation

    }

     

    正文:

    {

        按照维基百科对核密度估计的介绍[1],核密度估计是一种估计随机变量的概率密度函数的非参数方法,式(1)是公式。

    式(1)

        其中x是若干数据样本;K()是核函数[2];h被称为bandwidth,并且> 0;结果即为由核密度估计所得的x的概率密度函数。

        直方图(Histogram)也可以用来估计概率密度函数。[1]中给出了核密度估计和直方图的一个比较结果。表1是x的6个取值,图1是两种方法得到的概率密度函数。

    表1
    图1

        图1中右边就是由核密度估计所得的概率密度函数图,其中红色的部分是6个x取值对应的正态(高斯)核。

        关于h的取值,[1]中介绍了一个经验公式,见式(2)。

    式(2)

        其中是样本的标准差,n应该是样本的总数([1]里没说明)。

    }

     

    结语:

    {

        这次就这么多,我还需要继续调试程序。

        参考资料:

        {

            [1]https://en.wikipedia.org/wiki/Kernel_density_estimation

            [2]https://en.wikipedia.org/wiki/Kernel_(statistics)#In_non-parametric_statistics

            [3]https://en.wikipedia.org/wiki/Histogram

        }

    }

    展开全文
  • 它首先利用马尔可夫链快速模拟失效域中的样本,然后采用核密度估计得到样本的密度函数,将之作为重要抽样密度函数。该密度函数将随着马尔可夫模拟样本的增加而趋于最优化的密度函数。将该方法运用到结构可靠性灵敏度...
  • 问题背景 核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属于非参数检验方法之一,由Rosenblatt (1955)和Emanuel Parzen(1962)提出,又名Parzen窗(Parzen ...核密度估计的核心公式

    问题背景

    核密度估计(kernel density estimation)是在概率论中用来估计未知的密度函数,属于非参数检验方法之一,由Rosenblatt (1955)和Emanuel Parzen(1962)提出,又名Parzen窗(Parzen window)。
    具体原理推导可参考这篇博客
    此篇博客侧重于根据理论公式,给出python实现。

    python工具包推荐

    seaborn,pandas,scikit-learn中均提供了kde计算及绘图函数,可直接查阅/调用。

    理论基础

    核密度估计的核心公式如下:
    在这里插入图片描述
    其中,h为带宽(band_width),K(.)为核函数,本文选取高斯核。
    在这里插入图片描述
    带宽h是一个超参数,h越小,邻域中参与拟合的点越少。h有多种选取方式,
    本文参考网上资料采用如下公式:
    在这里插入图片描述
    其中c=1.05*数据序列标准差

    python实现

    根据以上背景,给出kde 计算函数如下:

    def get_kde(x,data_array,bandwidth=0.1):
        def gauss(x):
            import math
            return (1/math.sqrt(2*math.pi))*math.exp(-0.5*(x**2))
        N=len(data_array)
        res=0
        if len(data_array)==0:
            return 0
        for i in range(len(data_array)):
            res += gauss((x-data_array[i])/bandwidth)
        res /= (N*bandwidth)
        return res
    

    其中x为待进行估计的数据点,data_array为给定的数据序列(list)。

    KDE计算及绘制demo

    测试环境

    python 3.7
    matplotlib 3.0.3
    numpy 1.16.2

    demo

    def get_kde(x,data_array,bandwidth=0.1):
        def gauss(x):
            import math
            return (1/math.sqrt(2*math.pi))*math.exp(-0.5*(x**2))
        N=len(data_array)
        res=0
        if len(data_array)==0:
            return 0
        for i in range(len(data_array)):
            res += gauss((x-data_array[i])/bandwidth)
        res /= (N*bandwidth)
        return res
    import numpy as np
    input_array=np.random.randn(20000).tolist()
    bandwidth=1.05*np.std(input_array)*(len(input_array)**(-1/5))
    x_array=np.linspace(min(input_array),max(input_array),50)
    y_array=[get_kde(x_array[i],input_array,bandwidth) for i in range(x_array.shape[0])]
    
    import matplotlib.pyplot as plt
    plt.figure(1)
    plt.hist(input_array,bins=40,density=True)
    plt.plot(x_array.tolist(),y_array,color='red',linestyle='-')
    plt.show()
    

    运行结果

    在这里插入图片描述
    结果说明:
    图中横轴为数据分布取值,纵轴为概率密度,其中直方图的高度 h = 频数/(总数*每个bin的宽度) ,直方图总面积是1,KDE曲线下总面积也是1。

    参考资料

    1. 维基百科-Kernel density estimation
    2. 知乎相关回答
    3. 核密度估计-CSDN博客
    展开全文
  •  核密度估计(Kernel density estimation),是一种用于估计概率密度函数的非参数方法,为独立同分布F的n个样本点,设其概率迷度函数为f,核密度估计为以下:  公式(1)  以上解释虽然仅仅几行,但看起来还...

    核概率密度估计简介



      核密度估计(Kernel density estimation),是一种用于估计概率密度函数的非参数方法,为独立同分布F的n个样本点,设其概率迷度函数为f,核密度估计为以下:

           公式(1)

      以上解释虽然仅仅几行,但看起来还是不是那么容易理解,这里主要想通过另外一种方式对核概率密度函数有一个直观的初步解释,严谨性与逻辑性不作要求,如若你对核概率密度估计已经有了一定的理解,而想深入探究起本质,请移步:   http://blog.csdn.net/yuanxing14/article/details/41948485(核概率估计维基翻译版),https://www.zhihu.com/question/27301358/answer/105267357?from=profile_answer_card(核概率估计知乎版)。

      以上文章讲的比较清楚,条例公式较全,本文中也要多处引用。

    一、概率密度函数

      在数学中,连续型随机变量概率密度函数(在不至于混淆时可以简称为密度函数)是一个描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函数。probability density function,简称PDF。直观地印象就是下图所示,这是x,y都是连续的区间:


    图1

    二、直方图

      直方图(Histogram)又称质量分布图。是一种统计报告图,由一系列高度不等的纵向条纹或线段表示数据分布的情况。 一般用横轴表示数据类型,纵轴表示分布情况。如图所示:

    图2
      这里可以把平常的直方图扩展一下,引入直方图概率密度估计的概念。
      参数估计在已知系统模型结构时,用系统的输入和输出数据计算系统模型参数的过程。

      就是平时我们画直方图的时候都是完整版,两个坐标轴的参数都是齐整的。如果x,y的取值我们不是完全知道,最终的直方图也是不完整的,我们只有利用现有条件画出相对完整的图形。
      举个例子。离散的集合中x={1,3,4,7,9,11},y={1,1,2,2,1,3},对应的直方图可以画出来,这里又引出了组数与组距的概念,即是直方图中小矩形的宽度(组距)的确定,这里我们设为参数bin,bin=1时对应的完整直方图如下图所示:


    图3

      bin=2时的完整直方图如下图所示:


    图4

      这里我们有一种情况x,y的取值获取不完整,对于概率密度我们只能进行估计,譬如,我们只知道x={1,3,4,9,11},y={1,1,2,1,3},而x=7时的直方图对应项我们直观得不到,对应的直方图概率密度估计bin=1时如下图所示:



    图5

      对应的直方图概率密度估计bin=2时如下图所示:



    图6

      这里的不完整概率密度函数或者说概率密度估计就出来了,与完整的概率密度函数有一定区别,但已经是已获取信息下的最好结果了。

      在这里提出一个问题,假设数据不完整性一致,就是x我们不知道的取值数量是一定的,最后的概率密度估计图形和什么有关系呢?和bin有关。bin不同,最后的对应着概率密度估计就不同,如图5和图6。这个bin组距参数对应着公式(1)中的h,,,而公式(1)中的n对应着直方图组数,(组距=bin=h,组数=n)具体关系讲解见附录1,这里记下就好。而怎样选择合适的h见附录2.

    三、核概率密度估计

      这句话的断句,一开始读的话容易读成 核概率 密度估计,所以就一直思考核概率是个什么东东,其实可以这么断句 核 概率密度估计,这里核的概念就是一个单位的意思,再回到我们的直方图中,直方图概率密度估计中的是一个单位的bin*一个单位的高度(概率),,也就是一个单位的矩形框。。


    图7

      如果函数由离散转变成连续,直方图转变成连续密度函数,核函数从矩形框转变成对应的连续函数,核函数的对应种类图8所示,h在直方图中表示组距,在对应核函数中表示各自参数,如在高斯正态函数中对应方差σ,,n为样本数量,见公式(1),而对应于直方图中的矩形拟合概率密度估计转变为用对应的核函数拟合核概率密度估计,原理相似,进行对应图像的叠加,得出已知条件下的最优图形,具体操作见图9。


    图8


    图9


    四、附录

    附录1:组距bin与h的关系:

    一个很自然的想法是,如果我们想知道X=x处的密度函数值,可以像直方图一样,选一个x附近的小区间,数一下在这个区间里面的点的个数,除以总个数,应该是一个比较好的估计。用数学语言来描述,如果你还记得导数的定义,密度函数可以写为:
    f(x)=\lim_{h\rightarrow 0} \frac{F(x+h)-F(x-h)}{2h}
    我们把分布函数用上面的经验分布函数替代,那么上式分子上就是落在[x-h,x+h]区间的点的个数。我们可以把f(x)的估计写成:
    \hat{f}_h(x)=\frac{1}{2h}\frac{\#x_i\in[x-h,x+h]}{N}=\frac{1}{2Nh}\sum_{i=1}^{N}1(x-h\leq x_i\leq x+h)=\frac{1}{Nh}\sum_{i=1}^{N}\frac{1}{2}\cdot 1(\frac{|x-x_i|}{h}\leq 1)


    作者:慧航
    链接:https://www.zhihu.com/question/27301358/answer/105267357

    附录2:h得选择策略:

    不同的带宽得到的估计结果差别很大,那么如何选择h?显然是选择可以使误差最小的。下面用平均积分平方误差(mean intergrated squared error)的大小来衡量h的优劣。

    在weak assumptions下,MISE (h) =AMISE(h) + o(1/(nh) + h4) ,其中AMISE为渐进的MISE。而AMISE有,

    其中,

    为了使MISE(h)最小,则转化为求极点问题,



    当核函数确定之后,h公式里的R、m、f''都可以确定下来,有(hAMISE ~ n−1/5),AMISE(h) = O(n−4/5)。

            如果带宽不是固定的,其变化取决于估计的位置(balloon  estimator)或样本点(逐点估计pointwise estimator),由此可以产产生一个非常强大的方法称为自适应或可变带宽核密度估计。

    参考文献:上已给出。











    展开全文
  • 概率密度估计

    2017-06-20 17:04:09
    参数估计和非参数估计(监督参数估计和非监督参数估计)组成了概率密度估计。参数估计分频率派的最大似然估计和概率派的贝叶斯估计,MLE基本就是写出似然函数—取log—求最大...直方图很好理解,核密度估计在直方图的基
  • 密度估计理论(部分)

    千次阅读 2018-11-02 17:56:09
    课程笔记: 1、密度估计 考虑任何随机数量 X 有概率密度函数 f, 我们用以下公式计算其概率密度: ...非参数化的方法,如直方图密度估计和核密度估计。 ## 直方图方法: 直方图方法是最早也是最广泛...
  • 在每次迭代计算中,利用随机变量概率密度估计函数法在线估计分离信号的评价函数。避免了诸多传统盲分离算法中只能凭经验选取特定的非线性函数来代替评价函数的问题。仿真结果验证了所提算法的有效性。
  • 卷积分布分析

    2019-05-08 15:54:00
    有时候需要观察卷积核参数的分布情况,那么就需要对于卷积...本文主要介绍的是Kernel Density Estimation(KDE)核密度估计的方法。 博客:https://www.jianshu.com/p/249e5ff97c04 里面有详细的数学公式的推导。 核...
  • Parzen窗估计

    万次阅读 多人点赞 2013-04-03 20:09:54
    最近看mean shift原理,里面提到了Parzen窗估计。网上找了点资料。 Parzen窗估计属于非参数估计。所谓非参数估计是指,已知样本所属的类别,但未知总体概率密度函数的形式,...概率密度P(x)的基本公式: P(x) = (k
  • 方法 采用非参数核密度估计推断方法。结果 对华菱转债进行了实证分析,考虑了该转债转股获利的可能性,并就该转债回售风波做出了理论解释。结论 可转债由于其隐含期权的复杂性,加之转换条款的多样性,定价比较复杂,本文...
  • 非参数估计

    2019-05-01 01:59:57
    函数估计概论密度函数 选取了Gaussian Kernel公式。构建一个名为kernel.function的函数,参数为x和h。以下为kernel.function的具体形式 kernel.function<- function(x,h) {x=sort(x) n=length(x) s=0;t=0;y=0 ...
  • 贝叶斯估计

    千次阅读 2016-05-11 09:18:29
    贝叶斯估计标签: 模式分类@author lancelot-vim类条件密度贝叶斯分类方法的核心是后验概率P(wi|x⃗ )P(w_i |\vec{x}) 的计算。贝叶斯公式告诉我们,如何根据类条件概率密度p(x⃗ |wi)p(\vec{x}|w_i) 和各类别的...
  • 本质上,我们希望得到关于该数据集的真实的概率分布p(x),虽然有一些方法能够直接估计p(x)中某一点的概率(例如核密度估计、近邻方法),但这些方法一方面准确性较差,并且随着样本维度的升高,对样本数量的需求也是...
  •  计算出训练数据T2和SPE统计量使用核密度估计怎么计算控制限? <p><img alt="" height="40" src="https://img-ask.csdnimg.cn/upload/1620047944132.png" width="168" />公式怎么使用?x是代表一个...
  • Meanshift算法学习笔记

    千次阅读 2016-03-19 21:42:44
    Meanshift算法实际是一个自适应的梯度上升搜索峰值的算法 首先介绍两种核函数: Epanechnikov核: 剖面函数位为: 高斯核: 剖面函数为:在使用时,对核函数...采用只有一个参数的核密度估计得到如下公式:采用剖面函数
  • 然后,通过极大似然估计法和EM算法进行模型一般变量参数的估计,而对于模型中确定椭球形状的函数参数变量采用核密度估计理论进行估计,并推导出参数求解E步及M步的迭代公式;最后,利用标签变量后验概率最大原则,...
  • PointConv论文阅读笔记

    2021-01-14 22:14:24
    通过MLP学习权重函数,然后通过核密度估计得到密度函数。 还有一个主要的贡献在于,使用了一种高效计算的方法,转换了公式的计算分时,使得PointConv的卷积操作变得memory efficient,从而加深网络
  •   ⽅法进⾏概率密度估计的⼀个困难之处是控制宽度的参数hhh对于所有的都是固定的。在⾼数据密度的区域,⼤的h值可能会造成过度平滑,并且破坏了本应从数据中提取出的结构。但是,减⼩hhh的值可能导致数据...
  • 在未知总体分布的情形下,给出密度核估计中选择窗宽的一个新方法,并在选取高斯的情形下,推导出计算窗宽的递归公式。最后通过与理论窗宽值比较,说明使用该递归方法选择最优窗宽是非常有效的一个途径。
  • 目录(?...142 回归143 密度估计 异常novelty检测144 复杂度145 使用诀窍146 函数 1461 自定义 14611 使用 python 函数作为内核14612 使用 Gram 矩阵14613 RBF 内核参数 147 数学公式 1471
  • 所提方法将传统子集模拟法中计算失效概率和可靠性灵敏度的多维综合变量均值的估计转换为条件期望均值的估计,并将条件期望均值的两重概率估计进一步转换成可采用核密度进行计算的积分形式,从而可以在不增加传统子集...
  • 基于贝叶斯统计理论的贝叶斯决策是在信息不完全的情况下,对部分未知的状态用主观概率估计,然后用贝叶斯公式对发生的概率进行修正,最后再利用期望值和修正概率做出最优决策。贝叶斯决策理论方法是统计模型决策中的...
  • 均移:指偏移的均值向量,是...均移方法中,需要确定多变量密度核估计器。其中,函数的作用是是的随着特征点与均值的距离不同,对均值的便宜贡献也不同。具体例子以及引用公式见《图像工程 (中)》p68-70优点:对...
  • 1.4.3. 密度估计,新颖性检测 1.4.4. 复杂性 1.4.5. 实用技巧 1.4.6. 函数 1.4.7. 数学公式 1.4.8. 实施细则 1.5. 随机梯度下降法 1.5.1. 分类 1.5.2. 回归 1.5.3. 稀疏数据的随机梯度下降算法 1.5.4. 复杂性 ...
  • GRNN神经网络

    千次阅读 2020-11-11 02:01:05
    GRNN广义回归神经网络以非参数回归为基础,以样本数据作为后验概率验证条件并进行非参数估计,最后从训练样本中计算GRNN网络中因变量和自变量之间的关联密度函数,从而计算得到因变量相对自变量的回归值。...
  • 首先根据密度函数的非参数估计推导出均值漂移公式的一般形式,说明了均值漂移迭代算法的步骤及收敛性;然后重点讨论函数的选择以及带宽矩阵的计算等关键技术;最后归纳了均值漂移算法在模式检测、聚类、图像分割...
  • 生成模型的定义、特征、估计密度、模拟数据、学习表示 传统生成模型方法,以及深度网络在参数化方面的作用 基于学习算法的生成模型分类,基于相似点的学习和无相似点的学习 Likelihood-based学习实例 自回归模型 ...

空空如也

空空如也

1 2
收藏数 35
精华内容 14
关键字:

核密度估计公式