精华内容
下载资源
问答
  • 线性判别函数

    2019-11-11 10:18:38
    引言线性判别函数与决策面3.广义线性判别函数感知准则函数(如感知机) 1.引言 线性判别函数与决策面 note:点到平面距离公式 3.广义线性判别函数 看一个比较直观的例子,加深理解...

    1.引言

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.线性判别函数与决策面

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    note:点到平面距离公式
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    3.广义线性判别函数

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    看一个比较直观的例子,加深理解:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    需要掌握:
    1)低维空间转到高维空间可以解决线性不可分问题。
    2)增广样本向量。

    4.感知准则函数(如感知机)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    这里注意一下,损失函数和《统计学习方法》里的感知机不同。
    在这里插入图片描述

    附:不等式组求解方法——梯度下降法

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    梯度下降法计算实例


    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    现在我们回到感知准则函数。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    5.松弛方法

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    收敛性证明略。

    6.最小平方误差(MSE)准则函数

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    7.Ho-Kashyap方法

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    8.多类线性判别函数

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    小结

    在这里插入图片描述

    展开全文
  • 现行判别函数

    2013-04-28 16:40:25
    线性判别函数的基本概念;广义线性判别函数;设计线性分类器的主要步骤
  • 判别函数 二线性判别函数 三 广义线性判别函数 四 线性判别函数的几何性质
  • 提出利用线性判别函数,d(x)=W′x,对轰炸机和战斗机两类目标进行旋转不变识别。每一目标有72个旋转模式,其中9个为训练样本,63个为测试样本,在每个目标的训练样本中随机取一个相减作为线性判别函数的系数(Wij)的初始值...
  • 提出一种可实现3-D物体分类的广义判别函数,模拟表明利用RBF函数(RBF:Radial Basis Function)组成的广义判别函数对于3-D目标的识别是很有效的,此方法简单,训练时间短,当识别系统采用并行处理数据时,不论是训练...
  • 模式识别判别函数

    2014-03-04 09:12:44
    模式识别课程的第四章节的上课内容。主要讲解了参数估计和判别函数的概念和方法
  • 中科大计算机模式识别线性判别函数,希望能够给大家带来帮助。
  • 模式识别与机器学习这门课程中的判别函数与几何分类法相关知识。
  • 基于模板匹配的车牌汉字识别方法及判别函数
  • 基于不同煤层微量元素丰度差异,以顾桥矿B组煤下部主要可采8、6-2、4-2煤层为例,解析了在构造发育、常规手段难以判明其层位的条件下,利用微量元素各指标测试值在SPSS中建立不同煤层判别函数,回判正确率达到81.6%;...
  • 多元统计中的Fisher判别算法代码分享-费舍尔判别函数.rar 本帖最后由 songyc907 于 2012-2-15 15:24 编辑 初学MATLAB,尝试着实现了一个费舍尔判别算法。将代码分享出来,仅供抛砖引玉之用。请大家指正。 ...
  • 线性判别函数,模式识别的
  • 基于模版匹配的车牌识别方法及判别函数
  • 判别函数(一)

    千次阅读 2018-01-18 15:49:55
    线性判别函数和广义线性函数 用判别函数分类的概念:模式识别系统的主要作用;判别各个模式所属的类别对一个两类问题的判别,就是将模式x划分成ω1和ω2两类。两类问题的判别函数(以二维模式样本为例)若x是二维...

    线性判别函数

         用判别函数分类的概念:模式识别系统的主要作用;判别各个模式所属的类别对一个两类问题的判别,就是将模式x划分成ω1ω2两类。

    两类问题的判别函数(以二维模式样本为例)

    若x是二维模式样本x = (x1 x2)T,用x1和x2作为坐标分量,得到模式的平面图:


    这时,若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
    d(x) = w1x1 + w2x2 + w3 = 0
    其中x1、x2为坐标变量,w1、w2、w3为参数方程,则将一个不知类别的模式代入d(x),有
    - 若d(x) > 0,则 x属于w1.
    - 若d(x) < 0,则 x属于w2.
    此时,d(x)=0称为判别函数。


    用判别函数进行模式分类依赖的两个因素

    (1)判别函数的几何性质:线性的和非线性的函数。线性的是一条直线;非线性的可以是曲线、折线等;线性判别函数建立起来比较简单(实际应用较多);非线性判别函数建立起来比较复杂。
    (2)判别函数的系数:判别函数的形式确定后,主要就是确定判别函数的系数问题。只要被研究的模式是可分的,就能用给定的模式样本集来确定判别函数的系数。

    一个n维线性判别函数的一般形式:

     
    其中w0 = (w1, w2, …, wn)T称为权向量(或参数向量), x = (x1, x2, …, xn)T。
    d(x)也可表示为:d(x) = wTx;其中,x = (x1, x2, …, xn, 1)T称为增广模式向量,w = (w1, w2, …, wn+1)T称为增广权向量。两类情况:判别函数d(x)


    多类问题1:

    用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开,其判别函数为:

     
    i = 1, 2, …, M
    这种情况称为 两分法,即把M类多类问题分成M个两类问题,因此共有M个判别函数,对应的判别函数的权向量为wi, i = 1, 2, …, M。

    图例:对一个三类情况,每一类模式可用一个简单的直线判别界面将它与其它类模式分开。
    例如对属于w1的模式,应同时满足:d1(x)>0,d2(x)<0,d3(x)<0
    不确定区域:若对某一模式区域,di(x)>0的条件超过一个,或全部di(x)<0,i = 1, 2, …, M,则分类失败,这种区域称为不确定区域(IR)。
    例:设有一个三类问题,其判别式为:d1(x)= -x1 + x2,d2(x)= x1 + x2 - 5,d3(x)= -x2 + 1则对一个模式x=(6, 5)T,判断其属于哪一类。将x=(6, 5)T代入上述判别函数,得:
    d1(x) = -1,故d1(x)<0
    d2(x) = 6,故d2(x)>0
    d3(x) = -4,故d3(x)<0
    从而 
    假若x=(3, 5)T,则
    d1(x) = 2>0
    d2(x) = 3>0
    d3(x) = -2<0
    分类失败。

    多类问题2:

    采用每对划分,即ωi/ωj两分法,此时一个判别界面只能分开两种类别,但不能把它与其余所有的界面分开。其判别函数为:

     
    若dij(x)>0, ,则 x属于w1.

    重要性质:dij = -dji


    图例:对一个三类情况,d12(x)=0仅能分开ω1和ω2类,不能分开ω1和ω3类。要分开M类模式,共需M(M-1)/2个判别函数。不确定区域:若所有dij(x),找不到 ,dij(x)>0的情况。


    例:设有一个三类问题,其判别函数为:d12(x)= -x1 - x2 + 5,d13(x)= -x1 + 3,d23(x)= -x1 + x2若x=(4, 3)T,则:d12(x) = -2,d13(x) = -1,d23(x) = -1有:

    从而 x属于w3.
    若x=(2.8, 2.5)T,则:d12(x) = -0.3,d13(x) = 0.2,d23(x) = -0.3有:

     
    分类失败。


    多类问题3:
    这是没有不确定区域的ωi/ωj两分法。假若多类情况2中的dij可分解成:dij(x) = di(x) - dj(x) = (wi – wj)Tx,则dij(x)>0相当于di(x)>dj(x), ,这时不存在不确定区域。此时,对M类情况应有M个判别函数:
     
    即di(x)>dj(x), ,i, j = 1,2,…,M,则 ,也可写成,若di(x)=max{dk(x), k=1,2,…,M},则 x属于w1类。
    该分类的特点是把M类情况分成M-1个两类问题。

    例:设有一个三类问题的模式分类器,其判别函数为:d1(x)= -x1 + x2,d2(x)= x1 + x2 - 1,d3(x)= -x2
    属于ω1类的区域应满足d1(x)>d2(x)且d1(x)>d3(x),ω1类的判别界面为:
    d12(x)= d1(x)-d2(x) = -2x1 + 1 = 0
    d13(x)= d1(x)-d3(x) = -x1 + 2x2 = 0
    属于ω2类的区域应满足d2(x)>d1(x)且d2(x)>d3(x),ω2类的判别界面为:
    d21(x)= d2(x)-d1(x) = 2x1 - 1 = 0,可看出d21(x)=-d12(x)
    d23(x)= d2(x)-d3(x) = x1 + 2x2 - 1= 0
    同理可得ω3类的判别界面为:
    d31(x) = -d13(x) = x1 - 2x2 = 0
    d32(x) = -d23(x) = -x1 - 2x2 + 1= 0
    若有模式样本x=(1, 1)T,则:d1(x) = 0,d2(x) = 1,d3(x) = -1从而:d2(x)>d1(x)且d2(x)>d3(x),故x属于w2类。 


    小结:线性可分模式分类若可用任一个线性函数来划分,则这些模式就称为线性可分的,否则就是非线性可分的。一旦线性函数的系数wk被确定,这些函数就可用作模式分类的基础。

    多类情况1和多类情况2的比较
    对于M类模式的分类,多类情况1需要M个判别函数,而多类情况2需要M*(M-1)/2个判别函数,当M较大时,后者需要更多的判别式(这是多类情况2的一个缺点)。采用多类情况1时,每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开,而不是将一种类别的模式仅与另一种类别的模式分开。由于一种模式的分布要比M-1种模式的分布更为聚集,因此多类情况2对模式是线性可分的可能性比多类情况1更大一些(这是多类情况2的一个优点)
    展开全文
  • 模式识别 线性判别函数 分类器 机器学习 课件
  • 统计模式识别{聚类分析法(非监督)判别函数法(有监督){几何分类法(确定性事件){线性判别函数法非线性判别函数法统计决策方法(贝叶斯决策方法,随机事件) 统计模式识别 \left\{ \begin{aligned} &聚类分析...

    只是应试的个人笔记,不全不详细,给不爱复习的Z同学。
    {{{线线 统计模式识别 \left\{ \begin {aligned} & 聚类分析法(非监督)\\ & 判别函数法(有监督) \left\{ \begin {aligned} & 几何分类法(确定性事件) \left\{ \begin {aligned} & 线性判别函数法 \\ & 非线性判别函数法 \end {aligned} \right.\\ & 统计决策方法(贝叶斯决策方法,随机事件) \end {aligned} \right. \end {aligned} \right.


    统计模式识别:按任务类型划分

    聚类分析 (Clustering Analysis)——简称:聚类
    – 简单聚类方法:最大最小距离法
    – 层次聚类方法:分裂式、凝聚式
    – 动态聚类方法:C-均值,ISODATA
    判别分析 (Discriminatory Analysis)——简称:分类
    – 几何分类法(判别函数分类法):线性、分段线性、二次、支持向量机
    – 概率分类法(统计决策分类法):判别式 (Discriminative)、生成式 (Generative)
    – 近邻分类法(几何分类法和概率分类法的一种融合方法)
    几何分类法,是指在特征空间中,利用矢量空间的直观概念,使用代数方程方法,对模式进行分类。因此也被称为: 代数界面方程法
    概率分类法,是指把模式视为随机变量的抽样,利用统计决策理论 (贝叶斯决策理论)成熟的判决准则与方法,对模式样本进行分类。

    X=(x1,x2,,xn,1)TX=(x_1,x_2,···,x_n,1)^T , W=(w1,w2,,wn,wn+1)TW=(w_1,w_2,···,w_n,w_{n+1})^T

    线 {:d(X)=WTX=w1x1+w2x2+w3{>0,Xw1<0,Xw2=0, w1 w2 {wiwi, wi wj(ji), Xwiwj, i j(ij), wi wj,dij(X)=dji(X),dij(X){>0,Xwi<0,Xwjwiwj(ji), i wi wj(ji),dij(X)=di(X)dj(X) 线性判别函数 \left\{ \begin {aligned} & 两类问题:d (X)=W^TX=w_1x_1+w_2x_2+w_3 \left\{ \begin {aligned} &>0,X\in w_1\\ &<0,X\in w_2\\ &=0, 拒识或随机判决为 w_1 或 w_2 \end {aligned} \right.\\ & 多类问题 \left\{ \begin {aligned} &w_i|\overline {w_i}, 仅能区分是否属于 w_i,不能排除是否属于 w_j (j\ne i), 即 X 可能同时属于多个类。\\ &w_i|w_j, 对于任意 i 和 j (i \ne j), 判别函数仅能区分 w_i 和 w_j,d_{ij}(X)=-d_{ji}(X), d_{ij}(X)\left\{ \begin {aligned} &>0,X\in w_i\\ &<0,X\in w_j \end {aligned} \right.\\ &w_i|w_j (\forall j\ne i), 对于任意 i,判别函数能区分 w_i 和一切其他 w_j (\forall j\ne i),d_{ij}(X)=d_i (X)-d_j (X) \end {aligned} \right. \end {aligned} \right.


    Fisher线性判别(只能求线性可分)

    Fisher 准则的基本原理:找到一个最合适的投影 轴,使两类样本在该轴上投影之间的距离尽可能 远,而每一类样本的投影尽可能紧凑,从而使分类效果为最佳。

    算法

    ​ 1)由 mi=1NiXwiX,i=1,2m_i=\frac{1}{N_i}\sum\limits_{X\in w_i}X,i=1,2,计算 mim_i

    ​ 2)由 Swi=Xwi(Xmi)(Xmi)TS_{w_i}=\sum\limits_{X\in w_i}(X-m_i)(X-m_i)^T,计算各类的类内离散度矩阵 Swi,i=1,2S_{w_i},i=1,2

    ​ 3)计算类内总离散度矩阵 Sw=Sw1+Sw2S_w=S_{w_1}+S_{w_2}

    ​ 4)计算 SwS_w 的逆矩阵 Sw1{S_w}^{-1}

    ​ 5)由 W=Sw1(m1m2)W^*={S_w}^{-1}(m_1-m_2) 求得 WW^*


    感知器算法(只能求线性可分)

    对样本进行增广规范化,即 w1w_1w2w_2 类样本增加一列1,w2w_2 类样本全部乘以(-1),则有:
    d(X)=WTX>0d(X) = W^TX>0
    感知器算法的基本思想:用训练模式验证当前权向量的合理性, 如果不合理,就根据误差进行反向纠正,直到全部训练样本都 被合理分类。本质上是梯度下降方法类。

    解决两分类问题算法:

    ​ 1)给定初始值,置 kk =1,初始权向量 WkW_k,选常数 c>0c>0,一般 0<c10<c\le1

    ​ 2)依次输入样本 XkX_kXk{X1,X2,,XN}X_k\in \{X_1,X_2,···,X_N\}

    ​ 3)计算判别函数值:d(X)=WkTXkd(X)={W_k}^TX_k

    ​ 4)修改权向量:

    ​ 若d(X)=WkTXk>0d(X)={W_k}^TX_k>0,则 Wk+1=WkW_{k+1}=W_k

    ​ 若d(X)=WkTXk<0d(X)={W_k}^TX_k<0,则 Wk+1=Wk+cXkW_{k+1}=W_k+cX_k

    ​ 5)令 k=k+1k=k+1,返回2),直到对所有训练样本,不再需要修改权向量,结束。

    解决多类问题算法:

    ​ 设 MM 个判别函数为 di(X)=WiTXi=1,2,,Md_i(X)={W_i}^TX;i=1,2,···,M。判别规则为:

    ​ 若 di(X)>dj(X);j=1,2,,M;jid_i(X)>d_j(X);j=1,2,···,M;j\ne i,则 XwiX\in w_i

    ​ 1)赋初值:分别赋给 MM 个权向量 Wi(i=1,2,,M)W_i(i=1,2,···,M) 任意的初值,选择正常数 cc ,把训练样本变为增广型模式向量,置 k=1k=1

    ​ 2)输入训练样本 Xk,Xk{X1,X2,,XN}X_k,X_k\in \{X_1,X_2,···,X_N\},假定 XkwiX_k\in w_i

    ​ 3)计算 MM 个判别函数值:di(Xk)=WkT(k)Xk(i=1,2,,M)d_i(X_k)={W_k}^T(k)X_k(i=1,2,···,M)

    ​ 4)修正权向量:

    ​ 若 di(Xk)>dj(Xk),j=1,2,,M;ji,Wi(k+1)=Wi(k)(i=1,2,,M)d_i(X_k)>d_j(X_k),j=1,2,···,M;j\ne i,W_i(k+1)=W_i(k)(i=1,2,···,M);

    ​ 若有 l,1lM,lil,1\le l\le M,l\ne i 使得 dl(Xk)>di(Xk)d_l(X_k)>d_i(X_k),则
    {Wi(k+1)=Wi(k)+cXkWl(k+1)=Wl(k)cXkWj(k+1)=Wj(k),j=1,2,,M;ji,jl \left\{ \begin{aligned} &W_i(k+1)=W_i(k)+cX_k\\ &W_l(k+1)=W_l(k)-cX_k\\ &W_j(k+1)=W_j(k),j=1,2,···,M;j\ne i,j\ne l \end{aligned} \right.
    ​ 5)令 k=k+1k=k+1,返回 2)。直到所有的权向量对所有训练样本都稳定不变时结束。


    最小平方误差算法(LSME)/H·K算法

    特点

    \bullet 在模式类线性可分时收敛。

    \bullet 在线性不可分时可明确指出来。

    \bullet 同时利用 NN 个样本来进行 WWBB 的迭代计算,使算法收敛快。

    算法

    ​ 1)初值化:将 NN 个分属于两类的样本规范化增广,得矩阵 XX 。求 XX 的伪逆矩阵 X#=(XTX)1XTX^\#=(X^TX)^{-1}X^T。设置正的校正增量 cc 和各分量大于零的 B(1)B(1),迭代次数 k=1k=1,计算 W(1)=X#B(1)W(1)=X^\#B(1)

    ​ 2)计算 e(k)=XW(k)B(k)e(k)=XW(k)-B(k),并分以下几种情况:

    ​ ①若 e(k)=0e(k)=0,则模式类线性可分,解为 W(k)W(k),算法结束。

    ​ ②若 e(k)<0e(k)<0,则当 XW(k)>0XW(k)>0 时,有解 W(k)W(k),否则无解,且模式类不是线性可分的,算法结束。

    ​ ③若 e(k)>0e(k)>0e(k)e(k) 的分量值有正有负,则进入3)继续迭代。

    ​ 3)计算 W(k+1)W(k+1)B(k+1)B(k+1)

    ​ 方法1:
    W(k+1)=W(k)+cX#e(k) B(k+1)=B(k)+c[e(k)+e(k)] \begin {aligned} & 先计算 W (k+1)=W (k)+cX^\#|e (k)|\\ & 再计算 B (k+1)=B (k)+c [e (k)+|e (k)|] \end {aligned}

    ​ 方法2:
    B(k+1)=B(k)+c[e(k)+e(k)] W(k+1)=X#B(k+1) \begin {aligned} & 先计算 B (k+1)=B (k)+c [e (k)+|e (k)|]\\ & 再计算 W (k+1)=X^\#B (k+1) \end {aligned}
    ​ 4)迭代次数 kk 加1,转2)。


    势函数法

    概念

    点势函数(基函数):K(X,Xk)K(X,X_k)

    积累势函数(势函数):K(X)K(X)

    判别函数由点势函数累加产生。

    算法

    ​ 设初始积累势函数 K0(X)=0K_0(X)=0,下标为迭代次数。

    ​ 1)加入训练样本 X1X_1
    K1(X)={K0(X)+K(X,X1), X1w1K0(X)K(X,X1), X1w2 K_1 (X)=\left\{ \begin {aligned} &K_0 (X)+K (X,X_1), 若 X_1\in w_1\\ &K_0 (X)-K (X,X_1), 若 X_1\in w_2 \end {aligned} \right.
    K1(X)K_1(X) 描述了加入第一个样本后的边界划分。

    ​ 2)加入第二个训练样本 X2X_2,分三种情况:

    ​ ①若 X2w1X_2\in w_1K1(X2)>0K_1(X_2)>0X2w2X_2\in w_2K1(X2)<0K_1(X_2)<0,正确分类,K2(X)=K1(X)K_2(X)=K_1(X)

    ​ ②若 X2w1X_2\in w_1K1(X2)0K_1(X_2)\le0,错误分类,修改势函数:
    K2(X)=K1(X)+K(X,X2)=±K(X,X1)+K(X,X2) \begin{aligned} K_2(X)=K_1(X)+K(X,X_2)=\pm K(X,X_1)+K(X,X_2) \end{aligned}
    ​ ③若 X2w2X_2\in w_2K1(X2)0K_1(X_2)\ge0,错误分类,修改势函数:
    K2(X)=K1(X)K(X,X2)=±K(X,X1)K(X,X2) \begin{aligned} K_2(X)=K_1(X)-K(X,X_2)=\pm K(X,X_1)-K(X,X_2) \end{aligned}
    ​ ···

    ​ k)设 Kk(X)K_k(X) 为训练样本 X1,X2,,XkX_1,X_2,···,X_k 后的积累势函数。对第 k+1k+1 个样本,有:

    ​ ①若 Xk+1w1X_{k+1}\in w_1Kk(Xk+1)>0K_k(X_{k+1})>0Xk+1w2X_{k+1}\in w_2Kk(Xk+1)<0K_k(X_{k+1})<0,正确分类,Kk+1(X)=Kk(X)K_{k+1}(X)=K_k(X)

    ​ ②若 Xk+1w1X_{k+1}\in w_1Kk(Xk+1)0K_k(X_{k+1})\le0,错误分类,修改势函数:
    Kk+1(X)=Kk(X)+K(X,Xk+1) \begin{aligned} K_{k+1}(X)=K_k(X)+K(X,X_{k+1}) \end{aligned}
    ​ ③若 Xk+1w2X_{k+1}\in w_2Kk(Xk+1)0K_k(X_{k+1})\ge0,错误分类,修改势函数:
    Kk+1(X)=Kk(X)K(X,Xk+1) \begin{aligned} K_{k+1}(X)=K_k(X)-K(X,X_{k+1}) \end{aligned}
    ​ 当所有样本扫描处理完后,若在本轮中积累势函数发生过修改,即有分类出错的情况发生过,则 kk 值增1,继续进行下一轮循环处理。直到本轮中积累势函数没有发生过修改,算法结束。分类判别函数 d(X)d(X) 即积累势函数 Kn(X)K_n(X)

    ​ 积累位势的修改可写为:
    Kk+1(X)=Kk(X)+rk+1K(X,Xk+1) \begin{aligned} K_{k+1}(X)=K_k(X)+r_{k+1}K(X,X_{k+1}) \end{aligned}
    ​ 其中,rk+1r_{k+1} 为校正项系数,定义为
    rk+1{0,Xk+1w1 Kk(Xk+1)>00,Xk+1w2 Kk(Xk+1)<01,Xk+1w1 Kk(Xk+1)01,Xk+1w2 Kk(Xk+1)0 r_{k+1}\left\{ \begin {aligned} &0,X_{k+1}\in w_1 且 K_k (X_{k+1})>0\\ &0,X_{k+1}\in w_2 且 K_k (X_{k+1})<0\\ &1,X_{k+1}\in w_1 且 K_k (X_{k+1})\ge0\\ &-1,X_{k+1}\in w_2 且 K_k (X_{k+1})\le0 \end {aligned} \right.

    参考文章:
    https://blog.csdn.net/qq_41409438/article/details/100977632

    参考书籍:
    《模式识别》吴陈,机械工业出版社

    展开全文
  • 目录统计模式识别之判别分析判别函数定义解释样例判断函数正负值的确定确定判别函数的两个因素线性判别函数一般形式性质两类情况多类情况广义线性判别函数线性判别函数的几何性质Fisher线性判别感知器算法梯度法最小...

    统计模式识别之判别分析

    统计模式识别:按任务类型划分

    • 聚类分析(Clustering Analysis)——简称:聚类
      – 简单聚类方法:最大最小距离法
      – 层次聚类方法:分裂式、凝聚式
      – 动态聚类方法:C-均值,ISODATA
    • 判别分析(Discriminatory Analysis)——简称:分类
      – 几何分类法(判别函数分类法):线性、分段线性、二次、支持向量机
      – 概率分类法(统计决策分类法):判别式 (Discriminative)、生成式 (Generative)
      – 近邻分类法(几何分类法和概率分类法的一种融合方法)
      所谓 几何分类法,是指在特征空间中,利用矢量空间的直观概念,使用
      代数方程方法,对模式进行分类。因此也被称为:代数界面方程法。
      所谓 概率分类法,是指把模式视为随机变量的抽样,利用统计决策理论 (贝叶斯决策理论)成熟的判决准则与方法,对模式样本进行分类。

    判别函数

    定义

    判别函数是直接用来对模式进行分类的决策函数,也称判决函数或决策函数。

    解释

    若分属于ω1,ω2的两类模式在空间中的分布区域,可以 用一代数方程d(X) =0来划分,那么称d(X) 为判别函数, 或称决策函数。显然,这一方程表示的是n维空间的(n-1) 维超曲面(或超平面)

    样例

    在这里插入图片描述
    示例:线性判别函数
    d(X)=w1x1+w2x2+w3
    若d ( X ) > 0,则 X ∈ ω1类;
    若d ( X ) < 0,则 X ∈ω2 类;
    若d(X)=0,则X ∈ω1或X ∈ω2 或拒绝分类

    维数N=3时:判别边界为一平面

    维数N>3时:判别边界为一(N-1)维超平面 (记,直线为一维超平面;平面为二维超平面)

    判断函数正负值的确定

    判别界面的正负侧,是在训练判别函数的权值时人为确定的。 一般,令第1类样本的函数值大于零,第2类样本的函数值小于零

    确定判别函数的两个因素

    1. 判决函数d(X)的几何性质:它可以是线性的或非线性的函数,

    2. 判决函数d(X)的系数:用所给的模式样本(可分)确定

    线性判别函数

    一般形式

    将二维模式推广到n维,线性判别函数的一般形式为: d(X)=w1x1+w2x2+…+wnxn+wn+1 =W0TX+wn+1
    式中: X = [x1 , x2 ,…, xn ]T
    W =[w1,w2,…,wn]T:权向量,即参数向量。
    增广向量形式:
    d(X)=w1x1+w2x2+…+wnxn+wn+1 ⋅1
    式中:
    X =[x1,x2,…,xn,1]T 为增广模式向量
    W = [w1 , w2 ,…, wn , wn+1 ]T 为增广权向量

    性质

    两类情况

    d(X)=WTX
    如果d(x)>0, 若X∈ω1 <0, 若X∈ω2
    d(X) = 0:不可判别情况,可令 X ∈ ω1或X ∈ ω2或拒绝分类

    多类情况

    对M个线性可分模式类,ω1, ω2,… ωM,有三种分类方式:
    在这里插入图片描述

    1. 多类情况1 是非两分法
      用线性判别函数将属于ωi类的模式与其余不属于ωi类的模式分开。能用本方法分类的模式集称为 整体线性可分的
      在这里插入图片描述
      识别出M类需要M个判别函数,有可能存在不确定区(indefinite region,IR)
    2. 成对两分法
      一个判别界面只能分开两个类别,不需要把其余所有的类别都分开
      判决函数为: dij (X)=Wig TX,这里dij = =dij
      判断函数性质:
      dij(X)>0, ∀j≠i;i,j=1,2,…,M, 若X∈ωi
    3. 成对两分法特例
      当ωij成对两分法中的判别函数dij(X),如果可以分解为 dij (X) = di (X − dj (X)

    小结

    (1)明确概念:线性可分。 一旦线性判别函数的系数W~k~被确定以后,这些函数就可以
    作为模式分类器,对未知模式进行分类。
    (2)ωi / -ωi与ωi / ωj
    对于M类模式的分类, 两分法共需要M个判别函数,但成对两分法需要M(M-1)/2个。当时M>3时,后者需要更多的判别式(缺点),但对模式集进行线性可分的可能性要更大一些(优点)
    一种类别模式ωi 的分布要比M-1类模式的分布更为聚集,因此 ωi / ωj两分法受到的限制比 ωi / -ωi 少,因此线性可分可能性大

    广义线性判别函数

    目的

    通过某映射,把模式空间X变成X*,以便让X空间中非线性可分的模式集,变成在X*空间中线性可分的模式集

    线性判别函数的几何性质

    模式空间与超平面

    概念

    模式空间:以n维模式向量X的n个分量为坐标变量的欧氏空间
    模式向量:点、有向线段
    线性分类:用d(X)进行分类,相当于用超平面d(X)=0把模式空 间分成不同的决策区域

    讨论

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    小结

    1. 超平面 d(X) = 0 的法向量是权向量W0
    2. 超平面 d(X) = 0 的位置由 wn+1 决定
    3. 判别函数 d(X) 正比于点 X 到超平面的代数距离
    4. 当 X 在超平面的正侧时 d(X) > 0,当 X 在超平面的 负侧时 d(X) < 0

    权空间与权向量解

    概念

    权空间:以d(X)=w1x1+w2x2 +…+wnxn +wn+1 的权系数为坐标变量的(n+1)维欧氏空间,X为已知。 增广权向量:W=(w1,w2, …,wn,wn+1),点、有向线段

    线性分类

    判别函数形式已定,只需确定权向量
    设增广样本向量:
    ω1 类: X11,X12,…,X1p
    ω2 类: X21,X22,…,X2q 使用d(X)将ω1和 ω2分开,需满足 d(X1i)>0, i=1,2,…,p d(X2i)<0, i=1,2,…,q

    解空间

    (p+q) 个训练模式将确定 (p+q) 个界面,每个界面 都把权空间分为两个半空间,(p+q) 个正的半子空间的 交空间是以权空间原点为顶点的凸多面锥

    线性二分空间

    线性判别函数的二分能力(Dichotomies):是指线性函数对给 定的N个n维二类模式的全部可能的类别分布情况,能正确分类的情况数。线性判别函数的二分能力,称为线性二分能力
    在这里插入图片描述
    4个2维二类模式的类别分布总数为24=16。用直线进行判别, 由图中可见,仅有2x7=14中情形可以判别。不可判别的两种 情形:(1) X1和X3为类1、X2和X4为类2;(2) 类别交换在这里插入图片描述

    Fisher线性判别

    Fisher准则的基本原理:找到一个最合适的投影 轴,使两类样本在该轴上投影之间的距离尽可能 远,而每一类样本的投影尽可能紧凑,从而使分类效果为最佳

    感知器算法

    对线性判别函数,当模式维数已知时,判别函数的形式实 际上已经确定,如:三维时
    在这里插入图片描述
    只要求出权向量,分类器的设计即告完成。本节开始介绍如何 通过各种算法,利用已知类别的模式样本训练权向量W

    概念理解

    1)训练与学习
    训练:用已知类别的模式样本指导机器对分类规则进行反复修改,最终使分类结果与已知类别信息完全相同的过程。
    学习:从分类器的角度讲
    非监督学习
    有监督学习<------>训练
    2)确定性分类器
    处理确定可分情况的分类器。通过几何方法将特征空间 分解为对应不同类的子空间,又称为几何分类器
    3)感知器(Perceptron )
    一种早期神经网络分类学习模型,属于有关机器学习的仿生 学领域中的问题,由于无法实现非线性分类而下马(Minsky and Papert)。但“赏罚概念(reward-punishment )”得到广泛应用

    感知器算法

    在这里插入图片描述
    对样本进行规范化处理,即ω2类样本全部乘以(-1),则有:
    d(X = W**T**X >0
    感知器算法的基本思想:用训练模式验证当前权向量的合理性, 如果不合理,就根据误差进行反向纠正,直到全部训练样本都 被合理分类。本质上是梯度下降方法类

    感知器算法的收敛性

    收敛性:经过算法的有限次迭代运算后,求出了一个使所有样 本都能正确分类的W,则称算法是收敛的
    可以证明:感知器算法是收敛的
    收敛条件:模式类线性可分(即:存在一个权矢量与全部规 范化增广矢量的内积大于等于零)

    梯度法

    梯度概念

    在这里插入图片描述
    即:
    梯度的方向是函数f(Y)在Y点增长最快的方向,
    梯度的是f(Y)在增长最快的方向上的增长率

    梯度算法

    思路

    设两个线性可分的模式类ω1和ω2的样本共N个,ω2类样本乘(-1)。将两类样本分开的判决函数d(X)应满足:
    d(Xi)=WTXi >0 i=1,2,N——N个不等式

    梯度算法的目的仍然是求一个满足上述条件的权向量,主导思想是将联立不等式求解W的问题,转换成求准则函数极小值的问题。

    用负梯度向量的值对权向量W进行修正,实现使准则函数达 到极小值的目的。

    实现方法

    定义一个对错误分类敏感的准则函数J(W, X),在J的梯度
    方向上对权向量进行修改。一般关系表示成从W(k)导出W(k+1):
    在这里插入图片描述
    其中c是正的比例因子

    固定增量法

    定义

    准则函数:J(W,X)=1/2(|WTX| −WTX)
    该准则函数有唯一最小值“0”,且发生在WTX > 0 的时候。 求W(k)的递推公式:
    在这里插入图片描述
    在这里插入图片描述

    最小平方误差算法(LMS)

    特点

    • 对可分模式收敛。
    • 对于类别不可分的情况也能指出来

    原理

    在这里插入图片描述
    准则函数定义为:
    在这里插入图片描述
    在这里插入图片描述
    可以看出:
    1 当函数J达到最小值,等式XW=B有最优解。即又将问
    题转化为求准则函数极小值的问题。
    2 因为J有两个变量W和B,有更多的自由度供选择求解,
    故可望改善算法的收敛速率。

    推导LMS算法递推公式

    在这里插入图片描述

    求W的递推公式

    在这里插入图片描述

    求B(k+1)的迭代式

    在这里插入图片描述

    求W(k+1)的迭代式

    在这里插入图片描述

    非线性判别函数

    展开全文
  • 线性判别函数是一类特殊的分类器,该分类器是样本观测值的线性函数。如何根据样本确定线性判别函数是线性判别分析要研究的问题。线性判别分析从形式上来看类似于数理统计中的线性统计模型,但两者又有很大的不同。...
  • 模式识别中fish判别函数 MATLAB程序 对男女生数据的判别 可作参考
  • 判别函数为线性的情况的一般表达式 式中x是d 维特征向量,又称样本向量, 称为权向量, 分别表示为 是个常数,称为阈值权。 设样本d维特征空间中描述,则两类别问题中线性判别函数的一般形式可表示成 (3-1)  ...
  • C++20自动判别函数返回类型
  • 之前的博文《判别分析》讲到了二次判别函数: 在已知每个类的分布参数的情况下,该判别函数具有很好的分类效果;但是现实中不可能提前知道每个类的分布,一般采用极大似然估计的方法,也就是用每个类的均值跟协方差...
  • 我正在学习线性判别分析和使用scikit学习模块。...因为应该有(n_classes-1)个判别函数,所以我希望coef_u属性是一个具有形状(n_components,n_features)的数组,但是它打印的是一个(n_classes,n_feat...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,798
精华内容 1,519
关键字:

判别函数