精华内容
下载资源
问答
  • 修正二次判别函数(MQDF)
    2020-12-24 07:58:59

    (一)简介

    1.之前的博文《判别分析》讲到了二次判别函数:

    在已知每个类的分布参数的情况下,该判别函数具有很好的分类效果;但是现实中不可能提前知道每个类的分布,一般采用极大似然估计的方法,也就是用每个类的均值跟协方差来估计参数;

    2.极大似然估计后的二次判别函数会带来分类效果的减弱,其具有以下缺点:

    (1)由于参数估计的误差,会带来分类效果的减弱;

    (2)需要存储每个类的协方差跟均值,存储需求高;

    3.改进的思路有:

    (1)对每个样本的特征进行降维;(有时候可能特征都很重要,所以无法降维)

    (2)基于先验知识来估计参数:比如若是所有样本的协方差都是一致的,那么可以用全部样本的协方差来替代;若是样本的特征是相互独立的,那么可以设置协方差矩阵的非对角线元素为0;

    PS:修正二次判别函数就是基于思路2进行改进的;

    (二)修正二次判别函数(MQDF)

    1.MQDF1

    (1)根据改进思想(2),用总体协方差矩阵类构造判别函数;

    (2)根据实验可以知道,协方差估计的误差会很大程度影响分类结果,因此可以将协方差矩阵进行特征值分解,代替协方差矩阵:

    其中:

    (3)根据以上两点,判别函数可以写成如下:

    (4)实际使用中,对总体协方差使用贝叶斯估计效果更佳,也就是引入:

    那么有:

    其中I 为单位矩阵,h是常数;

    (5)所以MQDF1的最终形式如下:

    2.MQDF2

    (1)为了优化计算以及存储资源,判别函数中只考虑前k个特征值及特征向量:

    PS:参考文献

    更多相关内容
  • 包括示例案例
  • OQDF 假设每个的概率分布函数两类人脸图像具有统一的形状。
  • 本文提出了一种新颖的三维物体旋转容忍识别方法,该方法结合了积分成像(II)和合成判别函数(SDF)的优点。 SDF的目标是过滤器和容错识别,我们将其用于II系统的三维(3-D)旋转容忍识别。 该方法利用II元素图像的...
  • 多元统计中的Fisher判别算法代码分享-费舍尔判别函数.rar 本帖最后由 songyc907 于 2012-2-15 15:24 编辑 初学MATLAB,尝试着实现了一个费舍尔判别算法。将代码分享出来,仅供抛砖引玉之用。请大家指正。 ...
  • 中科大计算机模式识别线性判别函数,希望能够给大家带来帮助。
  • 目录统计模式识别之判别分析判别函数定义解释样例判断函数正负值的确定确定判别函数的两个因素线性判别函数一般形式性质两类情况多类情况广义线性判别函数线性判别函数的几何性质Fisher线性判别感知器算法梯度法最小...

    统计模式识别之判别分析

    统计模式识别:按任务类型划分

    • 聚类分析(Clustering Analysis)——简称:聚类
      – 简单聚类方法:最大最小距离法
      – 层次聚类方法:分裂式、凝聚式
      – 动态聚类方法:C-均值,ISODATA
    • 判别分析(Discriminatory Analysis)——简称:分类
      – 几何分类法(判别函数分类法):线性、分段线性、二次、支持向量机
      – 概率分类法(统计决策分类法):判别式 (Discriminative)、生成式 (Generative)
      – 近邻分类法(几何分类法和概率分类法的一种融合方法)
      所谓 几何分类法,是指在特征空间中,利用矢量空间的直观概念,使用
      代数方程方法,对模式进行分类。因此也被称为:代数界面方程法。
      所谓 概率分类法,是指把模式视为随机变量的抽样,利用统计决策理论 (贝叶斯决策理论)成熟的判决准则与方法,对模式样本进行分类。

    判别函数

    定义

    判别函数是直接用来对模式进行分类的决策函数,也称判决函数或决策函数。

    解释

    若分属于ω1,ω2的两类模式在空间中的分布区域,可以 用一代数方程d(X) =0来划分,那么称d(X) 为判别函数, 或称决策函数。显然,这一方程表示的是n维空间的(n-1) 维超曲面(或超平面)

    样例

    在这里插入图片描述
    示例:线性判别函数
    d(X)=w1x1+w2x2+w3
    若d ( X ) > 0,则 X ∈ ω1类;
    若d ( X ) < 0,则 X ∈ω2 类;
    若d(X)=0,则X ∈ω1或X ∈ω2 或拒绝分类

    维数N=3时:判别边界为一平面

    维数N>3时:判别边界为一(N-1)维超平面 (记,直线为一维超平面;平面为二维超平面)

    判断函数正负值的确定

    判别界面的正负侧,是在训练判别函数的权值时人为确定的。 一般,令第1类样本的函数值大于零,第2类样本的函数值小于零

    确定判别函数的两个因素

    1. 判决函数d(X)的几何性质:它可以是线性的或非线性的函数,

    2. 判决函数d(X)的系数:用所给的模式样本(可分)确定

    线性判别函数

    一般形式

    将二维模式推广到n维,线性判别函数的一般形式为: d(X)=w1x1+w2x2+…+wnxn+wn+1 =W0TX+wn+1
    式中: X = [x1 , x2 ,…, xn ]T
    W =[w1,w2,…,wn]T:权向量,即参数向量。
    增广向量形式:
    d(X)=w1x1+w2x2+…+wnxn+wn+1 ⋅1
    式中:
    X =[x1,x2,…,xn,1]T 为增广模式向量
    W = [w1 , w2 ,…, wn , wn+1 ]T 为增广权向量

    性质

    两类情况

    d(X)=WTX
    如果d(x)>0, 若X∈ω1 <0, 若X∈ω2
    d(X) = 0:不可判别情况,可令 X ∈ ω1或X ∈ ω2或拒绝分类

    多类情况

    对M个线性可分模式类,ω1, ω2,… ωM,有三种分类方式:
    在这里插入图片描述

    1. 多类情况1 是非两分法
      用线性判别函数将属于ωi类的模式与其余不属于ωi类的模式分开。能用本方法分类的模式集称为 整体线性可分的
      在这里插入图片描述
      识别出M类需要M个判别函数,有可能存在不确定区(indefinite region,IR)
    2. 成对两分法
      一个判别界面只能分开两个类别,不需要把其余所有的类别都分开
      判决函数为: dij (X)=Wig TX,这里dij = =dij
      判断函数性质:
      dij(X)>0, ∀j≠i;i,j=1,2,…,M, 若X∈ωi
    3. 成对两分法特例
      当ωij成对两分法中的判别函数dij(X),如果可以分解为 dij (X) = di (X − dj (X)

    小结

    (1)明确概念:线性可分。 一旦线性判别函数的系数W~k~被确定以后,这些函数就可以
    作为模式分类器,对未知模式进行分类。
    (2)ωi / -ωi与ωi / ωj
    对于M类模式的分类, 两分法共需要M个判别函数,但成对两分法需要M(M-1)/2个。当时M>3时,后者需要更多的判别式(缺点),但对模式集进行线性可分的可能性要更大一些(优点)
    一种类别模式ωi 的分布要比M-1类模式的分布更为聚集,因此 ωi / ωj两分法受到的限制比 ωi / -ωi 少,因此线性可分可能性大

    广义线性判别函数

    目的

    通过某映射,把模式空间X变成X*,以便让X空间中非线性可分的模式集,变成在X*空间中线性可分的模式集

    线性判别函数的几何性质

    模式空间与超平面

    概念

    模式空间:以n维模式向量X的n个分量为坐标变量的欧氏空间
    模式向量:点、有向线段
    线性分类:用d(X)进行分类,相当于用超平面d(X)=0把模式空 间分成不同的决策区域

    讨论

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    小结

    1. 超平面 d(X) = 0 的法向量是权向量W0
    2. 超平面 d(X) = 0 的位置由 wn+1 决定
    3. 判别函数 d(X) 正比于点 X 到超平面的代数距离
    4. 当 X 在超平面的正侧时 d(X) > 0,当 X 在超平面的 负侧时 d(X) < 0

    权空间与权向量解

    概念

    权空间:以d(X)=w1x1+w2x2 +…+wnxn +wn+1 的权系数为坐标变量的(n+1)维欧氏空间,X为已知。 增广权向量:W=(w1,w2, …,wn,wn+1),点、有向线段

    线性分类

    判别函数形式已定,只需确定权向量
    设增广样本向量:
    ω1 类: X11,X12,…,X1p
    ω2 类: X21,X22,…,X2q 使用d(X)将ω1和 ω2分开,需满足 d(X1i)>0, i=1,2,…,p d(X2i)<0, i=1,2,…,q

    解空间

    (p+q) 个训练模式将确定 (p+q) 个界面,每个界面 都把权空间分为两个半空间,(p+q) 个正的半子空间的 交空间是以权空间原点为顶点的凸多面锥

    线性二分空间

    线性判别函数的二分能力(Dichotomies):是指线性函数对给 定的N个n维二类模式的全部可能的类别分布情况,能正确分类的情况数。线性判别函数的二分能力,称为线性二分能力
    在这里插入图片描述
    4个2维二类模式的类别分布总数为24=16。用直线进行判别, 由图中可见,仅有2x7=14中情形可以判别。不可判别的两种 情形:(1) X1和X3为类1、X2和X4为类2;(2) 类别交换在这里插入图片描述

    Fisher线性判别

    Fisher准则的基本原理:找到一个最合适的投影 轴,使两类样本在该轴上投影之间的距离尽可能 远,而每一类样本的投影尽可能紧凑,从而使分类效果为最佳

    感知器算法

    对线性判别函数,当模式维数已知时,判别函数的形式实 际上已经确定,如:三维时
    在这里插入图片描述
    只要求出权向量,分类器的设计即告完成。本节开始介绍如何 通过各种算法,利用已知类别的模式样本训练权向量W

    概念理解

    1)训练与学习
    训练:用已知类别的模式样本指导机器对分类规则进行反复修改,最终使分类结果与已知类别信息完全相同的过程。
    学习:从分类器的角度讲
    非监督学习
    有监督学习<------>训练
    2)确定性分类器
    处理确定可分情况的分类器。通过几何方法将特征空间 分解为对应不同类的子空间,又称为几何分类器
    3)感知器(Perceptron )
    一种早期神经网络分类学习模型,属于有关机器学习的仿生 学领域中的问题,由于无法实现非线性分类而下马(Minsky and Papert)。但“赏罚概念(reward-punishment )”得到广泛应用

    感知器算法

    在这里插入图片描述
    对样本进行规范化处理,即ω2类样本全部乘以(-1),则有:
    d(X = W**T**X >0
    感知器算法的基本思想:用训练模式验证当前权向量的合理性, 如果不合理,就根据误差进行反向纠正,直到全部训练样本都 被合理分类。本质上是梯度下降方法类

    感知器算法的收敛性

    收敛性:经过算法的有限次迭代运算后,求出了一个使所有样 本都能正确分类的W,则称算法是收敛的
    可以证明:感知器算法是收敛的
    收敛条件:模式类线性可分(即:存在一个权矢量与全部规 范化增广矢量的内积大于等于零)

    梯度法

    梯度概念

    在这里插入图片描述
    即:
    梯度的方向是函数f(Y)在Y点增长最快的方向,
    梯度的是f(Y)在增长最快的方向上的增长率

    梯度算法

    思路

    设两个线性可分的模式类ω1和ω2的样本共N个,ω2类样本乘(-1)。将两类样本分开的判决函数d(X)应满足:
    d(Xi)=WTXi >0 i=1,2,N——N个不等式

    梯度算法的目的仍然是求一个满足上述条件的权向量,主导思想是将联立不等式求解W的问题,转换成求准则函数极小值的问题。

    用负梯度向量的值对权向量W进行修正,实现使准则函数达 到极小值的目的。

    实现方法

    定义一个对错误分类敏感的准则函数J(W, X),在J的梯度
    方向上对权向量进行修改。一般关系表示成从W(k)导出W(k+1):
    在这里插入图片描述
    其中c是正的比例因子

    固定增量法

    定义

    准则函数:J(W,X)=1/2(|WTX| −WTX)
    该准则函数有唯一最小值“0”,且发生在WTX > 0 的时候。 求W(k)的递推公式:
    在这里插入图片描述
    在这里插入图片描述

    最小平方误差算法(LMS)

    特点

    • 对可分模式收敛。
    • 对于类别不可分的情况也能指出来

    原理

    在这里插入图片描述
    准则函数定义为:
    在这里插入图片描述
    在这里插入图片描述
    可以看出:
    1 当函数J达到最小值,等式XW=B有最优解。即又将问
    题转化为求准则函数极小值的问题。
    2 因为J有两个变量W和B,有更多的自由度供选择求解,
    故可望改善算法的收敛速率。

    推导LMS算法递推公式

    在这里插入图片描述

    求W的递推公式

    在这里插入图片描述

    求B(k+1)的迭代式

    在这里插入图片描述

    求W(k+1)的迭代式

    在这里插入图片描述

    非线性判别函数

    展开全文
  • 提出利用线性判别函数,d(x)=W′x,对轰炸机和战斗机两类目标进行旋转不变识别。每一目标有72个旋转模式,其中9个为训练样本,63个为测试样本,在每个目标的训练样本中随机取一个相减作为线性判别函数的系数(Wij)的初始值...
  • Ltd., Toyama, Japan 930-0004 总结 如果每个类内分布都是正态分布并且二次判别函数是最佳判别函数(贝叶斯规则)[1]均值向量和协方差矩阵 我们提出了一个新的二次判别函数。 众所周知。 在实践中,这些参数,即...
  • 提出一种可实现3-D物体分类的广义判别函数,模拟表明利用RBF函数(RBF:Radial Basis Function)组成的广义判别函数对于3-D目标的识别是很有效的,此方法简单,训练时间短,当识别系统采用并行处理数据时,不论是训练...
  • 基于不同煤层微量元素丰度差异,以顾桥矿B组煤下部主要可采8、6-2、4-2煤层为例,解析了在构造发育、常规手段难以判明其层位的条件下,利用微量元素各指标测试值在SPSS中建立不同煤层判别函数,回判正确率达到81.6%;...
  • 3.1 线性判别函数 3.2 广义线性判别函数 3.3 分段线性判别函数 3.4 模式空间和权空间 3.5 Fisher线性判别 3.6 感知器算法 3.7 采用感知器算法的多类模式的分类 3.8 可训练的确定性分类器的迭代算法 3.9 势...

    3.1 线性判别函数
    3.2 广义线性判别函数
    3.3 分段线性判别函数
    3.4 模式空间和权空间
    3.5 Fisher线性判别
    3.6 感知器算法
    3.7 采用感知器算法的多类模式的分类
    3.8 可训练的确定性分类器的迭代算法
    3.9 势函数法 — 一种确定性的非线性分类算法
    3.10 决策树简介

    3.1 线性判别函数

    3.1.1 用判别函数分类的概念

    模式识别系统的主要作用

    • 判别各个模式所属的类别

    对一个两类问题的判别,就是将模式x划分成ω1和ω2两类。

    两类问题的判别函数(以二维模式样本为例)

    若x是二维模式样本x = (x1 x2)T,用x1和x2作为坐标分量,得到模式的平面图:
    在这里插入图片描述

    这时,若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
    d(x) = w1x1 + w2x2 + w3 = 0

    其中x1、x2为坐标变量,w1、w2、w3为参数方程,则将一个不知类别的模式代入d(x),有

    • 若d(x) > 0,则 x ∈ ω1
    • 若d(x) < 0,则 x ∈ ω2

    此时,d(x)=0称为判别函数。

    用判别函数进行模式分类依赖的两个因素

    (1)判别函数的几何性质:线性的和非线性的函数。

    • 线性的是一条直线;
    • 非线性的可以是曲线、折线等;
    • 线性判别函数建立起来比较简单(实际应用较多);
    • 非线性判别函数建立起来比较复杂。

    (2)判别函数的系数:判别函数的形式确定后,主要就是确定判别函数的系数问题。

    • 只要被研究的模式是可分的,就能用给定的模式样本集来确定判别函数的系数。

    3.1.2 线性判别函数

    n维线性判别函数的一般形式

    一个n维线性判别函数的一般形式:
    在这里插入图片描述
    其中w0 = (w1, w2, …, wn)T称为权向量(或参数向量), x = (x1, x2, …, xn)T。

    d(x)也可表示为:
    d(x) = wTx
    其中,x = (x1, x2, …, xn, 1)T称为增广模式向量,w = (w1, w2, …, wn+1)T称为增广权向量

    分类问题

    两类情况:判别函数d(x)
    在这里插入图片描述

    多类情况:设模式可分成ω1, ω2,…, ωM共M类,则有三种划分方法

    • 多类情况1

    用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开,其判别函数为:
    在这里插入图片描述
    i = 1, 2, …, M

    这种情况称为ωi / 两分法,即把M类多类问题分成M个两类问题,因此共有M个判别函数,对应的判别函数的权向量为wi, i = 1, 2, …, M。
    在这里插入图片描述
    图例:对一个三类情况,每一类模式可用一个简单的直线判别界面将它与其它类模式分开。
    例如对x∈ω1的模式,应同时满足:d1(x)>0,d2(x)<0,d3(x)<0

    不确定区域:若对某一模式区域,di(x)>0的条件超过一个,或全部di(x)<0,i = 1, 2, …, M,则分类失败,这种区域称为不确定区域(IR)

    例:
    设有一个三类问题,其判别式为:
    d1(x)= -x1 + x2,d2(x)= x1 + x2 - 5,d3(x)= -x2 + 1
    则对一个模式x=(6, 5)T,判断其属于哪一类。
    将x=(6, 5)T代入上述判别函数,得:
    d1(x) = -1,故d1(x)<0
    d2(x) = 6,故d2(x)>0
    d3(x) = -4,故d3(x)<0
    从而 x ∈ ω2

    假若x=(3, 5)T,则
    d1(x) = 2>0
    d2(x) = 3>0
    d3(x) = -2<0
    分类失败。

    • 多类情况2

    用每对划分,即ωi/ωj两分法,此时一个判别界面只能分开两种类别,但不能把它与其余所有的界面分开。
    其判别函数为:
    在这里插入图片描述
    若dij(x)>0, ,则
    重要性质:dij = -dji

    在这里插入图片描述
    图例:对一个三类情况,d12(x)=0仅能分开ω1和ω2类,不能分开ω1和ω3类。
    要分开M类模式,共需M(M-1)/2个判别函数。
    不确定区域:若所有dij(x),找不到 ,dij(x)>0的情况。
    在这里插入图片描述

    • 多类情况3(多类情况2的特例)

    这是没有不确定区域的ωi/ωj两分法。假若多类情况2中的dij可分解成:dij(x) = di(x) - dj(x) = (wi – wj)Tx,则dij(x)>0相当于di(x)>dj(x),∀j≠i,这时不存在不确定区域。此时,对M类情况应有M个判别函数:
    在这里插入图片描述

    即di(x)>dj(x),∀j≠i ,i, j = 1,2,…,M,
    则 ,也可写成,若di(x)=max{dk(x), k=1,2,…,M},则 x ∈ ωi 。
    该分类的特点是把M类情况分成M-1个两类问题。
    在这里插入图片描述
    例:设有一个三类问题的模式分类器,其判别函数为:
    d1(x)= -x1 + x2,d2(x)= x1 + x2 - 1,d3(x)= -x2

    属于ω1类的区域应满足d1(x)>d2(x)且d1(x)>d3(x),ω1类的判别界面为:
    d12(x)= d1(x)-d2(x) = -2x1 + 1 = 0
    d13(x)= d1(x)-d3(x) = -x1 + 2x2 = 0

    属于ω2类的区域应满足d2(x)>d1(x)且d2(x)>d3(x),ω2类的判别界面为:
    d21(x)= d2(x)-d1(x) = 2x1 - 1 = 0,可看出d21(x)=-d12(x)
    d23(x)= d2(x)-d3(x) = x1 + 2x2 - 1= 0

    同理可得ω3类的判别界面为:
    d31(x) = -d13(x) = x1 - 2x2 = 0
    d32(x) = -d23(x) = -x1 - 2x2 + 1= 0

    若有模式样本x=(1, 1)T,则:d1(x) = 0,d2(x) = 1,d3(x) = -1
    从而:d2(x)>d1(x)且d2(x)>d3(x),故 x ∈ω2

    • 小结:线性可分

    模式分类若可用任一个线性函数来划分,则这些模式就称为线性可分的,否则就是非线性可分的。

    一旦线性函数的系数wk被确定,这些函数就可用作模式分类的基础。

    • 多类情况1和多类情况2的比较

    对于M类模式的分类,多类情况1需要M个判别函数,而多类情况2需要M*(M-1)/2个判别函数,当M较大时,后者需要更多的判别式(这是多类情况2的一个缺点)。

    采用多类情况1时,每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开,而不是将一种类别的模式仅与另一种类别的模式分开。

    由于一种模式的分布要比M-1种模式的分布更为聚集,因此多类情况2对模式是线性可分的可能性比多类情况1更大一些(这是多类情况2的一个优点)。

    3.2 广义线性判别函数

    出发点

    线性判别函数简单,容易实现;
    非线性判别函数复杂,不容易实现;
    若能将非线性判别函数转换为线性判别函数,则有利于模式分类的实现。

    基本思想
    设有一个训练用的模式集{x},在模式空间x中线性不可分,但在模式空间x中线性可分,其中x的各个分量是x的单值实函数,x* 的维数k高于x的维数n,即若取
    x* = (f1(x), f2(x), …., fk(x)), k>n
    则分类界面在x* 中是线性的,在x中是非线性的,此时只要将模式x进行非线性变换,使之变换后得到维数更高的模式x*,就可以用线性判别函数来进行分类。

    描述

    一个非线性判别函数可如下表示:
    在这里插入图片描述
    其中{fi(x), i = 1,2,…,k}是模式x的单值实函数。若定义成广义形式:
    x* = (f1(x), f2(x), …, fk(x), 1)T
    此时有:
    d(x*) = wTx*,其中w = (w1, w2, …, wk, wk+1)T
    该式表明,非线性判别函数已被变换成广义线性,因此只讨论线性判别函数不会失去一般性意义。

    线性判别函数

    取fi(x)为一次函数,例如xi,则变换后的模式x*=x,x*的维数k为x的维数n,此时广义线性化后的判别式仍为:
    在这里插入图片描述

    fi(x)选用二次多项式函数

    1. x是二维的情况,即x =(x1 x2)T。若原判别函数为:
      在这里插入图片描述
      要线性化为d(x*) = wTx*,须定义:
      在这里插入图片描述

    此时,只要把模式空间x中的分量定义成x的单值实函数,x即变成线性可分。此时x*的维数(这里为5)大于x的维数(这里为2)。

    1. x是n维的情况,此时原判别函数设为:
      在这里插入图片描述
      式中各项的组成应包含x的各个分量的二次项、一次项和常数项,其中平方项n个,二次项n(n-1)/2个,一次项n个,常数项一个,其总项数为:
      n + n(n-1)/2 + n + 1 = (n+1)(n+2)/2 > n
      显然,对于d(x*) = wTx*,x的维数大于x的维数,w分量的数目也与x的维数相应。x*的各分量的一般化形式为:
      在这里插入图片描述

    fi(x)选用r次多项式函数, x是n维的情况

    在这里插入图片描述
    此时,判别函数d(x)可用以下递推关系给出:
    在这里插入图片描述

    在这里插入图片描述
    d(x)总项数的讨论:对于n维x向量,若用r次多项式,d(x)的权系数的总项数为:
    在这里插入图片描述
    当r=2时:
    在这里插入图片描述
    当r=3时:
    在这里插入图片描述

    说明

    d(x)的项数随r和n的增加会迅速增大,即使原来模式x的维数不高,若采用次数r较高的多项式来变换,也会使变换后的模式x*的维数很高,给分类带来很大困难。

    实际情况可只取r=2,或只选多项式的一部分,例如r=2时只取二次项,略去一次项,以减少x*的维数。

    广义线性判别实例
    在这里插入图片描述

    如图所示,设有一维样本空间X,所希望的分类是:
    在这里插入图片描述
    显然没有一个线性判别函数能在一维空间中解决上述问题。
    在这里插入图片描述

    3.3 分段线性判别函数

    出发点

    线性判别函数在进行分类决策时是最简单有效的,但在实际应用中,常常会出现不能用线性判别函数直接进行分类的情况。

    采用广义线性判别函数的概念,可以通过增加维数来得到线性判别,但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难,增加计算的复杂性。

    引入分段线性判别函数的判别过程,它比一般的线性判别函数的错误率小,但又比非线性判别函数简单。

    在这里插入图片描述
    图例:用判别函数分类

    • 可用一个二次判别函数来分类
    • 也可用一个分段线性判别函数来逼近这个二次曲线

    分段线性判别函数的设计

    采用最小距离分类的方法

    最小距离分类

    设μ1和μ2为两个模式类ω1和ω2的聚类中心,定义决策规则:
    在这里插入图片描述
    这时的决策面是两类期望连线的垂直平分面,这样的分类器称为最小距离分类器。

    在这里插入图片描述

    在这里插入图片描述
    图例:分段线性分类设计

    3.4 模式空间和权空间

    设有判别函数:d(x)=wTx,其中x=(x1 x2…xn 1)T,w=(w1 w2…wn wn+1)T

    判别界面为:wTx=0

    对两类问题,ω1类有模式{x1 x2},ω2类有模式{x3 x4},则应满足如下条件:
    在这里插入图片描述
    若将属于ω2类的模式都乘以(-1),则上式可写成:
    在这里插入图片描述
    因此,若权向量能满足上述四个条件,则wTx=0为所给模式集的判别界面。

    模式空间

    对一个线性方程w1x1+w2x2+w3x3=0,它在三维空间(x1 x2 x3)中是一个平面方程式,w=(w1 w2 w3)T是方程的系数。

    把w向量作为该平面的法线向量,则该线性方程决定的平面通过原点且与w垂直。

    若x是二维的增广向量,此时x3=1,则在非增广的模式空间中即为{x1, x2 }二维坐标,判别函数是下列联立方程的解
    w1x1+w2x2+w3=0
    x3=1

    即为这两个平面相交的直线AB

    此时,w =(w1 w2)T为非增广的权向量,它与直线AB垂直;AB将平面分为正、负两侧,w离开直线的一侧为正, w射向直线的一侧为负。

    模式空间
    (a) 增广向量决定的平面
    (b) 非增广向量决定的直线
    在这里插入图片描述

    权空间

    若将方程x1w1+x2w2+w3=0绘在权向量w=(w1 w2 w3)T的三维空间中,则x=(x1 x2 1)T为方程的系数。

    若以x向量作为法线向量,则该线性方程所决定的平面为通过原点且与法线向量垂直的平面,它同样将权空间划分为正、负两边。

    在系数x不变的条件下,若w值落在法线向量离开平面的一边,则wTx>0,若w值落在法线向量射向平面的一边,则wTx <0。

    权空间中判别界面的平面示意图
    在这里插入图片描述

    * 3.5 Fisher线性判断

    出发点

    应用统计方法解决模式识别问题时,一再碰到的问题之一就是维数问题。

    在低维空间里解析上或计算上行得通的方法,在高维空间里往往行不通。

    因此,降低维数有时就会成为处理实际问题的关键。

    问题描述

    考虑把d维空间的样本投影到一条直线上,形成一维空间,即把维数压缩到一维。

    然而,即使样本在d维空间里形成若干紧凑的互相分得开的集群,当把它们投影到一条直线上时,也可能会是几类样本混在一起而变得无法识别。

    但是,在一般情况下,总可以找到某个方向,使在这个方向的直线上,样本的投影能分得开。

    问题:如何根据实际情况找到一条最好的、最易于分类的投影线,这就是Fisher判别方法所要解决的基本问题。

    在这里插入图片描述

    从d维空间到一维空间的一般数学变换方法

    假设有一集合Г包含N个d维样本x1, x2, …, xN,其中N1个属于ω1类的样本记为子集Г1, N2个属于ω2类的样本记为子集Г2 。若对xn的分量做线性组合可得标量:

    		yn = wTxn, n=1,2,…,N
    

    这样便得到N个一维样本yn组成的集合,并可分为两个子集Г1’和Г2’ 。

    实际上,w的值是无关紧要的,它仅是yn乘上一个比例因子,重要的是选择w的方向。w的方向不同,将使样本投影后的可分离程度不同,从而直接影响的分类效果。

    因此,上述寻找最佳投影方向的问题,在数学上就是寻找最好的变换向量w*的问题。

    Fisher准则函数的定义

    半正定矩阵:特征值都不小于零的实对称矩阵
    非奇异矩阵:矩阵的行列式不为零

    几个必要的基本参量
    在这里插入图片描述

    在这里插入图片描述

    我们希望投影后,在一维Y空间中各类样本尽可能分得开些,即希望两类均值之差越大越好,同时希望各类样本内部尽量密集,即希望类内离散度越小越好。

    Fisher准则函数定义

    Fisher准则函数定义为:
    在这里插入图片描述

    其中, 是两类均值之差, 是样本类内离散度。显然,应该使JF(w)的分子尽可能大而分母尽可能小,即应寻找使JF(w)尽可能大的w作为投影方向。但上式中并不显含w,因此须设法将JF(w)变成w的显函数。由各类样本的均值可推出:
    在这里插入图片描述

    在这里插入图片描述

    最佳变换向量w*的求取

    为求使在这里插入图片描述取极大值时的w*,可以采用Lagrange乘数法求解。令分母等于非零常数,即:
    在这里插入图片描述
    定义Lagrange函数为:
    在这里插入图片描述
    其中λ为Lagrange乘子。将上式对w求偏导数,可得:
    在这里插入图片描述

    令偏导数为零,有;
    在这里插入图片描述

    在这里插入图片描述
    其中w就是JF(w)的极值解。因为Sw非奇异,将上式两边左乘Sw-1,可得:
    在这里插入图片描述
    上式为求一般矩阵Sw-1Sb的特征值问题。利用Sb=(m1-m2)(m1-m2)T的定义,将上式左边的Sbw
    写成:
    在这里插入图片描述
    在这里插入图片描述

    从而可得:
    在这里插入图片描述
    由于我们的目的是寻找最佳的投影方向,w*的比例因子对此并无影响,因此可忽略比例因子R/λ,有:
    在这里插入图片描述

    **w是使Fisher准则函数JF(w)取极大值时的解,也就是d维X空间到一维Y空间的最佳投影方向。*有了w,就可以把d维样本x投影到一维,这实际上是多维空间到一维空间的一种映射,这个一维空间的方向w相对于Fisher准则函数JF(w)是最好的。

    利用Fisher准则,就可以将d维分类问题转化为一维分类问题,然后,只要确定一个阈值T,将投影点yn与T相比较,即可进行分类判别。

    3.6 感知器算法

    出发点

    一旦判别函数的形式确定下来,不管它是线性的还是非线性的,剩下的问题就是如何确定它的系数。

    在模式识别中,系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。

    感知器算法就是通过训练样本模式的迭代和学习,产生线性(或广义线性)可分的模式判别函数

    基本思想

    采用感知器算法(Perception Approach)能通过对训练模式样本集的“学习”得到判别函数的系数

    说明

    这里采用的算法不需要对各类别中模式的统计性质做任何假设,因此称为确定性的方法

    背景

    “感知器”一词出自于20世纪50年代中期到60年代中期人们对一种分类学习机模型的称呼,它是属于有关动物和机器学习的仿生学领域中的问题。

    当时的一些研究者认为感知器是一种学习机的强有力模型,后来发现估计过高了,但发展感知器的一些相关概念仍然沿用下来。

    感知器的训练算法

    线性判别函数的基本概念一般表达式:g(x)=wTx+w0式中x是d维特征向量,又称样本向量,w称为权向量,分别表示为:x=x1x2?xd w=w1w2?wdw0是个常数。
    权向量又称为权重向量。权向量ωm中的权系数ωi的大小代表相应目标fi在多目标最优化问题中的重要程度,ωi越大表示fi在问题中越重要,反之,越小的ωi表示fi越不重要。

    在这里插入图片描述
    在这里插入图片描述

    感知器算法实质上是一种赏罚过程

    对正确分类的模式则“赏”,实际上是“不罚”,即权向量不变。

    对错误分类的模式则“罚”,使w(k)加上一个正比于xk的分量。

    当用全部模式样本训练过一轮以后,只要有一个模式是判别错误的,则需要进行下一轮迭代,即用全部模式样本再训练一次。

    如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。

    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

    感知器算法的收敛性

    只要模式类别是线性可分的,就可以在有限的迭代步数里求出权向量。(证明作为练习)

    3.7 采用感知器算法的多类模式的分类

    采用3.1的多类情况3,将感知器算法推广到多类模式。
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    在这里插入图片描述

    讨论

    这里的分类算法都是通过模式样本来确定判别函数的系数,但一个分类器的判断性能最终要受并未用于训练的那些未知样本来检验。

    要使一个分类器设计完善,必须采用有代表性的训练数据,它能够合理反映模式数据的整体。

    要获得一个判别性能好的线性分类器,究竟需要多少训练样本?

    直观上是越多越好,但实际上能收集到的样本数目会受到客观条件的限制;

    过多的训练样本在训练阶段会使计算机需要较长的运算时间;

    一般来说,合适的样本数目可如下估计:

    若k是模式的维数,令C=2(k+1),则通常选用的训练样本数目约为C的10~20倍。

    3.8 可训练的确定性分类器的迭代算法

    3.8.1 梯度法

    定义

    在这里插入图片描述

    梯度是一个向量,它的最重要性质就是指出了函数f在其自变量y增加时最大增长率的方向。

    负梯度指出f的最陡下降方向

    利用这个性质,可以设计一个迭代方案来寻找函数的最小值。

    采用梯度法求解的基本思想

    对感知器算法
    在这里插入图片描述

    式中的w(k)、xk随迭代次数k而变,是变量。

    定义一个对错误分类敏感的准则函数J(w, x)。先任选一个初始权向量w(1),计算准则函数J的梯度,然后从w(1)出发,在最陡方向(梯度方向)上移动某一距离得到下一个权向量w(2) 。

    从w(k)导出w(k+1)的一般关系式

    在这里插入图片描述

    讨论

    若正确地选择了准则函数J(w,x),则当权向量w是一个解时,J达到极小值(J的梯度为零)。由于权向量是按J的梯度值减小,因此这种方法称为梯度法(最速下降法)。

    为了使权向量能较快地收敛于一个使函数J极小的解,C值的选择是很重要的。

    • 若C值太小,则收敛太慢;
    • 若C值太大,则搜索可能过头,引起发散。

    在这里插入图片描述

    在这里插入图片描述

    3.8.2 固定增量的逐次调整算法

    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述
    过程说明:

    设已由前一步迭代得到w(k)的值。

    读入模式样本xk,判别wT(k)xk是否大于0。在示意图中,xk界定的判别界面为wT(k)xk=0。当w(k)在判别界面的负区域时, wT(k)xk<0。

    校正: w(k+1)= w(k)+ xk ,这里取C=1。

    校正后, w(k+1)向量比w(k)向量更接近于模式xk所决定的正区域。

    若模式是线性可分的,选择合适的准则函数J(w,x),算法就能给出解。

    若模式不是线性可分的,算法的结果就会来回摆动,得不到收敛。

    3.8.3 最小平方误差(LMSE)算法

    出发点

    感知器算法只是当被分模式可用一个特定的判别界面分开时才收敛,在不可分情况下,只要计算程序不终止,它就始终不收敛。

    即使在模式可分的情况下,也很难事先算出达到收敛时所需要的迭代次数。

    这样,在模式分类过程中,有时候会出现一次又一次迭代却不见收敛的情况,白白浪费时间。

    为此需要知道:发生迟迟不见收敛的情况时,到底是由于收敛速度过慢造成的呢,还是由于所给的训练样本集不是线性可分造成的呢?

    最小平方误差(LMSE)算法,除了对可分模式是收敛的以外,对于类别不可分的情况也能指出来。
    在这里插入图片描述

    在这里插入图片描述

    Ho-Kashyap(H-K)算法

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    LMSE算法实例

    有解情况
    在这里插入图片描述
    (△伪逆矩阵 X# = (XTX)-1 XT )

    无解情况

    在这里插入图片描述

    小结

    固定增量算法:实现相对简单,可直接引伸到多类模式的分类情况,但未提供模式线性可分的测试特征;

    LMSE算法:相对复杂,需要对XTX求逆(维数高时求逆比较困难),但对两类情况,提供了线性可分的测试特征。

    3.9 势函数法 — 一种确定性的非线性分类方法

    目的

    用势函数的概念来确定判别函数和划分类别界面。

    基本思想

    假设要划分属于两种类别ω1和ω2的模式样本,这些样本可看成是分布在n维模式空间中的点xk。

    把属于ω1的点比拟为某种能源点,在点上,电位达到峰值。

    随着与该点距离的增大,电位分布迅速减小,即把样本xk附近空间x点上的电位分布,看成是一个势函数K(x, xk)。

    对于属于ω1的样本集群,其附近空间会形成一个“高地”,这些样本点所处的位置就是“山头”。

    同理,用电位的几何分布来看待属于ω2的模式样本,在其附近空间就形成“凹地”。

    只要在两类电位分布之间选择合适的等高线,就可以认为是模式分类的判别函数。

    3.9.1 判别函数的产生

    模式分类的判别函数可由分布在模式空间中的许多样本向量{xk, k=1,2,…且在这里插入图片描述 }的势函数产生。
    任意一个样本所产生的势函数以K(x, xk)表征,则判别函数d(x)可由势函数序列K(x, x1), K(x, x2),…来构成,序列中的这些势函数相应于在训练过程中输入机器的训练模式样本x1,x2,…。

    在训练状态,模式样本逐个输入分类器,分类器就连续计算相应的势函数,在第k步迭代时的积累位势决定于在该步前所有的单独势函数的累加。

    以K(x)表示积累位势函数,若加入的训练样本xk+1是错误分类,则积累函数需要修改,若是正确分类,则不变。

    展开全文
  • 判别函数(一)

    千次阅读 2018-01-18 15:49:55
    线性判别函数和广义线性函数 用判别函数分类的概念:模式识别系统的主要作用;判别各个模式所属的类别对一个两类问题的判别,就是将模式x划分成ω1和ω2两类。两类问题的判别函数(以二维模式样本为例)若x是二维...

    线性判别函数

         用判别函数分类的概念:模式识别系统的主要作用;判别各个模式所属的类别对一个两类问题的判别,就是将模式x划分成ω1ω2两类。

    两类问题的判别函数(以二维模式样本为例)

    若x是二维模式样本x = (x1 x2)T,用x1和x2作为坐标分量,得到模式的平面图:


    这时,若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
    d(x) = w1x1 + w2x2 + w3 = 0
    其中x1、x2为坐标变量,w1、w2、w3为参数方程,则将一个不知类别的模式代入d(x),有
    - 若d(x) > 0,则 x属于w1.
    - 若d(x) < 0,则 x属于w2.
    此时,d(x)=0称为判别函数。


    用判别函数进行模式分类依赖的两个因素

    (1)判别函数的几何性质:线性的和非线性的函数。线性的是一条直线;非线性的可以是曲线、折线等;线性判别函数建立起来比较简单(实际应用较多);非线性判别函数建立起来比较复杂。
    (2)判别函数的系数:判别函数的形式确定后,主要就是确定判别函数的系数问题。只要被研究的模式是可分的,就能用给定的模式样本集来确定判别函数的系数。

    一个n维线性判别函数的一般形式:

     
    其中w0 = (w1, w2, …, wn)T称为权向量(或参数向量), x = (x1, x2, …, xn)T。
    d(x)也可表示为:d(x) = wTx;其中,x = (x1, x2, …, xn, 1)T称为增广模式向量,w = (w1, w2, …, wn+1)T称为增广权向量。两类情况:判别函数d(x)


    多类问题1:

    用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开,其判别函数为:

     
    i = 1, 2, …, M
    这种情况称为 两分法,即把M类多类问题分成M个两类问题,因此共有M个判别函数,对应的判别函数的权向量为wi, i = 1, 2, …, M。

    图例:对一个三类情况,每一类模式可用一个简单的直线判别界面将它与其它类模式分开。
    例如对属于w1的模式,应同时满足:d1(x)>0,d2(x)<0,d3(x)<0
    不确定区域:若对某一模式区域,di(x)>0的条件超过一个,或全部di(x)<0,i = 1, 2, …, M,则分类失败,这种区域称为不确定区域(IR)。
    例:设有一个三类问题,其判别式为:d1(x)= -x1 + x2,d2(x)= x1 + x2 - 5,d3(x)= -x2 + 1则对一个模式x=(6, 5)T,判断其属于哪一类。将x=(6, 5)T代入上述判别函数,得:
    d1(x) = -1,故d1(x)<0
    d2(x) = 6,故d2(x)>0
    d3(x) = -4,故d3(x)<0
    从而 
    假若x=(3, 5)T,则
    d1(x) = 2>0
    d2(x) = 3>0
    d3(x) = -2<0
    分类失败。

    多类问题2:

    采用每对划分,即ωi/ωj两分法,此时一个判别界面只能分开两种类别,但不能把它与其余所有的界面分开。其判别函数为:

     
    若dij(x)>0,  ,则 x属于w1.

    重要性质:dij = -dji


    图例:对一个三类情况,d12(x)=0仅能分开ω1和ω2类,不能分开ω1和ω3类。要分开M类模式,共需M(M-1)/2个判别函数。不确定区域:若所有dij(x),找不到 ,dij(x)>0的情况。


    例:设有一个三类问题,其判别函数为:d12(x)= -x1 - x2 + 5,d13(x)= -x1 + 3,d23(x)= -x1 + x2若x=(4, 3)T,则:d12(x) = -2,d13(x) = -1,d23(x) = -1有:

    从而 x属于w3.
    若x=(2.8, 2.5)T,则:d12(x) = -0.3,d13(x) = 0.2,d23(x) = -0.3有:

     
    分类失败。


    多类问题3:
    这是没有不确定区域的ωi/ωj两分法。假若多类情况2中的dij可分解成:dij(x) = di(x) - dj(x) = (wi – wj)Tx,则dij(x)>0相当于di(x)>dj(x), ,这时不存在不确定区域。此时,对M类情况应有M个判别函数:
     
    即di(x)>dj(x), ,i, j = 1,2,…,M,则 ,也可写成,若di(x)=max{dk(x), k=1,2,…,M},则 x属于w1类。
    该分类的特点是把M类情况分成M-1个两类问题。

    例:设有一个三类问题的模式分类器,其判别函数为:d1(x)= -x1 + x2,d2(x)= x1 + x2 - 1,d3(x)= -x2
    属于ω1类的区域应满足d1(x)>d2(x)且d1(x)>d3(x),ω1类的判别界面为:
    d12(x)= d1(x)-d2(x) = -2x1 + 1 = 0
    d13(x)= d1(x)-d3(x) = -x1 + 2x2 = 0
    属于ω2类的区域应满足d2(x)>d1(x)且d2(x)>d3(x),ω2类的判别界面为:
    d21(x)= d2(x)-d1(x) = 2x1 - 1 = 0,可看出d21(x)=-d12(x)
    d23(x)= d2(x)-d3(x) = x1 + 2x2 - 1= 0
    同理可得ω3类的判别界面为:
    d31(x) = -d13(x) = x1 - 2x2 = 0
    d32(x) = -d23(x) = -x1 - 2x2 + 1= 0
    若有模式样本x=(1, 1)T,则:d1(x) = 0,d2(x) = 1,d3(x) = -1从而:d2(x)>d1(x)且d2(x)>d3(x),故x属于w2类。 


    小结:线性可分模式分类若可用任一个线性函数来划分,则这些模式就称为线性可分的,否则就是非线性可分的。一旦线性函数的系数wk被确定,这些函数就可用作模式分类的基础。

    多类情况1和多类情况2的比较
    对于M类模式的分类,多类情况1需要M个判别函数,而多类情况2需要M*(M-1)/2个判别函数,当M较大时,后者需要更多的判别式(这是多类情况2的一个缺点)。采用多类情况1时,每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开,而不是将一种类别的模式仅与另一种类别的模式分开。由于一种模式的分布要比M-1种模式的分布更为聚集,因此多类情况2对模式是线性可分的可能性比多类情况1更大一些(这是多类情况2的一个优点)
    展开全文
  • 由于样本特征空间的类条件概率密度的形式常常很难确定,利用非参数方法估计需要很大的样本空间,而且随着特征空间位数的增加所需的样本数急剧增加,因此在实际问题中,我们往往不确定某个判别函数类,然后利用样本集...
  •  看到判别函数,我的第一反应是想起来上学期花了好久才有一点明白的“生成模型”和“判别模型”。 个人理解:生成模型旨在找出样本遵循的分布信息(感觉还是想逼近真正的分布),要对样本进行研究。然后利用学到的...
  • 线性判别函数

    2019-11-11 10:18:38
    引言线性判别函数与决策面3.广义线性判别函数感知准则函数(如感知机) 1.引言 线性判别函数与决策面 note:点到平面距离公式 3.广义线性判别函数 看一个比较直观的例子,加深理解...
  • 前言本篇博客对模式识别中的“判别函数与几何分类法”进行了讨论,并重点实现了最小平方误差法(Least Mean Square Error, LMSE)算法,也对不同的多类判别法、分段线性判别法进行了一定的实现,并通过随机生成的...
  • 模式识别判别函数

    2014-03-04 09:12:44
    模式识别课程的第四章节的上课内容。主要讲解了参数估计和判别函数的概念和方法
  • 线性判别函数的多分类情况

    千次阅读 2018-12-26 00:54:13
    用线性判别函数将属于ωi\omega_{i}ωi​类的模式与不属于ωi\omega_{i}ωi​类的模式分开。判别函数为: di(x)=wiTx={&amp;gt;0&nbsp;if&nbsp;x∈ωi≤0,&nbsp;if&nbsp;x∉ωii=1,2,...,Md_{i}...
  • 从共形映射的观点看,最简单且最重要的全纯函数是单叶全纯函数(也就是简称为单叶函数),单叶函数是几何函数论的重要内容之一,讨论了应用从属原理、从属链和微分方程判别函数单叶性的一些方法.
  • 广义线性函数 基本思想 设有一个训练用的模式集{x},在模式空间x...则分类界面在x*中是线性的,在x中是非线性的,此时只要将模式x进行非线性变换,使之变换后得到维数更高的模式x*,就可以用线性判别函数来进行分类。
  • 同时,利用SPSS分析软件对1 600个测试数据采用类间平均链接法进行聚类分析,并绘制了聚类树状关系图,根据类间距离和样本间的距离大小确定了判别分析的典型解释变量,并建立了煤层识别的Fisher判别函数。研究认为,寺河矿...
  • 实验内容 1.编程实现用于两类情况的感知器算法,求解文献[1]54页例3.8。 修改实验代码,求解文献[1]81页3.5题。
  • 线性分类模型(一)——线性判别函数

    千次阅读 2018-10-10 16:12:14
    线性分类模型主要有四种不同的方法,线性判别函数、生成式模型、判别式模型以及贝叶斯观点下的Logistic回归。我们直接考虑对原始输入空间x\pmb{x}xxx进行分类,当然也适用于对输入变量进行一个固定的变换ϕ(x)\phi(\...
  • 针对目前深水油藏分类评价研究现状的不足,基于模糊C均值聚类算法和贝叶斯判别函数,建立了深水油藏指标选择标准和分类评价体系。优选世界三大深水油气区19例油田的特征属性参数作为典型样品集,采用模糊聚类分析对深水...
  • 感知器算法求判别函数——matlab

    千次阅读 2020-04-08 18:18:51
    利用MATLAB编写感知器算法,求判别函数 一、算法思想(以后有时间再更新吧) 二、matlab程序:(明白了思想,实现就很简单了) clc; clear all; %%初始化 % w1=[0 0 0;1 0 0;1 0 1;1 1 0]'; % w2=[0 0 1;0 1 1;0...
  • 感知器(Perceptron)属于判别模型(Discriminative model),从样本中直接学习判别函数,所有类别的样本放在一起学习。它是神经网络和SVM的基础。 感知器准则函数被定义为 式中的Y(a)是被当前a错分的样本...
  • 模式识别 线性判别函数 分类器 机器学习 课件

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 74,011
精华内容 29,604
关键字:

判别函数

友情链接: SrcHDB3_Xi.rar