精华内容
下载资源
问答
  • 感知SVM的区别

    千次阅读 2017-03-19 22:47:55
    感知SVM的区别: 1、相同点 都是属于监督学习的一种分类器(决策函数)。 2、不同点 感知机追求最大程度正确划分,最小化错误,效果类似紫线,很容易造成过拟合。 支持向量机追求大致正确分类的同时,一定...

    感知机和SVM的区别:

    1、相同点

    都是属于监督学习的一种分类器(决策函数)。

    2、不同点

    • 感知机追求最大程度正确划分,最小化错误,效果类似紫线,很容易造成过拟合。
    • 支持向量机追求大致正确分类的同时,一定程度上避免过拟合,效果类似下图中的黑线。
    • 感知机使用的学习策略是梯度下降法,而SVM采用的是由约束条件构造拉格朗日函数,然后求偏导令其为0求得极值点。这里特别说明下一般我们的拉格朗日函数是符合凸函数的,因此对于凸函数一定存在极值点,也是唯一的最优解。而一般的非凸函数,只好采用梯度下降法一步一步的求得极值点,如果非凸函数还是采用求导令为0,可能找不到极值点!因为鞍点也是导数为,但却不是极值点的特例,如y = x^3函数。导数为0是函数极值点的必要条件。

    展开全文
  • 压缩感知

    千次阅读 2018-10-07 21:26:43
    摘 要:随着信息技术的发展,人们对信息的巨量需求以及硬件的发展缓慢造成了信号采样,传输存储的巨大压力。如何解决在现有的硬件基础上传输大量的信息成为...压缩感知理论主要包括信号的稀疏表示,编码测量信号...

    压缩感知理论及其算法研究报告

    摘 要:随着信息技术的发展,人们对信息的巨量需求以及硬件的发展缓慢造成了信号采样,传输和存储的巨大压力。如何解决在现有的硬件基础上传输大量的信息成为热点研究的内容。近年来压缩感知的出现为缓解这些压力提供了解决的办法。本文综述了压缩感知的理论框架及关键的技术问题,并着重介绍了压缩感知稀疏重构中的主流贪婪算法,通过算法实验分析了各种算法的重构性能。
    关键词:压缩感知 贪婪算法 稀疏重构
    1.引言
    传统的信号采样定律-那奎斯特采样定律定理:为了不失真地恢复模拟信号,采样频率应该不小于模拟信号频谱中最高频率的2倍[1]。这样对于系统处理信息的硬件需求提出了很高的要求,同时在实际应用当中为了节约存储空间和降低传输成本,需要对采集的数据进行压缩处理,这样会造成大量采集的数据浪费。因而压缩感知技术应运而生,打破了传统的信号采样定理,从不同的角度解决了信号采样的问题。使得在保证信息不损失的情况下,用远低于奈奎斯特采样定理要求的速率采样信号。压缩感知理论指出只要信号是可压缩的或在某个变换域是稀疏的,那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上,然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号[2]。在该理论框架下,采样速率不决定于信号的带宽,而决定于信息在信号中的结构和内容。压缩感知理论使得采样和计算的成本大大降低。
    当前主流的压缩感知重构算法主要包括三类:凸优化方法,贪婪算法和基于贝叶斯框架提出的算法[3]。本文主要以压缩感知重构算法为主线,介绍了主流的贪婪追踪类算法包括正交匹配追踪(OMP)算法,正则化正交匹配追踪(ROMP)算法,分段正交匹配追踪(STOMP)算法,稀疏度自适应匹配追踪(SAMP)算法,并且对这些算法的优缺点进行了比较通过仿真实验分析了各种算法的重构性能。
    2.压缩感知基本理论
    压缩感知理论主要包括信号的稀疏表示,编码测量和信号重构算法三个方面。信号的稀疏表示是压缩感知的先验条件,信号的稀疏表示是将信号投影到正交变换基时,绝大多数的变换稀疏的绝对值很小,所得到的变换向量是稀疏的或者是近似稀疏的。任意的N维信号都可以通过某个稀疏矩阵线性表示。例如x为N维的信号,Ψ是x对应的稀疏矩阵,则x可以表示为:x = ∑_(i=1)^N▒〖θ_i ψ_i 〗其中,Ψ是N列ψ_i组成的矩阵,θ_i是x在ψ_i下的投影系数,θ是投影系数向量,θ=Ψ^Tx。稀疏矩阵一般根据信号本身特点灵活选取,常见的是离散余弦变换基,快速傅里叶变换基,离散小波变换基。在编码测量中首先选定一个平稳的,与稀疏基Ψ不相关的M × N 维的观测矩阵Ф,对θ进行观测得到观测集合Y = Фx = ФΨθ。令A=ФΨ为M × N 的矩阵,称为感知矩阵。Y可以看作是稀疏信号θ关于测量矩阵A的测量值,上式整体可以表示为图(1)。
    在这里插入图片描述

    在压缩感知的整个过程中,测量矩阵的设计是一个关键步骤。测量矩阵性质的好坏,关系到能否达到压缩的目的,同时又直接关系到信号能否被精确重构。设计一个合适的观测矩阵应该既能达到压缩采样的目的,同时又可以保证信号可以无失真的重构。有限等距性质[4]在理论上较好的解决了这个问题,只要感知矩阵A能够满足RIP条件,那么信号可以由少量的测量值经过重构算法精确的恢复出来,也就是说,理论上我们可以设计一个测量矩阵使得感知矩阵A满足RIP规则,这样既可以达到压缩采样的目的,又能保证信号无失真的恢复出来。RIP规则的数学表达描述为:设A=ФΨ为M × N 的矩阵,假设一个常数δ_k,使得对于任意向量s和所有的矩阵A_k,满足以下关系4
    (1-δ_k)〖||s||〗_2≤〖||A_k s||〗_2≤(1+δ_k)〖||s||〗2 (2-1)
    其中A_k是A子矩阵,大小为M×K,有限等距常数为δ_k∈(0,1)。
    如果A满足约束等距原则,保证了信号恢复的唯一性。实际上要直接验证矩阵是否满足RIP条件是一件很困难的事情。在实际应用中,我们可以用RIP准则的一种等价情况,即非相干性来指导测量矩阵的设计。非相干性指测量矩阵中的行向量不能被稀疏矩阵线性表出同理稀疏矩阵中的列向量也不能被测量矩阵中的任意行向量线性表出。相干性的度量由相干度[5]如图(2-2)所示,关系数旳取值范围为U∈(1,√N)
    U(Ф,Ψ)=√Nmax{|Ф_k,Ψ_J|} (2-2)
    Donoho等人在文献[6]中指出服从高斯分布的随机矩阵可以高概率满足不相关性,对于一个大小为M×N的随机高斯矩阵Ф,Ф中每个值满足均值为0,方差为1/M的高斯分布,即Ф
    (i,j) ~ N(0,1/M)。可以证明当M>cKlog(N/K)时,A = ФΨ在很大概率下能满足RIP条件。而且随机高斯矩阵与大多数固定正交基构成的矩阵不相关,因此随机高斯测量矩阵满足理论上的最优性。目前大多数情况下都采用随机高斯矩阵作为压缩感知的测量矩阵,本文实验所用到的观测矩阵也是随机高斯矩阵。当选取好观测矩阵,压缩感知问题转化为求解(2-1)式的最优l_0范数问题
    min〖||θ||〗_0 s.t. Aθ = Y (2-3)
    如果得到x的稀疏表示θ,可以进一步由变换基Ψ通过下式(2-2)重构原始信号
    x = Ψθ (2-4)
    由于矩阵A的维度为M × N(M << N),所以方程(1)有无穷多解,通过贪婪算法可以逐步逼近最优解,直到求出原始信号。最早提出的是匹配追踪算法(MP),MP算法的基本思想是在每一次迭代过程中。从感知矩阵中选择与信号最匹配的原子来进行稀疏逼近求出余量,在稀疏度已知的情况下继续迭代选出与余量最匹配的原子。最匹配是指当前余量与原子的内积最大。经过数次迭代,该信号便可由这些原子线性表示,但是当前的余量仅与当前的原子正交而不是与已选定的所有的原子正交使,得每次迭代的结果可能是次最优的往往需要迭代多次。下面介绍四种主流的贪婪类重构算法并分析它们的优缺点进行比较。
    3.正交匹配追踪类算法
    3.1正交匹配追踪(OMP)算法
    OMP算法作为MP算法的延申,仍然沿用了MP算法中原子选择的标准,不同的是OMP算法利用Gram-Schmidt正交化对已选定的原子进行正交化处理,再将信号在这些正交原子构成的张量空间投影,得到信号在选定原子上的分量和余量,然后用相同的方法迭代分解余量。通过每次对所选原子的正交化处理保证了迭代的最优性,从而减少了迭代的次数[7]。
    OMP的具体步骤如下:
    (1)令初始余量r_0 = Y,稀疏度为K,索引值集合J为空集,支撑集合Λ为空集;
    (2)计算相关系数u(余量与原子的内积),并将u中最大值对应的索引值存入J;
    (3)更新支撑集合 ,将更新索引对应的原子存入Λ;
    (4)利用最小二乘法得到重建信号,同时对余量进行跟新;
    (5)若迭代次数小于K,r = r_new,n = n+1,转到第二步继续迭代;否则,停止迭代。
    为了说明OMP算法的重建性能,利用MATLAB R2016a作为平台,分两次实验验证。第一次实验,假定信号是稀疏的并且稀疏度为10,定常信号256 × 1的列向量中随机选取10个随机数随机排列到定长信号中。观测矩阵为128×256高斯随机矩阵。初始信号和恢复信号之间的误差用二者相减的二范数表示。实验结果如图(2)所示,实验误差为o(10e-15 )
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    第二次实验,测试对象为256×256lena图像。观测矩阵采用随机高斯矩阵,M和N表示观测矩阵的行数和列数,M/N表示压缩比0.5,实验结果如图(3),PSRN值为26.5536。

    在这里插入图片描述
    在这里插入图片描述

    OMP算法虽然保证了每次迭代的最优性,减少了迭代的次数。但是,它每次迭代中仅选取一个原子来跟新原子的集合,这样必然会付出巨大的重建时间代价。OMP算法首次把最小二乘法引入压缩感知重建中,用正交化的思想来计算重建信号使得结果更加准确,这是压缩感知重建算法取得重大研究进展的一个标志[8]。
    3.2正则化正交匹配追踪(ROMP)算法
    ROMP算法首先根据相关原则进行原子的一次筛选,通过求余量r与测量矩阵Ф中各个原子之间的内积的绝对值,来计算相关系数u,并按照此方法筛选出的K个原子的索引值存到候选集J中以便进行原子的二次筛选。
    ROMP算法采用正则化过程进行原子的二次筛选,将J中索引值对应的原子的相关系数分成若干,要求分组的原子在各自所在子集内的原子同误差向量的内积的最大值与最小值的比值在两倍以内[6]。数学表达式为(3-1)
    |u(i)| ≤ 2|u(j)|, i,j ∈J (3-1)
    然后选择能量最大的一组相关系数对应的原子索引值存入J_0中,该正则化过程可以使得ROMP算法最多经过K次迭代便可得到一个原子数|Λ|小于2K的支撑集Ф_Λ用于重建信号,对于没有选入支撑集的原子,正则化过程则能保证它们的能量一定远小于被选原子的能量,是一种简单有效的原子筛选方法。
    ROMP的步骤:
    (1)初始化余量r_0 = Y,估计信号稀疏度为K,迭代次数n = 1,索引值Λ为空集,J为空集;
    (2)计算相关系数u,并从u中寻找K个最大值对应的索引值存入J中;
    (3)对J中索引值对应原子的相关系数进行正则化,并将正则化的结果存入J_0;
    (4)更新支撑集Ф_Λ,其中Λ=Λ∪J_0;
    (5)利用最小二乘法得到重建信号,同时对余量进行跟新;
    (6)若|Λ| 2K,则停止迭代,否则令r =r_new,n = n+1,转到步骤(2)继续迭代。
    为了说明ROMP算法的重建性能,分两次实验实现算法重构,利用MATLAB R2016a作为平台。实验1假定信号是稀疏的并且稀疏度为10,定常信号256 × 1的列向量中随机选取10个随机数随机排列到定长信号中。观测矩阵为高斯随机矩阵。初始信号和恢复信号之间的误差用二者相减的二范数表示。实验结果如图(4)误差为o(10 )

    实验2假定信号是四个余弦函数式表示
    x=0.3cos(2π50t)+0.6cos(2π100t)+0.1cos(2π200t)+0.9cos(2π400t)
    我们运用快速傅里叶变换对一维信号 x 进行变换,稀疏度为7,测量矩阵为64×256高斯矩阵实验结果如图(5),误差为o(10 )。

    ROMP算法在OMP算法的基础上加入了正则化方法,以实现一次迭代选择多个原子的目的,从而提高重建速度,减少了算法的复杂度。但其代价是需要预估计信号的稀疏度,并且需要较多的采样数据
    3.3分段正交匹配追踪(STOMP)算法
    STOMP 算法采用分阶段的思想首先根据相关原则来筛选原子,利用阈值的方法从原子集合中选择和迭代余量匹配的原子,与OMP 算法不同的是,它并不是每次固定选择一个匹配原子,而是给定标准为大于门限值t_s δ_t的原子。δ_t为规范噪音水平, δ_t=〖||r_t ||〗2/√M。r_t是上一次跟新的余量值[9]。利用此标准可以一次找到多个原子,减少了匹配的次数,提高了追踪的效率; 然后更新支撑集和原子,并用最小二乘法求得近似解,同时完成对余量的更新。
    STOMP算法步骤:
    (1)初始化余量r_0 = Y,迭代次数默认为10,门限参数t_s默认为2.5。计数器t=1;
    (2)计算感知矩阵各列原子与余量的内积,选择大于门限值t_s δ_t的感知矩阵对应的原子列向量存入集合J_0 ;
    (3)跟新支撑集Λ_t = Λ
    (t-1) ∪ J_0,在支撑集上利用最小二乘法求出跟新余量;
    (4)若t值小于迭代次数s,返回(2)继续执行,否则退出循环。
    为了说明STOM算法的重建性能,利用MATLAB R2016a作为平台。假定信号是稀疏的并且稀疏度为10,定常信号256 × 1的列向量中随机选取10个随机数随机排列到定长信号中。观测矩阵为高斯随机矩阵。初始信号和恢复信号之间的误差用二者相减的二范数表示。实验结果如图(6)所示
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    STOMP 算法将 OMP 算法进行了一定程度的简化,提高了计算速度,但是由于其在每次迭代的过程中寻找的都不是信号的最佳表示,致使重构的精度降低,导致在实际中其重构的信号的精度远不如OMP 算法重构的信号的精度。门限参数和默认迭代次数的设置很大程度决定了算法的精度,使得算法的灵活度差。
    3.4稀疏度自适应匹配追踪(SAMP)算法
    以上算法均建立在稀疏度已知的情况下才能有效,但在实际情况中,信号的稀疏度信息往往事先是不可得的,SAMP相比较其他算法最吸引的就是可以不需要知道稀疏度的先验信息 ,这使得SAMP重建算法在实际应用中更加广泛[10]。
    SAMP算法中采用转换阶段(stage) 的方式逐步增加该原子数,将同一个迭代过程分成多个阶段,设置一个可变步长(size)代替所选原子数目,相邻两个阶段所对应的支撑集的大小之差即为当前步长,随着步长的增加和支撑集的不断增大,实现了在未知稀疏度的前提下步长逐步逼近稀疏度K进而实现精确重建出原始信号的目的[11]。SAMP算法引入了回溯的思想,每次迭代都重新评估原子的有效性。
    SAMP算法步骤:
    (1)初始化余量r_0= Y,支撑集F_0为空集,候选集S_0为空集,初始步长为s,步长增量初始倍数j=1;
    (2)选择感知矩阵内的原子和余量内积最大的s个列向量,将对应的原子列向量放入候选集s_k中;
    (3)合并支撑集F_k和候选集s_k得到跟新后的支撑集C_k;
    (4)以C_k的原子为基准,由最小二乘法得到重建信号并选择最大的s个元素所对应的原子,组成新的的支撑集F;
    (5)由初始余量,支撑集F,利用最小二乘法计算更新余量r;
    (6)如果满足迭代停止条件〖||r||〗_2 ≤ε(固定阈值)则退出循环,如果满足〖||r_k ||〗2 〖||r(k-1) ||〗_2则跟新步长倍数j = j + 1,跟新的步长为s = j × s转入步骤二继续迭代,否则更新支撑集,更新余量,转入步骤二继续迭代。
    为了说明SAMP算法的重建性能,利用MATLAB R2016a作为平台,分2次实验验证。第一次实验,假定信号是稀疏的并且稀疏度为10,定常信号256 × 1的列向量中随机选取10个随机数随机排列到定长信号中。固定阈值为0.1,观测矩阵为128×256高斯随机矩阵。初始信号和恢复信号之间的误差用二者相减的二范数表示。实验结果如(7)所示,误差为o(10 )。

    第二次实验,测试对象为256×256lena图像。观测矩阵采用随机高斯矩阵,M和N表示观测矩阵的行数和列数,M/N表示压缩比,实验的压缩比为0.5,阈值为100,验的PSRN值为24.3。实验结果如图(8)
    在这里插入图片描述
    在这里插入图片描述

    SAMP算法通过提供了严格的误差界限(固定阈值)且不需已知信号的稀疏度 K 就可以重构信号,固定阈值的选取同测量矩阵有着很大的联系。初始步长的选取目前任然是一个问题,SAMP算法的初始步长只需要小于稀疏度K,为了避免过度检测,如果不知道稀疏度,选择初始步长为1可以确保足够的精度。但是初始步长越小,算法运行的时间也就越大,这就造成了过度检测与运行时间的矛盾。经验表明,对于指数衰减的信号初始步长选的较小比较好,对于二进制稀疏信号选择步长较大比较好。如果算法能随着算法逐渐接近真实的稀疏度K值而逐渐缩小这样会提高算法的精度。另外,有学者提出了稀疏度自适应子空间追踪算法,该算法能较为精确完成信号重构,不需要设定步长,能够估计稀疏度大小,但是输入参数对算法影响较大。也有学者提出变步长的自适应步长的稀疏度估计的方法[12],根据每次迭代得到的残差值,通过函数Ln=[L_(n-1)log⁡(γ)/log⁡((γ+0.9ε)) /2.1],其中γ=1-|(|r_2 |)|/||y_2 ||,来确定步长的大小,当步长远离稀疏度K时步长较大,当接近K时稀疏度较小。
    3.5基于小波变换的分块压缩感知
    根据压缩感知理论,图像重构时如果图像尺寸太大,为了维持一定的精度,测量矩阵所需要的观测值随之增加,造成了观测矩阵对于有限的存储空间显得十分巨大,而硬件难于满足需求。Lu Gan [13]提出了分块压缩感知12,该方法指出: 可以将原始图像分成一些大小相等的图像块,采用相同的观测矩阵单独对每个图像块进行观测,大大简化了计算复杂度,这种方法能解决大尺度图像实时传输的问题。分块图像的观测矩阵远远小于未分块的图像,降低了对硬件的需求,利用PC端将采集的样本重构恢复,并实现图像融合。
    本实验利用MATLAB R2016a作为平台,对每一个子块采用小波变换,保留每块的低频小波稀疏,对高频小波稀疏进行采样得到测量向量。13重构时利用正交匹配追踪(OMP) 算法对高频系数进行恢复,再进行小波反变换重构图像。
    实验步骤:
    选取大小为256 × 256的二维图像,将图像分为16块大小为64 × 64的图像;
    采用小波变换对图像进行稀疏化表示,利用50 × 64的观测矩阵进行观测得到观测向量;
    采用OMP算法对观测向量进行重构恢复;
    对重构的恢复矩阵进行小波反变换,得到重构图像。
    实验结果如图(9)所示
    在这里插入图片描述
    在这里插入图片描述

    为了比较几种算法的恢复精度,在固定的稀疏度12下对上述算法进行实验,实验信号为定常信号256 × 1的列向量,观测随着观测矩阵行数M的数目变化对一维信号恢复正确率的变化,实验中对每次M的取值实验100次,计算恢复率,信号之间的误差达到10 即视为正确,M的取值为从稀疏度K每次增加十个直到观测矩阵列数256。实验结果如下图所示(10)所示

    图(10)为四种算法随着测量值M取值的不同,恢复值百分数变化
    图中可以看出ROMP算法到达较高的精确度所需要的观测矩阵行数较其余的算法高,压缩量较低。SAMP算法在稀疏度未知的情况下,由较小的测量值得到恢复精确度较高。
    4.总结
    压缩感知利用信号稀疏的特性将原来基于奈奎斯特采样定理的信号采样过程转化为基于优化计算恢复信号的观测过程。有效缓解了高速采样实现的压力,减少了处理、存储和传输的成本,使得用低成本的传感器将模拟信息转化为数字信息成为可能,同时压缩感知使得信号的恢复率理论上比传统压缩算法更加精准。
    研究还存在如下问题:
    (1)对于一个稳定的优化算法,是否存在最优的观测矩阵使得观测值在达到一定的精度范围而观测数目控制在较少的范围。
    (2)如何设计有效的软硬件来应用压缩感知理论解决大量的实际问题,这方面的研究还不成熟。
    (3)含噪信号或采样过程中引入噪声时的信号重构问题也是难点所在。
    5.参考文献
    [1] 石光明, 刘丹华, 高大化等. 压缩感知理论及其研究进展[D]. 2009.
    [2] 李卓凡, 闫敬文. 压缩感知及应用[J]. 微计算机应用, 2010, 31(03): 12–16.
    [3] 李珅, 马彩文, 李艳等. 压缩感知重构算法综述[J]. 红外与激光工程, 2013, 42(S1): 225–232.
    [4] 吴赟, 丛琳. 压缩感知测量矩阵的研究[D]. 西安电子科技大学, 2012.
    [5] DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289–1306.
    [6] NEEDELL D, VERSHYNIN R. Signal Recovery From Incomplete and Inaccurate Measurements Via Regularized Orthogonal Matching Pursuit[J]. Ieee Journal of Selected Topics in Signal Processing, 2010, 4(2): 310–316.
    [7] 杨真真, 杨震, 孙林慧. 信号压缩重构的正交匹配追踪类算法综述[J]. 信号处理, 2013, 29(04): 486–496.
    [8] TROPP J A, GILBERT A C. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit[J]. IEEE Transactions on Information Theory, 2007, 53(12): 4655–4666.
    [9] 汪浩然, 夏克文, 牛文佳. 分段正交匹配追踪(StOMP)算法改进研究[J]. 计算机工程与应用, 2017, 53(16): 55–61.
    [10] DO T T, GAN L, NGUYEN N等. Sparsity adaptive matching pursuit algorithm for practical compressed sensing[C]//2008 42nd Asilomar Conference on Signals, Systems and Computers. 2008: 581–587.
    [11] 杜秀丽, 胡兴, 顾斌斌等. 基于变步长的正则回溯SAMP压缩感知重构算法[J]. 计算机应用研究, 2018, 35(04): 1084–1087.
    [12] FU Y, LIU S, REN C. Adaptive Step-Size Matching Pursuit Algorithm for Practical Sparse Reconstruction[J]. Circuits Systems and Signal Processing, 2017, 36(6): 2275–2291.
    [13] 曹玉强, 柏森, 曹明武. 图像自适应分块的压缩感知采样算法[J]. 中国图象图形学报, 2016, 21(04): 416–424.

    展开全文
  • 感知

    千次阅读 2017-04-13 23:35:58
    感知机(perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1-1二指。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求...

    摘自李航《统计学习方法》

    #概述
    感知机(perceptron)是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。感知机学习算法简单并且容易实现,分为原始形式和对偶形式。
    #感知机模型

    $f(x)=sign(wx+b)$
    sign是符号函数,即 $$sign(x)= \begin{cases} +1,& x\geqslant0\\ -1,& x<0 \end{cases}$$ #感知机学习策略 输入空间$R^n$中任一点$x_0$到超平面S的距离:
    $\frac{1}{||w||}|wx_0+b|$
    这里,$||w||$是$w$的$L_2$的范数。 对于误分类的数据$(x_i,y_i)$来说,
    $-y_i(wx_i+b)>0$
    成立。因为当$wx_i+b>0$时,$y_i=-1$,而当$wx_i+b<0$时,$y_i=+1$。因此,误分类点$x_i$到超平面S的距离是
    $-\frac{1}{||w||}y_i(wx_i+b)$
    这样,假设超平面S的误分类点集合为M,那么所有误分类点到超平面S的总距离为
    $-\frac{1}{||w||}\sum_{x_i\in M} y_i(wx_i+b)$
    不考虑$-\frac{1}{||w||}$,就得到了感知机学习的损失函数:
    $L(w,b)=-\sum_{x_i\in M} y_i(wx_i+b)$
    其中M为误分类点的集合,这个损失函数就是感知机学习的经验风险函数。 显然,损失函数是非负的。没有误分类点,那么损失函数为0。而且误分类点越少,误分类点离超平面越近,损失函数就越小。 #感知机学习算法 ##原始形式 感知机学习算法可以转为求以下损失函数极小化问题的解
    $min_{w,b}L(w,b)=-\sum_{x_i\in M} y_i(wx_i+b)$
    其中,M为误分类点的集合。 感知机学习算法是误分类驱动的。具体采用随机梯度下降法(stochastic gradient descent)。 步骤: (1)选取初值$w_0,b_0$; (2)在训练集中选取数据$(x_i,y_i)$; (3)如果$y_i(wx_i+b)\leqslant0$
    $w\gets w+\eta y_ix_i$
    $b\gets b+\eta y_i$
    (4)转至(2),直至训练集中没有误分类点。 这种学习算法直观上有如下解释:当一个实例点被误分类,即位于分离超平面的错误一侧时,则调整w,b的值,使分离超平面向该误分类点的一侧移动,以减少该误分类点与超平面间的距离,直至超平面越过该误分类点使其被正确分离。 示例: ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAwNTU5Njc3?x-oss-process=image/format,png) ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAwNjExMTE1?x-oss-process=image/format,png) ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAwNjIwOTEy?x-oss-process=image/format,png) ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAwNjI5Njk0?x-oss-process=image/format,png) 感知机学习算法存在许多解,这些解既依赖于初值的选择,也依赖于迭代过程中误分类点的选择顺序。为了得到唯一的超平面,需要对分离超平面增加约束条件,这就是支持向量机的想法。 ##对偶形式 ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAxMjQwNTAy?x-oss-process=image/format,png) ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAxMzE1NDk5?x-oss-process=image/format,png) ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAxMzM3NTE1?x-oss-process=image/format,png) ![这里写图片描述](https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwNDE0MDAxMzU3ODkx?x-oss-process=image/format,png)
    展开全文
  • 感知

    千次阅读 2015-04-29 12:18:28
    感知器是由美国计算机科学家罗森布拉特(F.Roseblatt)于1957年提出的。感知器可谓是最早的人工神经网络。单层感知器是一个具有一层神经元、采用阈值激活函数的前向网络。通过对网络权值的训练,可以使感知器对一组...

    原文在这里

    感知器是由美国计算机科学家罗森布拉特(F.Roseblatt)于1957年提出的。感知器可谓是最早的人工神经网络。单层感知器是一个具有一层神经元、采用阈值激活函数的前向网络。通过对网络权值的训练,可以使感知器对一组输人矢量的响应达到元素为0或1的目标输出,从而实现对输人矢量分类的目的。图4.1给出了单层感知器神经元模型图。

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

                                                               图4.1  感知器神经元模型

    其中,每一个输入分量严pj(j=1,2…,r)通过一个权值分量wj,进行加权求和,并作为阈值函数的输人。偏差b的加入使得网络多了一个可调参数,为使网络输出达到期望的目标矢量提供了方便。感知器特别适合解决简单的模式分类问题。F.Roseblatt已经证明,如果两类模式是线性可分的(指存在一个超平面将它们分开),则算法一定收敛。

    感知器特别适用于简单的模式分类问题,也可用于基于模式分类的学习控制中。

    感知器实际上是在MP模型的基础上加上学习功能,使其权值可以调节的产物。罗森布拉特研究了单层的以及具有一个隐含层的感知器。但在当时他只能证明单层感知器可以将线性可分输入矢量进行正确划分,所以本书中所说的感知器是指单层的感知器。多层网络因为要用到后面将要介绍的反向传播法进行权值修正,所以把它们均归类为反向传播网络之中。


    4.1  感知器的网络结构

    感知器的网络是由单层的s个感知神经元,通过一组权值{ωij}(i=1,2…s;j=l,2…r)与r个输入相连组成。对于具有输入矢量Pr×q和目标矢量Ts×q的感知器网络的简化结构,如图4.2所示。

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

                                                     图4.2 感知器简化结构图

    根据网络结构,可以写出第i个输出神经元(i=1,2,…,s)的加权输入和ni及其输出ai为:

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步                              (4-1)

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步                           (4-2)

    感知器的输出值是通过测试加权输入和值落在阈值函数的左右来进行分类的,即有:

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步                (4-3)

    阈值激活函数如图4.3所示。

    由图4.3可知:当输入ni十bi大于等于0,即有ni≥-bi时,感知器的输出为1,否则输出ai为0。利用偏差bi的使用,使其函数可以左右移动,从而增加了一个自由调整变量和实现网络特性的可能性。

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

                                                                            图4.3 阈值激活函数


    4.2 感知器的图形解释

    由感知器的网络结构,我们可以看出感知器的基本功能是将输入矢量转化成0或1的输出。这一功能可以通过在输人矢量空间里的作图来加以解释。为了简单起见,以下取s=1,即输出为一个节点的网络的情况来进行作图解释。

    由感知器的输从输出的关系式(4.3)可知,感知器的输出只有1或0两个状态,其他值由W*P+b的值大于、等于或小于零来确定。当网络的权值W和b确定后,在由各输入矢量pj(j=1,2…,r)为坐标轴所组成的输入矢量空间里,可以画出W*P+b=0的轨迹,对于任意给定的一组输入矢量P,当通过感知器网络的权值W和b的作用,或落在输入空间W*P+b=0的轨迹上,或落在W*P+b=0轨迹的上部或下部,而整个输入矢量空间是以W*P+b=0为分割界,即不落在W*P+b=0轨迹上的输入矢量,不是属于W*P+b>0,就是使W*P+b<0。因而感知器权值参数的设计目的,就是根据学习法则设计一条W*P+b=0的轨迹,使其对输入矢量能够达到期望位置的划分。

    以输入矢量r=2为例,对于选定的权值w1、w2和b,可以在以p1和p2分别作为横、纵坐标的输入平面内画出W*P+b=w1 p1十w2 p2十b=0的轨迹,它是一条直线,此直线上的及其线以上部分的所有p1、p2值均使w1 p1十w2 p2十b>0,这些点若通过由w1、w2和b构成的感知器则使其输出为1;该直线以下部分的点则使感知器的输出为0。所以当采用感知器对不同的输入矢量进行期望输出为0或1的分类时,其问题可转化为:对于已知输入矢量在输人空间形成的不同点的位置,设计感知器的权值W和b,将由W*P+b=0的直线放置在适当的位置上使输入矢量按期望输出值进行上下分类。(几何图形)

    阈值函数通过将输入矢量的r维空间分成若干区域而使感知器具有将输入矢量分类的能力。输出矢量的0或1,取决于对输入的分类。

    图4.4给出了感知器在输入平面中的图形,从中可以清楚看出:由直线W*P十b=0将由输人矢量p1和p2组成的平面分为两个区域,此线与权重矢量W正交可根据偏差b进行左右平移。直线上部的输人矢量使阈值函数的输入大于0,所以使感知器神经元的输出为1。直线下部的输入矢量使感知器神经元的输出为0。分割线可以按照所选的权值和偏差上下左右移动到期望划分输入平面的地方。

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

                                                   图4.4输入矢量平面图(此图横坐标有问题)

    感知器神经元不带偏差时,得到的是通过原点的分类线。有些可以用带偏差解决的问题,不带偏差的网络则解决不了。

    熟悉图形解释有助于我们理解和掌握感知器的工作原理。当然在实际应用时,权值的求解全都是由计算机来完成的。


    4.3  感知器的学习规则

    学习规则是用来计算新的权值矩阵W及新的偏差B的算法。感知器利用其学习规则来调整网络的权值,以便使该网络对输人矢量的响应达到数值为0或1的目标输出。

    对于输入矢量P,输出矢量A,目标矢量为T的感知器网络,感知器的学习规则是根据以下输出矢量可能出现的几种情况来进行参数调整的。

    1) 如果第i个神经元的输出是正确的,即有:ai=ti,那么与第i个神经元联接的权值wij和偏差值bi保持不变;

    2)如果第i个神经元的输出是0,但期望输出为1,即有ai=0,而ti=1,此时权值修正算法为:新的权值wij为旧的权值wij加上输人矢量pj;类似的,新的偏差bi为旧偏差bi加上它的输入1;

    3)  如果第i个神经元的输出为1,但期望输出为0,即有ai=1,而ti=0,此时权值修正算法为:新的权值wij等于旧的权值wij减去输入矢量pj;类似的,新的偏差bi为旧偏差bi减去1。

    由上面分析可以看出感知器学习规则的实质为:权值的变化量等于正负输入矢量。具体算法总结如下。

    对于所有的i和j,i=l,2,…,s;j=1,2,…,r,感知器修正权值公式为:

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步  (4-4)

    用矢量矩阵来表示为

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步            (4-5)

    此处,E为误差矢量,有E=T-A。

    感知器的学习规则属于梯度下降法,该法则已被证明:如果解存在,则算法在有限次的循环迭代后可以收敛到正确的目标矢量。

    上述用来修正感知器权值的学习算法在MATLAB神经网络工具箱中已编成了子程序,成为一个名为1earnp.m的函数。只要直接调用此函数,即可立即获得权值的修正量。此函数所需要的输人变量为:输入、输出矢量和目标矢量:P、A和T。调用命令为:

    [dW,dB]=learnp(P,A,T);


    4.4  网络的训练

    要使前向神经网络模型实现某种功能,必须对它进行训练,让它逐步学会要做的事情,并把所学到的知识记忆在网络的权值中。人工神经网络权值的确定不是通过计算,而是通过网络的自身训练来完成的。这也是人工神经网络在解决问题的方式上与其他方法的最大不同点。借助于计算机的帮助,几百次甚至上千次的网络权值的训练与调整过程能够在很短的时间内完成。

    感知器的训练过程如下:

    在输入矢量P的作用下,计算网络的实际输出A,并与相应的目标矢量T进行比较,检查A是否等于T,然后用比较后的误差量,根据学习规则进行权值和偏差的调整;重新计算网络在新权值作用下的输入,重复权值调整过程,直到网络的输出A等于目标矢量T或训练次数达到事先设置的最大值时训练结束。

    若网络训练成功,那么训练后的网络在网络权值的作用下,对于被训练的每一组输入矢量都能够产生一组对应的期望输出;若在设置的最大训练次数内,网络未能够完成在给定的输入矢量P的作用下,使A=T的目标,则可以通过改用新的初始权值与偏差,并采用更长训练次数进行训练,或分析一下所要解决的问题是否属于那种由于感知器本身的限制而无法解决的一类。

    感知器设计训练的步骤可总结如下:

    1)对于所要解决的问题,确定输入矢量P,目标矢量T,并由此确定各矢量的维数以及确定网络结构大小的神经元数目:r,s和q;

    2)参数初始化:

    a)赋给权矢量w在(—l,1)的随机非零初始值;

    b)给出最大训练循环次数max_epoch;

    3)网络表达式:根据输人矢量P以及最新权矢量W,计算网络输出矢量A;

    4)检查:检查输出矢量A与目标矢量T是否相同,如果是,或已达最大循环次数训练结束,否则转入5);

    5)学习:根据(4.5)式感知器的学习规则调整权矢量,并返回3)。


    4. 5 感知器神经网络应用的局限性

    由于感知器神经网络在结构和学习规则上的限制,其应用也有一定的局限性。

    首先,感知器的输出只能取0或1。

    其次,单层感知器只能对线性可分的向量集合进行分类。


    4. 6 感知器神经网络设计实例

    下面给出例题来进一步了解感知器解决问题的方式,掌握设计训练感知器的过程。

    [例4.1]考虑一个简单的分类问题。

    设计一个感知器,将二维的四组输入矢量分成两类。

    输入矢量为:P=[-0.5  -0.5   0.3  0;

    -0.5   0.5  -0.5  1];

    目标矢量为:T=[1.0  l.0  0  0],

    解:

    通过前面对感知器图解的分析可知,感知器对输入矢量的分类实质是在输入矢量空间用W*P十b=0的分割界对输人矢量进行切割而达到分类的目的。根据这个原理,对此例中二维四组输人矢量的分类问题,可以用下述不等式组来等价表示出:(下图的表述稍有问题,容易引起歧义,下图中的w3代表的是b,也就是偏置项)

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

    实际上可以用代数求解法来求出上面不等式中的参数w1、w2和w3。经过迭代和约简,可得到解的范围为:

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

    一组可能解为:

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

    而当采用感知器神经网络来对此题进行求解时,意味着采用具有阈值激活函数的神经网络,按照问题的要求设计网络的模型结构,通过训练网络权值W=[w11,w12]和b,并根据学习算法和训练过程进行程序编程,然后运行程序,让网络自行训练其权矢量,直至达到不等式组的要求。

    鉴于输入和输出目标矢量已由问题本身确定,所以所需实现其分类功能的感知器网络结构的输人节点r,以及输出节点数,已被问题所确定而不能任意设置。

    根据题意,网络结构图如图4.5所示。

    第04讲 感知器(Perceptron) - zzz - 追逐春天的脚步

                                                                               图4.5 网络结构图

    由此可见,对于单层网络,网络的输入神经元数r和输出神经元数s分别由输入矢量P和目标矢量T唯一确定。网络的权矩阵的维数为:Ws×r,Bs×1权值总数为s×r个,偏差个数为s个。

    在确定了网络结构并设置了最大循环次数和赋予权值初始值后,设计者可方便地利用MATLAB,根据题意以及感知器的学习、训练过程来编写自己的程序。下面是对[例4.1]所编写的网络权值训练用的MATLAB程序:

    P=[-0.5 -0.5 0.3 0; -0.5 0.5 -0.5 1];     T=[1 1 0 0];

    [R Q]=size(P);       [S Q]=size(T);

    W=rands(S, R);      B=rands(S, 1);

    max_epoch = 20;

    A=hardlim(netsum(W*P, B));

    for epoch=1:max_epoch

      if all (A==T)

         break;

      end

    % 格式: [dw db]=learnp(p1, e1)、 [dw db]=learnp(p1, a1, t1).

      e = T-A;

      [dW, dB] = learnp(P(:,1+mod(epoch-1,Q)), e(1+mod(epoch-1,Q)))

      W = W + dW;

      B = B + dB;

      A = hardlim(netsum(W*P, B));

    end

    clf;

    plotpv(P,T);

    % plot the deviding line/plane: W*P'+b=0

    if (R==2)                       % 二维样本绘图

        x1=[-2:0.1:4];

        x2=-(W(1)*x1+B)/W(2);

        hold on;

        plot(x1,x2,'-b','LineWidth',2);

    end

    以上就是根据前面所阐述的感知器训练的三个步骤:表达式、检查和学习而编写的MATLAB网络设计的程序。
    4.7  感知器的局限性

    由于感知器自身结构的限制,使其应用被限制在一定的范围内。所以在采用感知器解决具体问题时,必须时刻考虑到其特点。一般来说,感知器有以下局限性:

    1)由于感知器的激活函数采用的是阀值函数,输出矢量只能取0或1,所以只能用它来解决简单的分类问题;

    2)感知器仅能够线性地将输入矢量进行分类。如果用一条直线或一个平面把一组输入矢量正确地划分为期望的类别,则称该输入/输出矢量是对线性可分的,否则为线性不可分。那么,利用感知器将永远也达不到期望输出的网络权矩阵。所以用软件设计感知器对权值进行训练时,需要设置一个最大循环次数。如果在达到该最大循环次数后,还没有达到期望的目标,训练则停止,以便不使不可分的矢量占用无限循环的训练时间。不过应当提醒的是,理论上已经证明,只要输人矢量是线性可分的,感知器在有限的时间内总能达到目标矢量;

    3)感知器还有另外一个问题,当输入矢量中有一个数比其他数都大或小得很多时,可能导致较慢的收敛速度。

    感知器在解决实际问题时,必须在输入矢量是线性可分时才有效,这是很难得到的情形。虽然感知器有上述局限性,但它在神经网络研究中有着重要的意义和地位。它提出了自组织自学习的思想。对能够解决的问题有一个收敛的算法,并从数学上给出了严格的证明。对这种算法性质的研究仍是至今存在的多种算法中最清楚的算法之一。因此它不仅引起了众多学者对人工神经网络研究的兴趣,推动了人工神经网络研究的发展,而且后来的许多种网络模型都是在这种指导思想下建立起来并改进推广的。

     

    展开全文
  • 感知感知机是根据输入实例的特征向量...感知机学习算法是基于随机梯度下降法的损失函数的最优化算法,有原始形式对偶形式,算法简单且易于实现。本文对感知机模型及其学习算法进行了分析,并用 python 进行了实习。
  • 2. 视觉感知和认知

    千次阅读 2019-10-07 22:06:58
    1. 视觉感知与认知 感知:指客观事物通过人的感觉器官在人脑中形成的直接反映。 视觉感知:看到的输入信号的本质。 认知:指人们获得知识或应用知识的过程,或信息加工的过程。 记忆在人类认知过程中起着至关重要的...
  • 感知机(Perceptron)多层感知机(Multi-Layer Perceptron) 之前并未做过笔记,所以这篇文章是对以下内容回顾,对应: 第六周:(02)感知机 第六周:(03)多层感知反向传播 维基百科(en)...
  •  感知机是为了求解一个超平面,该超平面能够将特征空间里的实例分解为正例负例。设超平面方程为y=w*x+b,因此,引入基于误分类点的损失函数。如果损失函数为误分类点个数,则该损失函数不是wb的连续可导函数,...
  • Rosenblatt感知

    千次阅读 2018-05-23 17:22:55
    1、引言感知器是用于线性可分模式(模式分别位于超平面所分隔开的两边)分类的最简单的神经网络模型。基本上它由一个具有可调突触权值偏置的神经元组成。用来调整这个神经网络中自由参数的算法最早出现在...
  • 目录 点云感知 启发式方法:NCut 深度学习方法:CNNSeg ...感知是自动驾驶的第一环,是车辆环境交互的纽带。一个自动驾驶系统的整体上表现好坏,很大程度上都取决于感知系统的做的好坏。 讲到感知,首先不得...
  • 压缩感知原理简介

    万次阅读 多人点赞 2019-07-15 21:51:23
    学过通信原理或信号与系统的都知道奈奎斯特采样定理,想让采样之后的数字信号完整保留原始信号中的信息,采样频率必须大于信号中最高频率的2倍。原因是时域以τ为间隔进行采样,频域会以1/τ为周期发...
  • 人的感知和思维

    千次阅读 2017-11-14 18:09:43
    心理学:我知无不言,它妙不可言田媛感觉 人脑对直接作用于感官的客观事物的个别...刺激停止后,感觉并不立刻消失,而是逐渐减弱,感觉有一种残留现象 感觉的敏锐度会因刺激的持续作用的时间延长而降低 因刺激作用
  • 统计学习方法——感知机模型

    千次阅读 2017-03-05 14:28:07
    不过那时候,我们更多的是关注,感知机如何进行训练,包括随机梯度下降法批梯度下降。但是对于其数学原理正确性没有具体的深究,只是对于其表现形式具体运行步骤有了一定的了解。在这一节中,我们将对感知机的...
  • 感知机 什么是神经网络?在回答这个问题之前,我会先解释...感知机由科学家Frank Rosenblatt发明于1950至1960年代,他受到了来自Warren McCulloch Walter Pitts的更早工作的启发。现如今,我们通常使用其它种...
  • 感知器算法

    千次阅读 2017-10-18 15:53:57
    **感知器算法: 线性判别函数 或者说广义的线性判别曲面 进行二分类或者多分类的代码实现 以及使用iris_data 的感知机测试代码 不断地迭代赏罚 为后面的梯度下降方式做铺垫** -github:...
  • CS压缩感知

    千次阅读 2019-08-04 16:36:30
    忽然想不起 压缩感知的原理 采样定理的原理上的差别。 奈奎斯特采样定理:https://www.cnblogs.com/AndyJee/p/5050321.html 定理:为了不失真地恢复模拟信号,离散信号系统的采样频率不小于模拟信号...
  • 初识压缩感知Compressive Sensing

    万次阅读 多人点赞 2012-07-07 11:38:14
    压缩感知是近年来极为热门的研究...本文针对陶哲轩Emmanuel Candes上次到北京的讲座中对压缩感知的讲解进行讲解,让大家能够对这个新兴领域有一个初步概念。 compressive sensing(CS) 又称 compressived se
  • 一看就懂的感知机算法PLA

    万次阅读 多人点赞 2018-05-29 09:37:59
    PLA全称是Perceptron Linear Algorithm,线性感知机算法,属于一种最简单的感知机(Perceptron)模型。 感知机模型是机器学习二分类问题中的一个非常简单的模型。它的基本结构如下图所示: 其...
  • 态势感知

    千次阅读 2018-01-18 17:14:12
    想要了解态势感知具体是研究哪些内容,首先要做的当然是要去百度一下,百度百科上只给了一句话——“在大规模系统环境中,对...”下面,我就通过我的搜索总结,简单梳理一下到底什么是态势感知(网络安全方向)。
  • 1工业感知和网络控制 随着物联网技术的发展,工业感知技术也不断进行进步,物联网包含感知层、网络层、应用层,所谓工业感知和网络控制,就是在工业生产过程中通过各种传感器对各个工业环节进行监测,获取数据...
  • 感知机(Perceptron)

    千次阅读 2019-09-15 11:11:06
    基础不牢,地动山摇。 感知机(Perceptron),也叫感知器,它是二分类的线性模型,在模式识别算法的历史上占有重要的地位。感知机的输入为样本的特征向量...所以,训练感知机的目标可以概括为:寻找合适的权值偏...
  • 感知激活函数

    千次阅读 2018-08-20 22:41:13
    Markdown扩展Markdown简洁的语法 代码块高亮- 图片链接图片上传 LaTex数学公式 UML序列图流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ct...
  • 采样、过采样压缩感知

    千次阅读 2016-06-14 11:23:08
    但是该定理在使用时存在一个问题——奈奎斯特定理的前提是截止上限频率为 f ,如果在 f 之上还有频率成分存在,则这一高频成分会干扰到对低频信号的采样结果——频率混叠效应。  打个比方:在录音过程中,...
  • 感知机原理小结

    千次阅读 2018-08-18 00:43:05
    感知机由Rosenblatt于1957年提出,是神经网络支持向量机的基础。这里先简单介绍一下什么是感知机。本篇博客为《统计学方法》第二章和博客《感知机原理小结》的总结。 感知机模型  感知机是二分类的线性分类...
  • YARN的机架感知功能

    千次阅读 2019-02-24 19:11:47
    最近几天做Hadoop机架感知功能时,在网上可以找到很多关于HDFS机架感知的资料,但是对于YARN机架感知的介绍却很少。这篇文章最主要就是说明机架感知功能对于YARN来说起到的作用,若有理解的偏差请指正。谢谢。 注:...
  • 人的感知:通过人体器官组织进行人与外部世界的信息的交流传递,人机交互主要通过人的感知来完成,主要包括视觉感知(80%)、听觉感知和触觉感知。 1.视觉(第二版 P10) (1)视觉是人类最重要的感觉通道,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 152,484
精华内容 60,993
关键字:

存在即感知和被感知