精华内容
下载资源
问答
  • 做Kinect开发的人士肯定少不了用到动态手势,对于动态手势识别,我想大家基本都会研究过判定的算法。今天我在这里向大家介绍一个我自己发明的,而且还挺不错的算法,叫倒序识别法,这个算法可以说能把一部分的动态...

            做Kinect开发的人士肯定少不了用到动态手势,对于动态手势的识别,我想大家基本都会研究过判定的算法。今天我在这里向大家介绍一个我自己发明的,而且还挺不错的算法,叫倒序识别法,这个算法可以说能把一部分的动态手势甚至动态姿势识别的精确度提高百分百。


           拿一个非常简单的例子来作介绍,就是挥手翻动PPT的动作检测。我把我前后两次的算法介绍给大家:


           最开始的检测方法叫做“抽样检测”,就是检测t与t+Δt两个时刻的位置是不是符合挥手的特征。这种方法之所以叫做抽样检测,是因为每次检测t与t+Δt与下次检测t+T与t+Δt+T之间的时间检测可以看成两次抽样,1/T就是抽样频率。


           第一种方法的没有被延续使用,一是因为不好写,二是要必须检测两个点的信息,效率比第二种很低。当然一开始我把抽样周期定成了Δt,导致整个手势的识别非常不精准,因为采样率过低。


           第二种方法就是今天要讲的倒序识别法,算法的具体流程如下:

                 1. 维护一个长度为两秒(根据具体手势的时间而定)的List,在Unity3D下如果要调用List需要using System.Collection.Generic。


                 2. 如果List长度不够两秒,继续添加。


                 3. 够两秒的长度之后,每次检测最新加入的数据是不是手势最后状态,比如说双手上抬,最后状态就是两只手在头上方。如果是最后状态,转到4.


                4. 向前检测,根据帧率以及手势的发动时间(施法时间= =||)确定检测范围,比如说0.5s 到1s之前的范围,可以对应出数组的角标范围。如果是符合动作的逻辑,就返回true即可,然后清空List,防止返回多次true值。


           倒序检测的优势:1. 在List的帮助下代码清晰简单。2.效率高,每次检测是不是手势的最后状态,相当于一次剪枝。3. 可以调整“回溯”的时间范围,比较方便调参。

    展开全文
  • 动态手势识别主要分为两类:手势轨迹跟踪和手部动作识别。前者采用手部的运动轨迹表达信息,如摇手的拜拜动作;后者采用手部的动作表达信息,如大拇指和食指做出旋转按钮的动作。当然,两者组合可以完成更加复杂的...

    因近期转战其他研究,不再更新有关研究。更多相关资料请搜索其他资源。
    在计算机视觉中,目标检测与识别是图像动态识别算法中重要的组成部分,在人机交互应用中起到重要作用。动态手势识别主要分为两类:手势轨迹跟踪手部动作识别。前者采用手部的运动轨迹表达信息,如摇手的拜拜动作;后者采用手部的动作表达信息,如大拇指和食指做出旋转按钮的动作。当然,两者组合可以完成更加复杂的信息表达。
    基于视觉的手势识别一般可分为手势分割、手势分析和手势识别三个阶段。
    手势分析阶段主要包括计算手的运动参数、提取手的形状(即手势)等特征参数和建立手势模型等三步。通过手的运动参数和手势参数,可以表达信息。如摇手的拜拜动作,其特征是在水平方向左右摇摆且运动速度比较匀速,手势呈五指平展的状态。再如,向右拨开的动作,其特征是在水平方向从左向右运动,速度较快,且是一次性完成,手势可呈多种状态。
    由此可见,手势轨迹跟踪以轨迹信息为主、手势信息为辅,共同完成信息表达;而与之不同的是,手部动作识别只通过手的部分肢体动作完成信息表达,以手部动作为主、运动轨迹为辅甚至要极力避免轨迹信息。在手势分割阶段,主要完成从手势图像序列中检测人手区域并从背景中分离出来。然而,由于手部动作识别是由手部的局部完成的,剔除背景等处理对手部动作识别来说作用不大,有时甚至需要动作部位的深度参数辅助识别。
    因此,对于动态手势的研究可以从两方面入手:第一,研究手势轨迹跟踪算法,完成几种典型的手势动作识别,如拜拜、向某一方向拨开等;第二,研究手部动作识别算法,完成几种典型的手部动作识别,如左旋、摇手指等动作。

    如有疑问,可留言反馈或通过邮件交流(hardenqiu@foxmail.com)。

    展开全文
  • 提出基于动态模板匹配算法的3D手势识别系统,通过智能穿戴设备收集用户的特定手势来判断手势的含义,从而利用更自然的人机交互技术实现对智能设备的控制。使用智能设备的运动传感器读取相应的3D手势数据,结合优化的...
  • 针对目前基于加速度传感器的手势识别算法的动态实时性与识别率的相互矛盾性,提出一种区间分布概率矩阵模型及动态手势识别方法。将手势动作的三维加速度信号进行动作数据自动检测、归一化和三次样条插值预处理,再...
  • 针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低、实时性差等问题进行了研究,提出一种动态手势识别方法。该方法首先利用K-均值聚类算法和YCr′Cb′(由YCrCb变换得到)椭圆...
  • 针对加速度传感器的手势采集方式提出一种基于自学习稀疏表示的动态手势识别方法。该方法将分类识别问题转化为求解待识别样本对于训练样本的稀疏表示问题,直接对原始加速度信号进行操作,省去了特征提取过程,可方便...
  • 为了提高实际复杂场景的人机交互中动态手势识别的准确性和实时性,提出了一种时序局部敏感直方图(Temporal Locality Sensitive Histograms of Oriented Gradients,TLSHOG)特征新方法,用于描述手势运动的时序变化...
  • 为了提高肌电信号手势识别算法的准确度,增强实时性,提出了一种基于动态时间规整(DTW)算法的手势识别方法,该方法利用肌电信号(EMG)对个体间的手势进行识别。首先,采用滑动平均能量的方法对原始的EMG信号进行...
  • 我们提出了一种高效的算法,来利用多模态的知识训练动态手势识别任务的单模态三维卷积神经网络。和当前许多优秀算法不同的是,我们并不显式地进行多模态信息融合。而是提供了另一种不同框架,其中我们嵌入多模态的...

    1. 摘要翻译

    我们提出了一种高效的算法,来利用多模态的知识训练动态手势识别任务的单模态三维卷积神经网络。和当前许多优秀算法不同的是,我们并不显式地进行多模态信息融合。而是提供了另一种不同框架,其中我们嵌入多模态的知识到单个网络中。由此,每一个单模态网络都可以获得更好的运行效果。特别的,我们为每个可用的模态提供单独的网络结构,并强制他们协作,以发展拥有公共语义和更好表示方法的网络。我们将要介绍一种“时空一致性”损失函数来一致化不同网络中特征的内容。另外,我们将会用我们提出的“焦点正则化参数”来正则化我们的损失函数,以此避免负信息的传递。实验结果表明,我们的框架提高了单模态的识别速度和准确率,并且在许多动态手势识别数据集上取得了相当好的结果。
    Qustion1:
    这里的单模态,多模态是否指的是数学上的“单峰性”,“多峰性”?何为多模态的知识?
    Answer1:
    用多种设备同时检测一个手势,如RGB相机,深度传感器,光线追踪设备,所获得的同一个动作的不同信息,成为多模态信息。
    相反的,如果只根据其中一种进行模式识别,那么就是单模态信息。

    2. 文章研究的现状

    目前动态手势识别都是通过多模态训练,多模态识别;或者单模态训练,单模态识别。前者设备昂贵,训练测试的经济花费高。后者识别率低下。当前已经有一些文章尝试通过显式的特征融合多模态特征,放到单模态下测试。

    3. 这篇文章解决了什么问题

    本文使用了一种新方法实现多模态训练,单模态测试的思路。提高了识别的速度和准确率。

    4. 创新点

    1. 提出了一种新的框架结构来实现多模态训练,单模态测试的动态手势识别思路。
    2. 介绍了“时空语义一致性”损失函数来共享单模态网络的训练结果
    3. 使用了“焦点正则化参数”来避免信息的负传递

    5. 相比其他方法的优势

    6. 算法框架与网络结构

    在这篇文章中,每一个模态都有一个训练好的3D-CNN。在训练过程中,由于每个网络都经过基本的训练,我们的目标是通过交换不同模态的知识信息提高学习过程。这个学习过程类似于标签分类之外的一个额外的监督。
    我们通过对齐输入图片提供的深度表示的语义来共享网络的知识,我们通过选定一个深入的网络层,强制它们在这个层次交换公共相关信息来实现之前的对齐操作。这是通过最小化训练阶段相关矩阵的距离来实现的。
    另外,我们通过一个自适应函数来正则化损失函数,以保证损失函数只将高识别度区域的知识传送给低识别度的区域

    6.1 时空语义一致性

    在这里插入图片描述

    6.2 焦点正则化参数(避免负信息传递)

    在这里插入图片描述

    6.3 模态网络全貌

    综合前面的知识,M个模态中的第m个定义如下:
    在这里插入图片描述
    其中λ是一个正的正则化参数,对于不同n,ρm,n是不同的。而n=m的情况下,后面的损失函数差为0,因为ρm,n为0
    在这里插入图片描述
    如图展示了不同网络之间相互影响的基本过程
    经过相互影响的网络,使得任意一种模态的输入都可以获得不错的结果。但值得一提的是,作者提出的模型也支持决策阶段的特征融合(个人理解,综合各个模态的输出给出最终输出)。作者表明,他在单模态和多模态融合的测试中都取得了良好的结果。

    7. 实验采用的指标

    7.1 数据集

    VIVA hand gestures dataset
    EgoGesture dataset
    NVGestures dataset

    7.2 比较对象

    I3D
    C3D
    在不同模态数目下的比较

    7.3 评价指标

    识别准确率

    8. 缺点

    没有提供识别速度的数据

    展开全文
  • 当代手势识别技术的潮流算法

    千次阅读 2014-11-15 01:10:20
    当代手势识别技术的潮流算法: 获取的图像:近红外成像,双目立体视觉,普通图像;   1、手势分割:   静态方面有:肤色模型(色彩的聚类特征)、边缘轮廓提取法(canny边缘检测法)、质心手指等;  动态...

    当代手势识别技术的潮流算法:

    获取图像信息的主要方式为:近红外成像,双目立体视觉,普通图像;

            

    1、手势分割:  

      静态方面有:肤色模型(色彩的聚类特征)、边缘轮廓提取法(canny边缘检测法)、质心手指等;

      动态方面有:运动跟踪(差值图像分割,camshaft,卡尔曼跟踪预测,背景剪除法等)。   

      还有适用于动静态的熵分析法等(从背景复杂的视频流中分割出手势区域并进行手势识别)。

      目前最常用的手势分割法为:基于单目视觉的手势分割,基于立体视觉的手势分割:

      1、基于单目视觉的手势分割:

          (1)利用肤色信息在YuVHsVYcbcr等颜色空间下建模对手势进行分割;

          (2)建立手势形状数据库的;(密西根州立大学计算机系cui Yuntao建立了这种数

    据库)

      2、基于立体视觉的手势分割:

          (1)立体匹配和三维重构 

    2、手势建模:

      静态:图像属性(轮廓,图像矩,特征,直方图)

      动态:运动序列(计算运动光流,抽取运动轨迹)

      动静态:(链码方法:检测手势区域的轮廓)

     

    3、特征匹配:

      静态:【基于Hausdorff距离】模板匹配法(Template Matching) ,神经网络法(Artificial Neural NetworksANNs),Eucldiean距离变换(EDT),

      动态:隐马尔科夫模型(Hdden Markov Model, HMM)),动态时间规划法(Dynamic Time WarpingDTW

    4、其他:

    特征降维&模式聚合:

      用  模糊自适应共振理论(Fuzzy ART) 与 ChiMerge算法 分别进行特征降维,用 CLA(Classifiers Local Accuracy)技术 对两种算法进行融合;

     

      印度研究者Meenakshi Panwar在视觉手势识别的基础上提出了一种基于结构特征的手势识别算法,通过背景去除方向检测拇指检测手指数量检测,来最终识别手势。

     

      Chendong Yu等人H1采用基于视觉的组合特征进行手势识别,将手的面积、周长、重心、面积比和长宽比等特征结合,使得识别率得以提高。

     

    上海大学DING YoudongPANG Haibo等人运用改进的LBP算法,利用AdaBoost分类器进行手势识别,建立了多种手势数据集,其中包括一些大角度变化的手势图像。

     

     

     

     

     

     

     

    展开全文
  • 手势识别

    千次阅读 2018-05-25 14:19:37
    1. 几个基于opencv开发的手势识别代码http://download.csdn.net/detail/kobe_lbj/98409502. 动态手势识别http://download.csdn.net/detail/qq_27381945/98288633. 手势指尖检测算法C++实现...
  • 基于动态手势的智能终端身份识别方法,杨倩晴,张冬梅,为了增强智能手机的安全性,实现伪用户的自动识别。本文依据用户使用智能终端时的动态手势识别用户的身份。首先,本文算法采取
  • 【OpenCV】手势识别

    千次阅读 2018-08-31 14:20:25
    手势动态识别(基于opencv的简单实现) ...基于OpenCV的实时手势识别算法研究_许艳旭 http://wenku.baidu.com/view/c7a2c97e998fcc22bdd10d11.html     基于OpenCV动态手势识别的实现 http://wenku....
  • 针对现有的手势识别算法识别率低、鲁棒性弱的问题,提出一种基于Kinect骨架信息的交通警察手势识别方法。从Kinect深度图像中预测人体骨架节点的坐标位置,将节点的运动轨迹作为训练和测试的特征,结合距离加权动态...
  • 静态手势识别总体方案

    千次阅读 2019-08-22 14:39:18
    实现步骤1)总体思路2)每部分效果基于高斯肤色模型和动态阈值的手势分割基于Canny算法的轮廓提取基于Hu矩的量化基于傅里叶描述子的量化分类融合特征分类其他尝试 0.说明 静态手势识别是2019年四五月份做的一次设计...
  • 结构前级负责实时采集图像数据及手势图像预处理,后级结合以帧差法为核心的手势识别算法负责动作识别处理,从而节省单DSP需要的等待时间,手势图像处理任务同步进行,加快动态图像处理的速度。另外,双DSP结构使得...
  • 代替使用基于能量计算的移动平均算法,我们开发了一种基于Hilbert变换的算法来找到动态阈值并识别动作段。 从每个活动部分提取了四个特征,生成了用于分类的特征向量。 在分类过程中,我们基于相对较少的样本对K...
  • 本文采用的手势识别算法的两个主要部分:基于全卷积神经网络(Fully convolutional network,FCN) 的手部分割算法和基于卷积神经网络的手势识别算法。该算法可识别10种手势。FCN实现了手部的 像素级精确分割,使得...
  • 动态时间规整算法DTW

    2019-05-29 14:56:07
    主要应用于语音识别、手势识别、步态识别等领域。 在语言识别领域,同一个词,由于不同个体发音习惯及语速的差异,采集得到的语音信号也呈现出相当大的随机性。比如有的人会把“A”这个音拖得很长,或者把“i...
  • 利用时空上下文跟踪算法动态手势进行跟踪,同时为了避免跟踪过程中出现的漂移、目标丢失等情况,使用手势检测算法对手势位置信息进行实时校准;根据手势运动轨迹对手势运动进行跟踪与识别。实验表明,提出的方法...
  • 应用也比较广,主要是在模板匹配中,比如说用在孤立词语音识别(识别两段语音是否表示同一个单词),手势识别,数据挖掘和信息检索等中。   一、概述  在大部分的学科中,时间序列是数据的一种常见表示...
  • DTW(动态时间规整算法)

    千次阅读 2017-01-15 15:25:02
    Dynamic Time Warping(DTW)诞生有一定的历史了(日本学者Itakura提出),它出现的目的也比较...应用也比较广,主要是在模板匹配中,比如说用在孤立词语音识别识别两段语音是否表示同一个单词),手势
  • 动态时间规整—DTW算法

    万次阅读 多人点赞 2018-08-15 19:23:08
    应用也比较广,主要是在模板匹配中,比如说用在孤立词语音识别(识别两段语音是否表示同一个单词),手势识别,数据挖掘和信息检索等中。 孤立词识别操作步骤 基本原理: 问题描述 在大部分的学科中,时间...
  • 应用也比较广,主要是在模板匹配中,比如说用在孤立词语音识别(识别两段语音是否表示同一个单词),手势识别,数据挖掘和信息检索等中。 孤立词识别操作步骤 基本原理: 问题描述 在大部分的学科中,时间序列是...
  • 应用:语音识别(两段语音是否表示同一句话)、手势识别、数据挖掘和信息检索; 例如:下图两段语音计算相似度,找到对比点后才好计算相似度(是同一句话,不同语调语速说出来的); 参考: ...
  • 应用也比较广,主要是在模板匹配中,比如说用在孤立词语音识别(识别两段语音是否表示同一个单词),手势识别,数据挖掘和信息检索等中。 孤立词识别操作步骤 基本原理: 问题描述 在大部分的学科中,时间序列是...
  • 应用也比较广,主要是在模板匹配中,比如说用在孤立词语音识别(识别两段语音是否表示同一个单词),手势识别,数据挖掘和信息检索等中。   一、概述  在大部分的学科中,时间序列是数据的一种常见表示...
  • 利用优化后的动态时间规整算法验证上述 5 种手势识别的准确性。(3) 基于 PID 原理以及无线机器人软件开发工具包,依据手势识别的结果,解码器输出对应 的变量,从而控制无线机器人电机的运转。(4)利用 kinect 识别出...
  • 为了保证智能手机敏感信息...进一步设计基于欧式距离的动态时间规整算法对截取后的手势序列信号进行匹配认证,当他人模仿手势错误接受率趋近0%时,本人认证手势错误拒绝率维持在7%左右,从而实现智能手机用户身份识别

空空如也

空空如也

1 2 3
收藏数 43
精华内容 17
关键字:

动态手势识别算法