精华内容
下载资源
问答
  • 复杂动态手势识别是利用视频手势进行人机交互的关键问题.提出一种HMM-FNN模型结构.它整合了隐马尔可夫模型对时序数据的建模能力与模糊神经网络的模糊规则构建与推理能力,并将其应用到复杂动态手势的识别中.复杂动态...
  • 相较于静态手势,动态手势的变化更为复杂,对其特征的充分提取与描述是准确识别动态手势的关键。为了解决对动态手势特征描述不充分的问题,利用高精度的Leap Motion传感器对手部三维坐标信息进行采集,提出了一种...
  • 动态手势识别

    2017-04-28 21:09:16
    关于动态手势的文献
  • 针对当前手势识别方法在一些动作类似的手势识别中表现欠佳的问题,提出了一种多特征动态手势识别方法.该方法首先使用体感控制器Leap Motion追踪动态手势获取数据,然后在特征提取过程中增加对位移向量角度和拐点判定...
  • 动态手势识别技术研究与实现
  • 基于深度学习的单目摄像头动态手势识别与交互.pdf
  • 针对现有的动态手势识别方法在复杂环境下,易受无关肤色、光照变化等因素的影响,识别率低、实时性差等问题进行了研究,提出一种动态手势识别方法。该方法首先利用K-均值聚类算法和YCr′Cb′(由YCrCb变换得到)椭圆...
  • 基于HMM的动态手势识别
  • 动态手势识别部分,在特征提取阶段,将手心坐标作为手势的位置,并将 手心在空间中运动形成的一系列二维坐标点作为手势的轨迹,再把相邻的坐标点 间的方向角量化后得到的方向向量作为动态手势的特征向量。其中,...
  • 针对现有的单目视觉下动态手势识别率低、识别手势种类少等问题提出一种联合卷积神经网络和支持向量机分类(CNN-Softmax-SVM)的动态手势识别算法.首先采用一种基于YCbCr颜色空间和HSV颜色空间的快速指尖检测跟踪,能...
  • 手势动态识别

    2019-03-18 15:13:32
    手势动态识别,通过调用摄像头对手势进行简单的识别
  • 动态手势识别安排

    2021-01-20 11:08:54
    1、手势识别概述(点开链接) 2、技术要点:图像识别,深度学习/机器学习,特征提取 3、手势识别几种方案 目前,我们不需要摄像头收集这一步,只需要对动态手势进行肤色检测和轮廓处理进行预处理 ...

    1、手势识别概述(点开链接)

    2、技术要点:图像识别,深度学习/机器学习,特征提取

    3、手势识别几种方案

    目前,我们不需要摄像头收集这一步,只需要对动态手势进行  肤色检测 和 轮廓处理进行预处理

                           

     

    一些资源

    1. pytorch视频
    2. pytorch教程
    3. opencv视频
    4. 机器学习教程

     

     

    展开全文
  • 动态手势特征提取和识别方面,利用运动学模式解决动态手势识别问题,在光流场基础上计算出散度模式,旋度模式,对称模式,反对称模式,梯度张量第二、第三主不变模式,应变张量第二、第三主不变模式以及自旋转张量...
  • 一种信道状态信息下的复杂动态手势识别方法.pdf
  • 针对目前基于加速度传感器的手势识别算法的动态实时性与识别率的相互矛盾性,提出一种区间分布概率矩阵模型及动态手势识别方法。将手势动作的三维加速度信号进行动作数据自动检测、归一化和三次样条插值预处理,再...
  • 基于3D轨迹识别相似手势的实时动态手势识别
  • 针对加速度传感器的手势采集方式提出一种基于自学习稀疏表示的动态手势识别方法。该方法将分类识别问题转化为求解待识别样本对于训练样本的稀疏表示问题,直接对原始加速度信号进行操作,省去了特征提取过程,可方便...
  • Gesture_Recognition_Soli_Radar_Data 论文实施:与Soli交互:探索射频频谱中的细粒度动态手势识别 GitHub链接: : 请仔细阅读存储库中提供的论文以获取详细说明。 数据来源: :
  • 动态手势识别实战

    万次阅读 多人点赞 2017-10-25 15:21:16
    Author:Wonderseen | Xiamen University | 2018.04.27 如需转载本文,请先联系作者本人,谢谢。 因为工程维护需要时间,代码陆续在上...大三上的课余时间基本都花在手势识别的项目上,其中最困难的部分是选择手势...

    Github:Wonderseen_Gesture_Net
    Author:Wonderseen | Xiamen University | 2018.04.27

    如需转载本文,请先联系作者本人,谢谢。

    因为工程维护需要时间,代码陆续在上传。具体请跟进上面的链接,如果觉得项目对您有帮助,请您给予一点鼓励,送个star。

    • 大三上的课余时间基本都花在手势识别的项目上,其中最困难的部分是选择手势识别问题的解决方案。最近看到有些朋友也在做手势识别的项目,所以整理一下自己的方案,以作参考。
    • 设备选项:

      RGB传感器(单相机single-view或者多相机multi-view)、深度传感器(相机方面根据精度选择设备,一般的双目精度【较少毫米级】不如TOF或者结构光精度高)以及前两者结合的传感器(截至去年为止,某宝能搜到的提供完整sdk的成品有SR系列、Kinect、图漾等)

    • 传统方案:在深度学习大行其道之前,出现过许多识别手势的方法。
      1. 阈值分割在匹配手部mask,再根据手指尖的关系对指尖伸展情况,进行指端伸展情况判断(数手指头之类的),进而判断设定的若干个手势
        比如内切圆记录为掌心,凸集形成的多边形顶点数记录为指尖等,这里可以衍生的形态学方法比较多,翻墙也可以找到会议论文可以参考。
        原理比较简单,包装了粗糙的界面,看起来装逼一点哈哈
      2. 利用提取到的手部灰度图(这里觉得有困难的可以尝试用标记来识别手部,比如蓝手套等)和提前设定好的手部模板进行匹配
        方案2:涉及的是图像相似度的计算,比如基于图像灰度图的NCC方法或者基于形状的匹配方法等。
        这类方法主要用在工业视觉项目,其表现为其检测范围内的背景相对简单,同时光照被人为提前设定;不过,在复杂环境下或者被测物体多自由度的情况下,方案2的表现比较差。这个方案我没有怎么尝试,目前尚不清楚优化效果。
        这里写图片描述
      3. 制作好手势图数据集,用adaboost算法选出Haar或者Hog特征,获得手部特征描述子,并用来检测和识别手势。
        方案3:用Opencv比较容易实现,库和示例比较完整。
        (1) 首先,训练手部的检测器,用来获得手部局部图;
        (2)接着,利用多种手势检测器对局部图进行检测分类。
        这个方案实施过程中,要注意用于训练的正负样本的选择,以及训练参数的设定,留好裕度。用Opencv自带的adaboost进行迭代前要了解到,Hard 的正样本是会被丢弃的,并会从未训练的样本中,抽取新的样本,用以补充训练队列。
        转载自知乎作者【白裳丶】adaboost+haar工程实现过程及细节
        这里写图片描述
    • 必须提一句:上述的3种方案,适用于特定环境的试验中,但是对光照比较敏感,难以适应各种光照,不过好在实现起来会比较轻松,如果是作为视觉入门项目,建议初学者走走这三个方案的弯路,对巩固基础知识比较有帮助。
    • 同时方案1和方案2较为死板,因为这两种方案限定了手部与相机的相对关系,比如限定了”手部必须正对相机”这样隐性的要求。

    深度学习大背景下,提出方案4。


    深度学习应用背景:
    手势估计任务可以归结为关键点估计的一类问题。这两年关键点估计在学术上是解决得比较通透的问题,该方向目前亟待解决的新问题,主要出现在以下两种情况中:
    (1)在待检测目标存在大面积被遮挡的情况下
    (2)在同一视野中,目标对象的尺寸短时间内发生快速变化时
    如何对关键点或者图像语义进行准确的实例估计,即instance segmentation。就普通爱好者而言,做手势识别任务,先从基础情况入手。这里假设任务环境:在图像采集过程中,被捕捉的手部图像是稳定的、并且不被其他物体所遮挡


    我所用的方案 :
    整个流程包括【手部分割】(Handmask Semantic Segmentation)、【手势关键点估计】(HandUV Estimation)、【手势分类】(Gesture Classification)。

    1. 手部分割:为了缩小检测范围,减少图像噪声的影响,这个做法和mtcnn的two-stream做法类似。为了实现这个目的,你也可以不使用FCN;实现的途径是多样的,比如你如果愿意换而采用RPN(Region Proposal Net)实现,那么mask rcnn、ssd、yolo v3等均可以进行一番尝试。
      原创作者:雷鸣–基于深度学习的目标检测算法综述

    2. 关键点估计:对手部的21dofs 或者 26dofs (或者更多)的2d坐标进行估计。2d估计的方案就比较多了,基于像素预测的cpm、hg或者基于边框回归的mask-rcnn及其变种。因为vgg网络太沉,所以我没有完全采用它的结构。出于减少网络复杂度的考虑,我综合GoogleNet的特征提取结构和u-net的优点,写了比较浅层的网络,在这个关键点估计任务中,优化后表现还不错,关键点和ground truth的平均距离差在1.4个像素。对于有更多精力的朋友,建议您不要止步于此,继续延伸,利用KL散度等信息从2d往3d进行深度的回归估计。

    3. 手势分类:单类定长输入的分类问题,想必大家一定不陌生。这里我的trick是:为关键点设置高斯监督,并结合Part cropped at Proposal Region作优化。
      我的小demo测试视频,用五个简单手势,控制单点的运动

    精益求精的同学可以给相机去畸变

    测试图

    测试结果图

    展开全文
  • 自己做的实时动态手势识别系统,可识别0-9十个阿拉伯数字手势。Realease版,识别率我自己用70%,不熟悉的人可能低一些,环境最好选择室内,不可太暗。有兴趣的可以玩玩。
  • 包括动态和静态的手势识别源代码,源头MATLAB运行测试
  • 手势识别源代码 + 说明文档。 基于FPGA的手势识别代码,含有三种模式,可识别静态手势、识别动态手势、及跟踪手势轨迹,绝对原创,说明文档请见我的博客 手势识别 图像处理 源代码 FPGA verilog
  • 提出了基于Kinect传感器深度信息的动态手势识别方法,在预处理阶段通过OpenCV快速跟踪手部,有效分割手势.为改进动态手势轨迹的提取和分类,引入隐马尔可夫模型(HMM)对手势轨迹进行训练和识别.实验结果表明,基于...
  • 研究利用三类传感器(表面肌电仪、陀螺仪和加速度计)信号的特点进行信息融合,提高可识别动态手势动作的种类和准确率...实验表明该方法是一种有效的动态手势识别方法,并且相较于传统的动态手势识别的方法更具有优势。
  • 提出一种基于Laguerre正交基前向神经网络的动态手势识别方法。首先根据多项式逼近和矩阵理论,构造了一种以Laguerre正交多项式作为隐含层神经元激励函数的多输入、多输出三层前向神经网络模型,在网络权值迭代计算...
  • 手势识别系统框架模型、手势分割、手势建模与分析和手势识别等几个方向,系统地综述当前计算机视觉动态手势识别技术的研究现状,分析其存在的不足,提出了进一步研究的问题。结果表明:基于简易可穿戴设备的手势...
  • 为了提高实际复杂场景的人机交互中动态手势识别的准确性和实时性,提出了一种时序局部敏感直方图(Temporal Locality Sensitive Histograms of Oriented Gradients,TLSHOG)特征新方法,用于描述手势运动的时序变化...
  • CNN手势识别

    2017-11-11 16:04:38
    手势识别源码,用的算法是CNN,实施识别,运行系统包括windows和ubuntu
  • Gesture detection utilizes four directional photodiodes to sense reflected IR energy (sourced by the integrated LED) to convert physical motion information (i.e. velocity, direction and distance) to...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,386
精华内容 14,954
关键字:

动态手势识别