精华内容
下载资源
问答
  • 全面解析深度摄像头(TOF Camera)的原理
    2020-12-20 13:45:05

    深度摄像头是什么

    ?

    深度检测只是计算机视觉中一个基本而又核心的任务,

    要准确地检测目标,

    可能还需要做

    很多图像分割,识别,跟踪方面的工作。

    人类双眼的基本原理就是

    stereo vision

    的主要依据,依靠视差

    (disparity)

    来估计深度。

    本身没有深度检测功能的摄像头,

    可以使用立体视觉的原理

    (stereo

    MVS)

    来估计深度,

    有深度检测的摄像头,比如说

    Kinect

    ,也常常是利用视差原理来求取深度的,投射一个

    pattern

    ,然后比较。

    当然最开始求取深度的,还有广泛使用的激光雷达

    (RangeFinder)

    ,只是成本很高,军用,

    工业用比较多。

    深度摄像头面临的问题

    可以肯定的是深度摄像头获取的深度信息有非常广泛的应用,

    但目前仍存在一些问题,

    觉得最为核心的两个方面:一是测量范围

    ;

    二是应用环境。

    目前深度相机的测量范围也就几米,对应用环境的要求也比较苛刻

    (

    主要受环境光影响严

    )

    。所以,目前的深度相机应用在监控上还有非常遥远的路要走。

    计算机视觉的范围就太广了,

    除了通过相机获取信息之外,

    更重要更复杂的是对获取的信

    息进行理解:

    包含三维信息提取、物体识别、分类、运动跟踪等等。双目视觉是目前深度测量的一种方

    法,这种方法同样面临很多问题,比如要求场景有明显的特征,算法复杂等等。

    总之,现在离深度摄像头被广泛应用还有很长的路要走。

    未来深度摄像头的市场

    2017

    年苹果将发布三款机型,其中

    OLED

    机型的前置摄像头可能有重大升级,预期配备

    更多相关内容
  • 法兰克福车展上,德尔福如约为我们带来了自家的手势识别技术。如今汽车的任务不仅仅是把你从 A 点运到 B 点,还要满足用户除了移动位置之外的需求。比如打电话、操作导航、切换歌曲、调节空调等等。这样发展的后果...

    法兰克福车展上,德尔福如约为我们带来了自家的手势识别技术。

    如今汽车的任务不仅仅是把你从 A 点运到 B 点,还要满足用户除了移动位置之外的需求。比如打电话、操作导航、切换歌曲、调节空调等等。这样发展的后果就是,虽然出行方便了,但司机的任务越来越繁重,注意力越来越远离道路。走路玩手机没准都能撞电线杆子上,更别说高速行驶中的汽车了。

    目前比较常见的人车交互方式主要是语音和按键,语音是对司机影响比较小的一种方式,但智能程度和识别率有待提高。而按键一直在车里存在了上百年,有了多媒体以及导航功能后,按键操作频率更高了。这对司机驾驶造成不小影响,必须找到按键位置才能操作,有的操作还要结合屏幕反馈。

    手势识别技术不是什么新概念了,但是这次德尔福所推出的手势识别技术,离我们已经很近了。本次法兰克福车展推出的新宝马 7 系,就使用了德尔福提供的手势识别模块。

    目前,德尔福的手势别功能可以进行切换歌曲、调节音量,放大/缩小导航地图和接听电话操作。当然,主机厂还可以增加新的手势或使用不同手势。

    德尔福所设定的识别范围是高于换挡杆高度、从中控台屏幕到扶手、从腰部高度到肩部高度区域,这样的识别区域设计操作起来也比较自然。至于为什么用「自然」形容,因为曾经有人说在车里使用手势识别功能,可能会有点像「赶苍蝇」。

    德尔福在车内前排顶灯位置安装了红外 LED,同时用 ToF 摄像头接收光线,通过「飞行时间(Time of Flight,下称 ToF)」原理测得深度,中控台再根据识别出的信息再来自动操作。

    在此有必要了解一下 ToF 摄像头的硬件部分,这样比较容易理解其工作过程。

    光学装置,用来收集反射到的光线并传到图像传感器上,同时通过滤镜可以过滤出指定波长的光线(在这里就是红外线了)。

    图像传感器,这是一个核心部件,逐像素测量光线从光源(红外 LED)发出,经过人体反射,再传播到图像处理器的时间。

    处理器,根据捕捉到的信息,计算物体移动距离,得出结果。

    这套装置本身的原理十分复杂,还涉及到很多算法问题,这就是工程师的工作了。

    其实在车内一切会分散司机注意力的行为都是不安定因素,用户也都知道某些行为是不安全的。但是用户已经养成了「用户习惯」,而厂商要做的就是如何在尽可能满足「用户习惯」的同时,达到良好的「用户体验」,保证安全,手势识别就是其中的一个例子。

    明年,你就能看到人们在车里「左手右手一个慢动作」了。

    原创声明: 本文为 GeekCar 原创作品,欢迎转载。转载时请在文章开头注明作者和「来源自 GeekCar」,并附上原文链接,不得修改原文内容,谢谢合作!

    欢迎关注 GeekCar 微信公众号: GeekCar 极客汽车(微信号:GeekCar)& 极市(微信号:geeket)。

    展开全文
  • 相比于前两种二维手势识别技术,三维手势识别不能再只使用单个普通摄像头,因为单个普通摄像头无法提供深度信息。要得到深度信息需要特别的硬件,目前世界上主要有3种硬件实现方式。加上新的先进的计算机视觉软件...

    原标题:Time of Flight(飞行时间技术)——三维手势识别

    三维手势识别需要的输入是包含有深度的信息,可以识别各种手型、手势和动作。相比于前两种二维手势识别技术,三维手势识别不能再只使用单个普通摄像头,因为单个普通摄像头无法提供深度信息。要得到深度信息需要特别的硬件,目前世界上主要有3种硬件实现方式。加上新的先进的计算机视觉软件算法就可以实现三维手势识别了。下面就让小编为大家一一道来三维手势识别的三维成像硬件原理。

    1结构光(Structure Light)

    结构光的代表应用产品就是PrimeSense公司为大名鼎鼎的微软家XBOX 360所做的Kinect一代了。

    这种技术的基本原理是,加载一个激光投射器,在激光投射器外面放一个刻有特定图样的光栅,激光通过光栅进行投射成像时会发生折射,从而使得激光最终在物体表面上的落点产生位移。当物体距离激光投射器比较近的时候,折射而产生的位移就较小;当物体距离较远时,折射而产生的位移也就会相应的变大。这时使用一个摄像头来检测采集投射到物体表面上的图样,通过图样的位移变化,就能用算法计算出物体的位置和深度信息,进而复原整个三维空间。

    以Kinect一代的结构光技术来说,因为依赖于激光折射后产生的落点位移,所以在太近的距离上,折射导致的位移尚不明显,使用该技术就不能太精确的计算出深度信息,所以1米到4米是其最佳应用范围。

    2光飞时间(Time of Flight)

    光飞时间是SoftKinetic公司所采用的技术,该公司为业界巨鳄Intel提供带手势识别功能的三维摄像头。同时,这一硬件技术也是微软新一代Kinect所使用的。

    这种技术的基本原理是加载一个发光元件,发光元件发出的光子在碰到物体表面后会反射回来。使用一个特别的CMOS传感器来捕捉这些由发光元件发出、又从物体表面反射回来的光子,就能得到光子的飞行时间。根据光子飞行时间进而可以推算出光子飞行的距离,也就得到了物体的深度信息。

    就计算上而言,光飞时间是三维手势识别中最简单的,不需要任何计算机视觉方面的计算。

    3多角成像(Multi-camera)

    多角成像这一技术的代表产品是Leap Motion公司的同名产品和Usens公司的Fingo。

    这种技术的基本原理是使用两个或者两个以上的摄像头同时摄取图像,就好像是人类用双眼、昆虫用多目复眼来观察世界,通过比对这些不同摄像头在同一时刻获得的图像的差别,使用算法来计算深度信息,从而多角三维成像。

    在这里我们以两个摄像头成像来简单解释一下:

    双摄像头测距是根据几何原理来计算深度信息的。使用两台摄像机对当前环境进行拍摄,得到两幅针对同一环境的不同视角照片,实际上就是模拟了人眼工作的原理。因为两台摄像机的各项参数以及它们之间相对位置的关系是已知的,只要找出相同物体(枫叶)在不同画面中的位置,我们就能通过算法计算出这个物体(枫叶)距离摄像头的深度了。

    多角成像是三维手势识别技术中硬件要求最低,但同时是最难实现的。多角成像不需要任何额外的特殊设备,完全依赖于计算机视觉算法来匹配两张图片里的相同目标。相比于结构光或者光飞时间这两种技术成本高、功耗大的缺点,多角成像能提供“价廉物美”的三维手势识别效果。

    TOF深度相机系统

    系统描述

    该系统利用单片CMOS技术直接探测3D信息,系统体积小巧,扫描速度快,可应用于游戏和消费电子、多媒体和广告、移动机器人、工厂自动化、安防监控、汽车辅助驾驶等领域。

    TOF是飞行时间(Time of Flight)技术的缩写,即传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

    TOF是Time of flight的简写,直译为飞行时间的意思。所谓飞行时间法3D成像,是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。

    要通过光线传播来测算距离,那么就需要一个能够发射光线的装置和接收光线的感应装置。大众使用了一个3D相机模块来发射脉冲光,再利用内置的感应器接收用户手部反射回的光线。然后,根据二者的时间差,处理芯片就可以构建出手部目前的位置和姿势。

    大众手势识别技术中藏在换挡杆后方的ToF摄像头(红点位置)

    通过实时采集这些信息,中控系统就可以调用相应的数据库获得用户正在进行的动作。再根据预先定义的功能,就可以实现不同的操作。由于光的传播速度非常快,基于ToF技术的感光芯片需要飞秒级的快门来测量光飞行时间。这也是ToF技术难以普及的原因之一,这样的感光芯片成本过高。

    责任编辑:

    展开全文
  • 手势识别并不是一个新概念,但一直以来手势识别的精度并不是很高。最近,一家初创公司——Chirp公司推出了一款微型超声传感器(基于微机电系统(MEMS)的飞行时间(ToF)传感器),该传感器利用超声换能器,通过手部和手指...

    手势识别并不是一个新概念,但一直以来手势识别的精度并不是很高。最近,一家初创公司——Chirp公司推出了一款微型超声传感器(基于微机电系统(MEMS)的飞行时间(ToF)传感器),该传感器利用超声换能器,通过手部和手指手势为用户提供对其设备的免触摸控制,帮助实现真正的移动VR并创造下一代用户界面。在最近的技术demo中,用户可以在空中通过手势控制平板电脑。

    该公司的技术是源于美国加州大学伯克利分校和戴维斯分校的伯克利传感器和致动器中心,那里的研究人员发现了一种小型化MEMS超声传感器的新方法。之后,2013年在美国加州伯克利成立的初创公司Chirp Microsystems获得了该技术的授权。它们表示,“在追求尽可能自然的控制和交互上,我们已经开发了触摸屏、语音识别和运动追踪,下一次用户体验革命将基于声音。”

    或许有许多人已经了解过类似的基于光和摄像头的系统,但Chirp的联合创始人兼执行总监Michelle Kiang表示,这些解决方案在准确度不能媲美超声波,而且功率消耗更大。她说:“基于红外线或摄像头的解决方案,在功率上可以消耗几十毫瓦。但借助超声波,我们只需几十微瓦。足足减少了一千倍。基于摄像头的系统需要机器视觉,这又会占用大量的处理能力,而超声只测量距离和距离,所以即使你使用多个设备,计算也十分简单。”

    Chirp的传感器工作时使用小型超声换能器阵列发出一个声波脉冲。这就好比使用回声定位的蝙蝠一样,声波从物体(如你的手)反弹至芯片。通过计算飞行时间,芯片能够确定物体相对于设备的位置,并且触发编程行为。在空中挥动你的手可以触发滚动屏幕行为,让手朝向设备移动或移开抽离可以控制音量或强度,你还可以通过小幅度的手指移动来点击或激活指令。

    手势控制

    换能器是压电微加工超声换能器(PMUT),可以把传送至传感器膜结构上的超声压力转换成电信号。因为换能器不使用类似于常规压电传感器的背板,所以膜结构的运动没有严格的限制,从而可实现更高质量的信号。Chirp的FoT传感器将PMUT与专有的超低功耗、混合信号的集成电路结合在一起,以处理飞行时间计算。

    压电微加工超声换能器(PMUT)

    由于芯片不依赖于外部处理器,它能够以更少的功率和更小的形状因子完成任务。另外,由于其工作原理类似于回声定位,传感器允许设备追踪三维空间中的运动,与触摸屏的二维限制相比,这可以添加更多的控制选项。

    Chirp表示,其ToF传感器比传统的超声换能器小一千倍。还有,设备不仅可以感测到手部挥动的大幅度手势,而且可以感测到微小的手势(如手指运动),精度可达到1mm。如此精度使得ToF传感器非常适合于可穿戴设备应用,其中设备由于过小,用户无法正常使用触摸屏和免手持应用,如无菌医疗或无尘室环境或信息娱乐应用。

    其实Chirp并不是第一个使用超声波技术的。几十年来,研究人员和企业已经尝试所谓的声学手势控制或识别,通过声音来监测运动并用于控制界面。任天堂甚至在1989年推出了游戏外设Power Glove,通过超声波传感器让用户使用手势来控制游戏。Power Glove唯一的问题是:这根本没有用。(任天堂在一年后便停止生产)

    但对基于声音的手势识别而言,Chirp的技术代表了“最新、最低功耗和最小形状因子”的应用。Chirp Microsystems的ToF传感器支持对可穿戴设备和其他消费电子产品进行,非接触式感知和“Inside-out追踪”。

    Chirp希望FoT芯片可以为VR/AR领域带来变革。现在,如果VR应用都专注于运动追踪控制器,比如说HTC Vive控制器和Oculus Touch。这些控制器成对出现,而且其设计会尽可能模仿人类手部的使用。例如,HTC和Oculus控制器不需要鼠标或操纵杆来拾取物体,而是通过手部和手指真实地挤压(扳机键)来让用户在虚拟空间中拾取物体。

    这些解决方案的缺点在于(除了价格),它们使用基于光和摄像头的追踪,这再次回到功耗问题上,更不用说设置所需的额外硬件。而且在移动时,用户被限制在给定的游玩区域内。

    Chirp Microsystems宣称:我们的解决方案将会是一种颠覆性的解决方案,可以应对大家正在面临的追踪问题。与基于摄像头的解决方案相比,通过将其芯片嵌入到头显以及单独的控制器中,可实现一种更低功耗、更低延迟、更低成本和更高分辨率的解决方案。Chirp的传感器可以发挥出体验完整的身临其境潜力,比基于摄像头的系统提供更宽的视场,以及实现一个可在任何照明条件下运行的系统,这与基于光的系统不同。

    更令人吃惊的是,把传感器嵌入头显可为移动VR/AR用户提供一项非常诱人的功能:Inside-Out定位追踪。Kiang指出:“因为一方(控制器)正在发射超声波,而另一方(头显)正在接收超声波,所以它可以追踪设备(控制器或头显)。”这意味着,用户不再局限于当前移动VR产品所提供的“环顾四周”,用户将可以在VR环境中自由移动。这样移动VR体验将可以实现跟高端VR体验一样的6自由度追踪,同时没有游玩区域的限制。

    6自由度控制

    超声波手势识别将是一种添加交互性的方式,无需使用触摸屏或外部控制器。另外,超声不会受到触摸屏面临的一些限制所影响。可解决我们在不同领域看到的广泛的用户界面挑战问题!

    展开全文
  • 语音、手势甚至包括眼球、意念控制都曾出现在各式各样的概念车上。今儿的主角就是手势控制技术。比如说今年召开的CES Asia电子展上,大众就展出了一辆带有手势控制功能的Golf R Touch。当然,大众并不是唯一的参与者...
  • 本发明属于汽车零配件技术领域,尤其是一种基于TOF手势识别的控制系统。背景技术:随着触摸屏技术的不断推广,用户已经适应并逐渐熟悉了与机器的互动。现在,人机互动技术已迈上了更高的台阶,进入了手势识别时代。...
  • 原标题:解决方案| USB 3D视觉TOF飞行时间深度摄像头Depth Eye今年年初,火了好久的保时捷概念车Mission E相继在各大车展首秀,再次引发这款酷炫电动车的热烈讨论。而Mission E最引人注目的,是除了常规的按钮、...
  • 揭秘国内独家TOF深度摄像头,助力机器人避障与室内导航2018-09-11TOF深度摄像头利用光的飞行时间测量距离,能够实时快速的计算深度信息,进行准确的三维探测,是实现机器人避障和室内定位与导航等应用的一大法宝。...
  • 本文尝试从ToF技术本身的原理,及其在手机市场的应用出发,来探讨这些年有关ToF技术的传言是否可靠,尤其是在今年新版苹果iPad Pro面世以后,后置新增的那个LiDAR模块是否有机会带动ToF技术发展;且包括华为手机在内...
  • LeapMotion的Orion已经可以比较好的追踪双手,Usens,微动等在做手势识别的公司最近也获得了不少的融资。微软的Hololens也使用了手势作为基本的交互。联想刚发布的基于Google Tango的手机,为移动端手势识别打下了...
  • 手势识别调研

    千次阅读 2021-06-16 16:41:04
    提示:本文主要想针对单目摄像头实现静态与动态手势识别的功能,所做的资料调研工作。因此在采集设备中并不包含基于用户佩戴的手套控制器、谷歌眼镜、加速度计陀螺仪等来实现手势采集 一、手势识别简介 .
  • 手势识别 技术

    万次阅读 多人点赞 2019-04-19 16:02:27
    手势识别可以分为基于可穿戴设备的识别、基于触摸技术的识别和基于计算机视觉的识别。 一、基于可穿戴设备的识别 1、在手势交互过程中,可以直接采集每根手指的弯曲姿态,通过数据归一化和平滑处理两根手指之间...
  • 虚拟现实下的手势识别综述

    千次阅读 2020-06-24 15:27:56
    虚拟现实下的手势识别综述 目录虚拟现实下的手势识别综述摘要关键词:1.引言2.国内外研究现状3.手势识别的关键技术3.1手势分割3.2手势建模3.3手势识别3.4特征提取4.存在的问题及发展趋势5.结论参考文献 摘要   ...
  • 内置AI智能识别算法,可支持姿态识别(包含手势), 人脸检测/识别,物体识别,3D扫描 DCAM  100 TOF 传感模组 激光器:850/940nm,VCSEL ...
  • 【前沿】凌空手势识别综述

    万次阅读 2018-01-06 17:13:31
    普适计算技术和可穿戴设备的快速发展为自然的手势识别技术提出了新的挑战:应能使用户尽可能摆脱对环境和输入设备的束缚,与环境进行自然而有效的手势交互。凌空手势(mid-air gestures)识别是应对新挑战的一类有效...
  • TOF相机(Time of Fight Camera)(维基百科全翻译版)

    千次阅读 多人点赞 2020-02-18 17:05:18
    关于TOF相机,维基百科里有一个较好的概述,鉴于很多同学无法查看维基百科,所以此篇的内容为维基百科的翻译版。并加上一些个人的注解。
  • Vzense SDK是基于Vzense深度摄像头的软件开发包,支持Windows,Linux(OpenNI2)平台。该开发包为应用开发者提供了一系列友好的API和简单的应用示例程序。
  • 摘要:进入21世纪以来,人机交互技术持续发展,手势识别是代表之一。2013年,华盛顿大学的研究人员提出了使用无线信号进行手势识别的方法,给传统的手势识别技术带来的一定的挑战,但是这一技术并不是很成熟,暂时...
  • 点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达 本文转自 | 新机器视觉 3D TOF 相机特性利用TOF技术成像的设备被称为TOF相机(或TOF...
  • 现行的深度传感镜头作为智能手机的一大创新,已在目前主流智能手机上广泛应用。因苹果在最新版iPad Pro上搭载了D-ToF(直接飞行时间法)深度传感镜头引起了极大的关注,推动了3D视觉在消...
  • 【资讯】手势识别厂商

    千次阅读 2016-11-30 17:05:43
    LeapMotion的Orion已经可以比较好的追踪双手,Usens,微动等在做手势识别的公司最近也获得了不少的融资。微软的Hololens也使用了手势作为基本的交互。联想刚发布的基于Google Tango的手机,为移动端手势识别打下了...
  • 目前手机是 ToF 在消费电子中的主要应用领域,随着市场对 3D 视觉与识别技术的兴趣 日益浓厚,头部终端厂商推动 TOF 技术在 3D 感知和成像方向上不断拓展,我们看到 TOF 技术在...3D 摄像头技术提供的手势识别功能将
  • Pico Zense SDK是基于Pico Zense深度摄像头的软件开发包,支持Windows, DCAM710 与 DCAM100  SDK下载 https://picozense.picovr.com/cn/sdk.html ...
  • 地表最强的手势交互原理剖析。
  • 机器视觉(11)ToF 3D视觉解析

    千次阅读 2019-10-05 17:06:56
    智能手机中的3D ToF技术 作为智能手机的三大创新之一,3D ToF深度传感技术依靠体积小、误差低、直接输出深度数据与抗干扰性强等优势,成为近年来智能手机上的关键创新亮点之一。 ToF技术解码 ToF是Time of ...
  • 用户可以基于该开发包,获取深度数据信息、IR图像信息和点云数据,用于手势识别、体感控制、人脸识别、疲劳检测、三维建模、导航避障等应用。 DCAM710 SDK下载链接: https://gitee.com/Vzense DCAM710产品技术...
  •  静态 vs 动态 对于人体:姿态估计 vs 动作行为识别 https://blog.csdn.net/yengjie2200/article/details/68063605 对于手势:静态手势(手形)识别 vs 动态手势识别 四. Datasets 1、2D姿态估计 MPII Human ...
  • eXLAM-80TOF双目模组可以集成在无人机中,实现在空中的手势识别、跟踪等功能。 【主要特点】◆本地计算:空间建模及定位运算不需借助服务器. ◆功能丰富:支持多种机器视觉功能. ◆小尺寸: 长度只有80mm,宽度只有不到...
  • 深度摄像头:一:深度了解深度摄像头

    千次阅读 2021-08-19 13:19:07
    目录 一.目的 1.想知道:鱼眼镜头 ...1.深度了解深度摄像头 三.注意 四.操作:备份 一.目的 1.想知道:鱼眼镜头 1.将其转载,避免作者删除,就没有了 二.参考 1.深度了解深度摄像头 ...
  • 这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用,最典型的就是微软的Kinect 2。 TOF深度相机对时间测量的精度要求较高,即使采用最高精度的电子元器件,也很难达到毫米级的精度。因此,在近距离...

空空如也

空空如也

1 2 3 4 5 ... 14
收藏数 266
精华内容 106
关键字:

tof摄像头手势识别