精华内容
下载资源
问答
  • ToF技术什么?和结构光技术又有何区别.docx
  • 都说“文人相轻”,近我发现同行互怼的情况,在技术行业也蛮常见。这不,荣耀和小米两边的高管前几天就打起了嘴仗。  先是荣耀手机的副总裁熊军民发了条微博,晒了晒肌肉。    没过多久,小米集团的副...
  • 基于三角法和飞行时间的深度测量方案是当下两种主流3D视觉技术,而今年苹果公司发布的新款iPad pro上搭载了d-ToF技术的深度相机,给3D视觉技术在消费场景的应用推动了新的机会。 结合当前学术界的成果以及工业界的...
  • 从vivoNEX到荣耀V20,从景深测量到动作捕捉,有了ToF技术加持,智能机能够拍出更好的虚化照片,能够化身为体感游戏机……作为3D深度视觉领域三大主流方案之一,ToF技术除了应用在手机上之外,也在VR/AR手势交互、...
  • TOF10120 测距模块的全套资料,包含 STM32、51、Arduino、K60的完整驱动。烧录即用,无需调试,包含上位机显示。
  • 激光测距模块TOF10120技术参数规格书
  • 一文详解TOF技术

    千次阅读 2021-03-08 00:24:06
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达一. 光速的测定诚如你在飞秒摄影介绍中所看到的,TOF技术是将时间维度的信息转换为空间维度信息的方法,其本质原理是我们在小学时就学过这...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    一. 光速的测定

    诚如你在飞秒摄影介绍中所看到的,TOF技术是将时间维度的信息转换为空间维度信息的方法,其本质原理是我们在小学时就学过这样的公式: 距离 = 速度 * 时间

    所以只要测定出光的运动时间,就能测出其飞行距离。

    自然界有很多动物天生就具备类似的能力,最典型的就是我们熟知的蝙蝠和海豚。它们都能够通过发出特定频率的声波并捕捉回声,进而判断前方物体的距离。

    这些动物利用的是声速,而对于我们摄影学所要用到的光速,就不得不提到人类测定光速的历史。

    伽利略是17世纪初第一个尝试测量光速的人。1638年,伽利略和一名助手各自站在不同的山顶上,他们之间的距离是已知的,计划是让伽利略打开一盏灯的快门,然后让他的助手一看到伽利略的光就打开灯的快门。

    伽利略计划用山顶和他的脉搏之间的距离作为计时器来测量光速。他和他的助手用不同的距离尝试了这一方法,但无论他们相距多远,他都无法测量出光行驶的时间长短。很显然,他的实验失败了,正如伽利略得出的结论所说,光速实在是太快了:

    I have not been able to ascertain with certainty whether the appearance of the opposite light was instantaneous or not; but if not instantaneous it is extraordinarily rapid – I should call it momentary

    真正成果的测定光速的实验是1849年由法国物理学家Hippolyte Fizeau完成的,他的实验很精巧:系统由脉冲光源和8.63公里外的反射镜,以及光源前的可调速齿轮组成。Fizeau仔细调整齿轮的转速,直到穿过齿轮的光被反射镜反射回来的光刚好被下一个齿片所挡住。根据齿轮的转速,以及光源/观察者和反射镜之间的已知距离,就可以求得光速,见下面图片的示意。虽然这个结果还不是很准确,但却是人类测定光速的一大步。

    二. 各种TOF技术

    直接脉冲TOF

    我们现在已经知道了,光在真空中的速度是299792458米/秒。利用这个信息,以及光飞行的时间,就可以求出光源和目标之间的距离。1968年,Walter Koechner展示了如何利用大功率注入激光二极管来进行距离探测。

    他的系统直接利用发射光脉冲和接收到的光脉冲之间的时延来计算距离

    基于这种原理的TOF成像设备在很多地方得到了应用,比较出名的就是Google的自动驾驶汽车项目上的车载激光雷达。

    然而,由于需要精确的测量飞行时间,发射脉冲必须在非常短的时间(皮秒级),因此激光脉冲光源必须具有很高的功率(百万焦耳级)。而相应的,传感器也必须具有超高的时间分辨率(皮秒级)和很高的动态范围。这显然使得Koechner的系统非常昂贵。看他的简历,1965年,他加入新泽西州蒙茅斯堡的美国陆军电子司令部,担任研究物理学家。我想正是如此他才拥有很多资源去研究如此昂贵的系统吧。

    在直接脉冲TOF这条道路上,技术也是在不断的发展的,比如苹果在最新的iPad Pro上所加载的dTOF系统,就利用了单光子雪崩二极管的特性,使得用非常低的功耗就可以实现对距离的精确测定。关于这一点,我会在后面单开一篇文章介绍,这里就先结束对直接测量光飞行时间的系统的介绍,转往下一站:间接测量法。

    脉冲间接TOF

    在wikipedia上你可以查到另外一种间接利用脉冲光源的方法

    如上图所示,光源发出固定频率的脉冲,传感器捕捉到目标反射回来的光。与此同时控制传感器开始曝光。由于传输的时延,会导致传感器中真正接收到的光子量只有q1这一部分,q2这一部分由于关闭曝光没有接收到。如果有方法能够接收到q2这一部分的光子量,那么就可以计算出返回的脉冲相对于发射的脉冲的时延,进而知道光运动的距离。

    如果已知脉冲的发射时间是t,那么可以用  得到这个延时,那么距离d就好求了:

    那么获得  和  呢?下面是一个示意图。你可以看到,一个像素使用两个开关(G1和G2)和两个存储元件(S1和S2)。开关由与光脉冲具有相同时长的脉冲控制,其中开关G2的控制信号被精确控制,使得刚好延迟了1个脉冲宽度。这样在S1中仅通过G1对光电信号的一部分进行采样,而将另一部分存储在S2中。根据距离的不同,S1和S2之间的比率会发生变化,如图所示。单个光脉冲导致的S1和S2的差异很微弱,但当多个发射-接收的信号积累起来后,就可以得到显著的结果。这也就对应了上面公式中的  和  。

    下图是距离和信号S1、S2的关系:

    连续波调制TOF(Continous Wave TOF)

    上面的利用脉冲光的方法原理相对简单,但由于每个脉冲的进光量很少,需要积分很多周期才能得到较好的信噪比。所以时间分辨率较低,总体精度也较低。

    另外一种间接TOF的方法则是采用了连续的正弦或余弦波对信号进行调制,利用发射光和接受光之间的相位差来计算出光的飞行时间,从而得到光源和目标之间的距离。

    我们的目标是计算相位差  ,偏差  以及幅度 

    这里面有三个未知数,你可能觉得最直接的方法是在接收端进行三次采样来求解:

    这又会遇到信噪比很低的问题,而且对传感器的采样速度要求很高,所以实际上非常难以实现。

    更好的方式是计算接收光L和传感器曝光函数E之间的互相关值I,从中计算出我们需要的值,这里要注意的是在曝光函数的作用下,这个互相关值恰好是传感器的实际信号强度。

    经过3次不同时间的曝光,得到三个互相关值,从而可以求解从我们所需的三个值,尤其是相位差,它恰好对应着最终需要的深度值。

    除了这种计算方法,也可以采用发射信号与接收信号之间的互相关信号来完成相位差的计算,比如定义:

    发射信号: 

    接收信号: 

    那么两者的互相关信号: 

    这里需要注意的是互相关是通过积分来完成的,所以一样可以有较高的信噪比。接下来就可以在  上进行采样了,设定4个采样点:

    那么很容易根据三角公式得到:

    三. TOF技术的应用

    TOF技术自出现以来就被应用到许许多多领域,限于篇幅,这里只举几个。

    我们最熟知的,应该就是深度感知了。在自动驾驶领域,它被用在车载激光雷达上

    在消费娱乐领域,则有经典的微软Kinect:

    在计算摄影的一个领域非视线成像(Non-line of sight imaging),TOF也有广泛的应用:

    对遮挡住的隐藏物体成像:

    观察云团内部场景:

    以后我会对非视线成像(Non-line of sight imaging)做更多深入的介绍,这里就先按下不表了。

    四. 总结

    今天我们从光速的测定开始讲起,看到了人类在测定光速方面的重要里程碑。接下来介绍了利用光的飞行时间的TOF成像设备的几种类型:直接脉冲型,间接测定相位差的脉冲型和连续波调制型。这些设备各自有各自的优缺点和适用领域,而且还面临着一些共同的需要解决的问题。

    那么到底TOF系统在真实世界使用的时候需要面对哪些问题呢?这就是我下一篇文章会专门介绍的内容。

    希望今天这篇文章能让你对TOF技术有了基础的了解,感谢你读到了这里,别忘了按赞分享????

    五. 参考资料

    1. CMU 2017 Fall Computational Photography Course 15-463, Lecture 24

    2. 几篇关于光速测定的文章:

    • https://lco.global/spacebook/light/speed-light/

    • https://www.aps.org/publications/apsnews/201007/physicshistory.cfm

    • Fizeau的实验:https://en.wikipedia.org/wiki/Fizeau%E2%80%93Foucault_apparatus

    3. Achuta Kadambi:Time of Flight Revolution tutorial on ICCV 2015

    4. Wikipedia上关于TOF的介绍:https://en.wikipedia.org/wiki/Time-of-flight_camera

    5. Gupta et al., “Phasor imaging: A generalization of correlation-based time-of-flight imaging,” TOG 2015.

    这里我用了大量Gupta教授的PPT的内容

    6. Walter Koechner, "Optical Range System Employing a High Power Injection Laser Diode", 1968

    7. Jarabo et al., “Recent Advances in Transient Imaging: A Computer Graphics and Vision Perspective,” Visual Informatics 2017

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近3000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 基于TW-TOF的UWB室内定位技术与优化算法研究基于TW-TOF的UWB室内定位技术与优化算法研究基于TW-TOF的UWB室内定位技术与优化算法研究基于TW-TOF的UWB室内定位技术与优化算法研究基于TW-TOF的UWB室内定位技术与优化...
  • 现行的深度传感镜头作为智能手机的一大创新,已在目前主流智能手机上广泛应用。因苹果在最新版iPad Pro上搭载了D-ToF(直接飞行时间法)深度传感镜头引起了极大的关注,推动了3D视觉在消...

    现行的深度传感镜头作为智能手机的一大创新,已在目前主流智能手机上广泛应用。因苹果在最新版iPad Pro上搭载了D-ToF(直接飞行时间法)深度传感镜头引起了极大的关注,推动了3D视觉在消费场景的新应用机会。为了让读者更全面的了解ToF技术,本文将会分析3D视觉传感技术的基本原理,ToF镜头的相关产业链信息,ToF技术的具体应用以及ToF技术的未来发展前景。

    具体内容概要

    一、3D视觉方案技术介绍

           双目立体视觉法

           结构光法

    二、时间飞行法(ToF)

           ToF原理介绍

           飞行测量技术(D-ToF)

           飞行测量技术(I-ToF)

           ToF产业链介绍

           ToF镜头模组组成核心硬件:

           发射端:

            (1)发光单元

            (2)准直镜头

            (3)DOE扩散片(Diffuser)

           接收端:

            (1)窄带滤光片和光学镜头

            (2)红外CIS(图像传感器)

    三、ToF技术应用场景

           手机

           汽车

           人脸识别/安保系统

           工业领域/物流

    四、ToF市场前景

    1

    3D视觉方案技术介绍

    3D视觉传感技术是一项重要的科学突破。它是一种深度传感技术,增强了摄像机进行面部和目标识别的能力。相对于2D技术,3D技术除了显示对象的X和Y值之外,还可以提供记录场景或对象的深度值,在感知和处理日常活动的方式上带来了独特的进步,制造商争先恐后地将这些新的进步融入到手机等消费产品中。该技术利用光学技术模拟人类视觉系统,促进了增强现实、人工智能和物联网的出现和应用。

    目前市面上主流的3D光学视觉方案有三种:双目立体视觉法(Stereo Vision,在下文称双目法),结构光法(Structured Light,在下文称结构光)以及飞行时间法(Time of Flight, ToF在下文称ToF)。此文主要探讨的是ToF,同时会对其他两种主流方案进行技术比较。目前较为成熟的方案是结构光和ToF。其中结构光最为成熟,已经在工业3D视觉中大规模应用。ToF的概念是扎根于深度传感器的。这里的深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布。对于深度传感器来说,一般用于测量深度的方案分别有结构光、双目和ToF三种,其中结构光(iPhone目前的Face ID就是使用了基于结构光的深度传感器)和双目技术都是基于几何原理做间接深度估计,而ToF则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。

    1、双目立体视觉法(Stereo Vision)

    双目立体视觉法的技术原理是通过从两个视点观察同一物体,从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差(视差)来获取物体的三维图像,比如把一只手指放在鼻尖前方,左右眼看到手指会有一个错位的效果,这个位置差被称为视差。相机所要拍摄的物体离相机越近,视差越大,离相机越远,视差就越小。由此可以得出,当两个相机的位置等条件已知时,就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中,通常采用两个摄像机作为视觉信号的采集设备,通过双输入通道图像采集卡与计算机连接,把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换,最终向计算机提供图像数据。

    双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构,并对物体的形状和空间关系进行描述,把过去的简单二维图像分析推广到了复杂的三维场景,标志着立体视觉技术的诞生。随着研究的深入,研究的范围从边缘、角点等特征的提取,线条、平面、曲面等几何要素的分析,直到对图像明暗、纹理、运动和成像几何等进行分析,并建立起各种数据结构和推理规则。特别是在1982年,David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括,创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用,在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系,使得立体视觉已成为计算机视觉中一个非常重要的分支。

    一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势,而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现,同时该技术易受环境因素干扰,对环境光照强度比较敏感,且比较依赖图像本身的特征,因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制,它过度的依赖于被拍摄物体的表面纹理,如果被摄物体表面没有明显的纹理,使用双目立体视觉法会无法匹配与之对应的像素的问题。

    2、结构光法(Structured Light)

    该技术是一种主动双目视觉技术,结构光技术的基本原理是,通过近红外激光器,将具有已知的结构特征(比如离散光斑、条纹光、编码结构光等)的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况,再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。其工作原理可看作是另一种双目法,红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。

    结构光在消费电子领域的商用最早可追溯到2009年,微软与以色列3D感测公司 PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代,2010年11月上市后,该产品成为 2011 年销售最快的消费电子设备。尽管产品大获成功,但第一代 Kinect 的准确度、图像分辨率和响应速度并不理想。2017年苹果发布iPhone X,首次搭载 3D 结构光模组,可实现3D人脸识别技术,成为苹果近几年最大的创新。此前由于半导体工艺等多方面技术的限制,3D 感测很难应用到体积非常有限、功耗要求低的手机上,因此iPhone X 的发布是结构光技术的重大突破,市场对结构光技术的热情重新点燃。主要结构光方案厂商还有美国的英特尔、高通/Himax,以色列 Mantis Vision 以及国内华为、奥比中光等公司。iPhone X 发布后,国内小米、华为和 OPPO 也先后发布了首款搭载结构光模组的智能手机,其中小米采用的是以色列 Mantis Vision 公司的解决方案,华为采用的是自研方案,OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了结构光模组。

    结构光技术相较于双目技术有一个好处,结构光的红外激光器发射出了光,可以照亮被扫描物体,所以它不需要像双目结构一样依赖于光源,而且在较平整,没有图案的物体表面也可以测算出物体的三维深度。综上所述,结构光相较于双目结构有两个优点:(1)在场景较暗的场景下也可以运作正常(2)在没有明显纹理的物体上也可以实现深度扫描。

    2

    飞行时间法介绍

    ToF是Time of Flight的缩写,直译为飞行时间,通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测这些发射和接收光脉冲的飞行(往返)时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

    ToF最早的商用可追溯到 2006 年 7 月,衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立,并推出商用ToF摄像头产品系列 SwissRanger,最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年,Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro,采用的是pmd/英飞凌的ToF方案,该手机可实现一些如三维测量等简易的 AR 应用,但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月,vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版,采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后,安卓厂商纷纷加入 ToF 镜头的阵营。此后,有越来越多的手机厂商在手机上搭配ToF镜头。

    典型ToF测量设置描绘在图中,它包含几个构建块:(a)脉冲/调制光源(在ToF中一般使用VCSEL,请见下文解释)(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时,用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长,接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d),由一组光探测器(像素)组成,能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口,为传感器提供电源、所需的偏置电压/电流信号、数字控制相位,并从传感器读取数据流,这通常需要进一步的小处理以获得3D体积数据。最后,传感器接口负责与外部(到PC或处理单元)的通信。

    ToF 技术具有以下的优点:1、软件复杂性低,设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快,缺点则在于室外受自然光红外线影响大、远距离无法保证精度。

     

    飞行时间测量技术(D-ToF)

    在经典的飞行时间测量中,直接飞行时间(Direct ToF,D-ToF,下文称为D-ToF)的原理比较直接,即直接发射一个光脉冲,之后测量反射光脉冲和发射光脉冲之间的时间间隔,就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时,秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算: 其中表示光在空气中传播的速度。D-ToF通常用于单点测距系统,但由于像素级亚纳秒电子秒表的实现困难,D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD(single- photon avalanche diode,单光子雪崩二极管)是一种高灵敏度的半导体光电检测器,其被广泛运用于弱光信号检测领域。结合D-ToF技术,可用来精确检测记录光子的时间和空间信息,继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单,但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外,还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂,能胜任生产任务的厂家并不多,并且集成困难。所以目前研究D-ToF的厂家并不多,更多的是在研究和推动I-ToF。

    飞行时间测量技术(I-ToF)

    D-ToF的另一种解决方案是所谓的间接ToF(Indirect ToF,I-ToF,下文称为I-ToF),而I-ToF的原理则要复杂一些。在I-ToF中,发射的并非一个光脉冲,而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差,通过检测该相位差就能测量出飞行时间,从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下,不需要精确的秒表,而是需要时间选通光子计数器或电荷积分器,它们可以在像素级实现,只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。

    1、ToF产业链介绍

    3D传感产业生态链包括光源、光学单元(透镜及滤光片等)、图像传感器及模组制造等直接硬件环节,此外还包括软件、处理器、3D系统设计等。

    2、ToF镜头组成核心硬件

    发射端:1)发光单元:

    ToF镜头的发光单元通常为能发出特定波长红外线的垂直腔面发射激光器(Vertical-Cavity Surface-Emitting Laser,又译垂直共振腔面射型激光,在下文称VCSEL),VCSEL能以相对较小功率发射出较高的信号。VCSEL是一种半导体,其激光垂直于顶面射出,与一般用切开的独立芯片制成,激光由边缘射出的边射型激光有所不同。传统的光电转换技术一般是用的LED等发光器件,这种发光器多采用的是边缘发射,缺点是体积较大,所以会比较难于半导体技术相结合。20世纪90年代垂直腔表面发射激光VCSEL技术成熟后,解决了发光器件和半导体技术结合的问题,因此迅速得到普及。VCSEL是很有发展前景的新型光电器件,也是光通信中革命性的光发射器件。此外,ToF中泛光照明器的VCSEL输出光束无需经过编码,因此器件制作上更为简单,可供选择的 VCSEL 供应商也更多。顾名思义,边发射激光器是沿平行于衬底表面、垂直于解理面的方向出射,而面发射激光器其出光方向垂直于衬底表面,如下图:

    VCSEL 是 3D Sensing 中重要的部件之一,不仅体现在其功能在体现在其价值量之中。随着 3D Sensing 在手机中进一步渗透,VCSEL 的市场规模将随之扩大。ToF不仅可以在手机中使用,还可以在光通讯、激光雷达等多个领域中使用,市场空间巨大。据市场研究机构 Yole 预测,到 2023 年,整个 VCSEL 市场将达到 35 亿美元,年复合增长率达到 48%。VCSEL 领域具有市场大、增长快、应用广等特点,未来对 VCSEL 的关注度将会日渐提升。从图中可看出未来在VCSEL赛道,主要集中的领域是消费电子、工业领域以及通信。VCSEL 是化合物半导体激光器,因此对应化合物半导体产业链,包括晶圆、外延片(EPI)、IC 设计、晶圆代工和封测等环节。

    发射端:2)准直镜头:

    利用光的折射原理,将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。采用准直镜头对 VCSEL 出射光束进行准直、形成散斑等整形处理。WLO(Wafer-level Optics,在下文称为WLO)晶圆级光学器件,是指晶圆级镜头制造技术和工艺。与传统光学器件的加工技术不同,WLO工艺在整片玻璃晶圆上,用半导体工艺批量复制加工镜头,多个镜头晶圆压合在一起,然后切割成单颗镜头,具有尺寸小、高度低、一致性好等特点。

     

    发射端:3)DOE扩散片:

    DOE衍射光学元件(Diffractive Optical Elements,在下文称为DOE)在3D摄像头结构光方案中的作用就是利用光的衍射原理,将激光器的点光源转换为散斑图案(pattern)。首先根据特定衍射图像的光学需求,设计并制作出三维母模,然后根据母模再制作出DOE光栅,光栅表面具有三维的微结构图案,尺寸都在微米级别。激光器发射的线性激光通过DOE的时候发生衍射,衍射光的角度和数量是受DOE上pattern的控制,衍射出来的光斑具备lighting code信息。DOE主要是用于结构光成像技术的摄像头中,DOE的制造成本相对较高。

    在ToF的发射成像技术中主要运用的是扩散板(在下文称为Diffuser),主要是为显示器提供一个均匀的面光源,ToF投射器主要包括VCSEL + Diffuser,而ToF的VCSEL并不像结构光那样对编码图案有一定要求,只是最常规的规则排列,器件制作上更为简单,装配精度要求也更低。Diffuser是DOE的一种,也属于波束整形器,用于对输入光束进行均一化,通过使较大折射角处具有更大屈光度,使得较窄的光束扩展到更宽的角度范围内,并具备均匀的照明场。TOF 中的 Diffuser 的设计制作难度,比 3D 结构光点阵投影仪中的 DOE 要简单很多。

    根据光大证券测算,考虑到疫情影响预计2020年全球智能机出货量有所下降,滞后的 5G 需求有望在2021年释放,预计 20~21 年全球智能机出货量分别为 12.6/15.0 亿部,其中 iphone 出货量 1.7/2.1 亿部,安卓机 10.9/12.9 亿部。假设 20~21 年前置结构光在 iphone 的渗透率分别为92%/95%,在安卓的渗透2%/5%,推算结构光摄像头出货量 1.8/2.7 亿颗。假设 20~21 年后置 TOF 在 iphone 的渗透率分别为 25%/50%,在安卓的渗透率 7%/15%,加上 ipad 出货量,推算后置 TOF 摄像头出货量 2.7/4.4 亿颗。假定DOE/Diffuser单价1美元测算,对应DOE 20~21年市场规模1.8/2.7亿美元;Diffuser市场规模 2.7/4.4 亿美元;窄带滤光片按 20~21 年单价 1/0.75 美元测算,对应市场规模 9/10.5 亿美元。

    接收端:1)窄带滤光片和光学镜头:

    ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过,抑制其他光线,并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头,拦截频率带之外的光线,即隔离干扰光、通过信号光凸显有用信息,因此需要滤光片在接收端过滤掉非工作波段的光波。

    在窄带滤光片赛道,难度和价值量都高于传统摄像头所用的滤光片,目前仅有 VIAVI 和水晶光电的技术较为成熟,这两家也是苹果iPhone X的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。

    接收端:2)红外CIS(下文称为图像传感器):

    早年的ToF传感器,多采用CCD(Charge-coupled Device,中文为电荷耦合元件,是一种图像传感器,下面简称CCD),而CMOS是另一种目前市场上更为主流的图像传感器(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体,在下文简称CMOS)。CCD的感光利用率更高,但是功耗十分大,发热严重,也是此前ToF方案未能应用在手机中的原因之一。随着图像传感器厂商不断提高CMOS传感器的技术,通过背照式(Backside Illumination,在下文简称BIS)设计、电流辅助光子演示(CPAD)技术,并将高速率多帧图像合成单张图像用以计算最终的深度,在降低图像噪声的同时降低了功耗,从而使ToF应用于手机成为可能,但对应的ToF传感器芯片成本也高出很多。

    CMOS图像传感器市场集中度较高,2017年,前十大厂商市场份额合为94%,其中前三家厂商索尼(Sony)、三星(Samsung)、豪威科(Omnivision)市场份额合计占比达73%,CR3较2014年的63%有明显提升。从CIS市场增速来看,根据IC Insights2018年预测,2017-2022年销售额CAGR为8.8%,销售量CAGR为11.7%;根据Yole2018年预测,2017-2023年销售额CAGR为9.4%,而该机构最新预测显示,受到新冠肺炎疫情影响,2020年增速将回落至7%,2021年略有反弹(增速为12%),预计2025年CIS市场规模将达到280亿美元。

    3

    TOF技术应用场景

    ToF技术应用场景

    ToF技术具有丰富的应用场景,在手机、汽车、工业、人脸识别、物流、安抚监控、健康,游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。以下将举例ToF在不同领域中的实际应用。

     

    手机:

    目前ToF技术在手机领域的三个应用主要是:安全(人脸识别,支付)、摄影、娱乐(增强现实,在下文简称AR)。

    ToF技术镜头在手机中用于安全领域的人脸识别和金融支付主要是在运用在手机中的前置摄像头中,此前在手机前置摄像头中运用的三维技术大部分是结构光技术。由于结构光在成本上比ToF要高且工艺更复杂,因此现在的手机人脸识别技术开始从结构光技术向ToF技术转移。代表机型:华为Mate 30 Pro,三星Galaxy S10+5G、Vivo NEX双屏版。例如在Vivo NEX双屏版中,ToF前置摄像头可以运用3D人脸建模技术来进行人脸识别和自拍图片优化。

     

    手机摄影:在手机摄影方面,ToF技术让镜头实现对焦更快、精准抠像、探测景深、背景虚化等功能。代表机型:Oppo R17 Pro(国内首台使用ToF技术手机)、华为P30 Pro。

    手机娱乐/教育:AR建模与体感游戏。代表机型:荣耀V20、OPPO R17 Pro,iPad Pro。

    汽车:

    ToF相机主要应用在三个领域,一个是座舱内部的驾驶者疲劳监测、手势识别、人脸识别。第二个领域是固态激光雷达。ToF相机可以看做一种固态激光雷达。第三个领域是自动泊车领域。在汽车电子领域,以ADAS(Advanced Driver Assistant System,高级驾驶辅助系统)渗透率不断提高为代表的汽车智能化趋势也正加速演进,而作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案,ToF市场也正持续受益。而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进,作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案,ToF市场正持续受益。根据 AutoLab的数据,2015年10月国内市场各种功能的ADAS的渗透率分别为:BSD 3.8%,AP 2.6%,FCW 2.6%,AEB 2.4%,SVC 2.3%,LDW 1.7%,ACC 1.3%, LKS 0.8%。全球整车市场ADAS的渗透率也低于10%,欧美地区市场接近8%,新兴 国家市场则仅为2%,仍有很大提升空间。据PR Newswire咨询公司测算,未来全球 ADAS渗透率将大幅提升,预计2022年全球新车ADAS搭载率将达到50%。

     

    人脸识别/安保系统:

    ToF技术将深度信息添加到2D图像中可以提取有用的信息,并且可以大大提高场景信息的质量。例如,二维传感无法区分真人和照片。提取深度信息可以更好地对人进行分类,跟踪人的面部和身体特征。ToF深度传感可以为安全认证提供高质量、可靠的人脸识别。分辨率和深度精度越高,分类算法越好。这可以用于简单的功能,例如允许访问移动设备/我们的个人家庭空间,或者用于高端使用情况,例如商业敏感区域的安全门访问控制。随着深度传感技术获得更高的分辨率和深度精度,人们的分类和跟踪将变得更加容易。人工智能的使用将使分类具有非常高的可信度,从而创造新的和新兴的应用领域。一个用例用于商业自动开门功能,特别是在阳光强烈的区域。确保一扇门只为一个人而不是其他任何东西打开,可以提高建筑管理的效率,以及安保和安全。

    工业领域/物流:

    ToF也可为机器人带来视觉效应。ToF深度传感的一个重要应用将是在工业、制造和施工过程中。通过生产过程实时准确地标注和分类对象的能力在工业领域也是非常重要的。精确的深度传感可以确定仓库的空间利用率。从生产线上下来的产品需要快速地确定尺寸以便转移。高分辨率深度传感将允许实时确定目标物体的边缘和线条,并进行快速的体积计算。神经网络方法已经被用于这种体积测定。工厂内产品的自主转移继续增加。像自动导向车(Autonomous guided vehicles,AGV)这样的自主车辆需要在工厂和仓库中更快地自我导航。高精度的深度传感技术将允许传感器实时绘制环境地图,在地图中定位自己,然后绘制最有效的导航路径。这种技术在工厂自动化中的应用面临的最大挑战之一是可能在同一区域工作的其他传感器的干扰。在人类与机器人的合作问题上,安全性永远是要考虑的首要问题,尤其是当机器人身处较为拥挤的工作环境中,它们必须能辨认人与机械以及机械的动作,并作出迅速的反应以避免受伤。因此,自动化工厂中的各类机器人都需要自主避障,如果以激光雷达来解决,成本则需要增加数万元,用双摄像头方案又需要大量的运算和双摄像头精准位置的调教,而ToF则成为解决上述难题的极具性价比的最佳选择。ToF技术也可用在日用的扫地机器人身上,机器人可依靠ToF镜头来给屋子实现智能扫描并精准建图。

    4

    TOF市场前景

    根据Yole数据,2019年全球3D成像和传感市场规模为50.48亿美元,其中,移动&消费应用占比40%,是最大的应用领域,工业、国防&航空航天和汽车应用占比分别为21%、17%、17%;Yole预测2025年全球3D成像和传感市场规模达150.79亿美元,2019-2025年CAGR超过20%,移动&消费应用继续为最大的应用领域,2025年市场规模为81.65亿美元,占比为54%,汽车应用上升为第二大应用领域,2025年市场规模为36.73亿美元,占比为24%。其中ToF传感器未来几年在终端将迎来高速增长。据IHS Markit报告,2018年全球ToF sensor传感器市场规模为 3.7亿美元,占整个3D感测市场的33%,2019年其市场规模同比增长 35%,市场份额达到5亿美金,占比提高至40%左右。基于ToF方案的多方面优势,尤其是成本优势,预计 2022 年,TOF sensor市场规模有望达到7亿美金。这一市场的增长主要是由汽车行业对ToF传感器的需求不断增加、智能手机中3D相机的采用不断增加以及此类智能手机的使用不断增加所推动的。

    3D机器视觉系统在各个行业的应用不断增加,工业4.0的部署不断增加,为ToF传感器市场的增长提供了重大机遇。从具体应用领域来看,未来三年ToF主要的应用市场还是来自智能手机市场,预计2020年对应市场规模超过6亿美元,占整个市场的90%以上其次是平板电脑市场、建筑物检测、智能家居、汽车中控、无人机等应用领域。未来ToF技术将不断渗透到中高端甚至中端机型的功能中去。如果中高端机型被普及ToF技术,那么需求体量将会大幅上升。而随着手机每天使用的3D应用程序不断增加,ToF将来的需求量势必会更大。

    不过,目前虽然市场上已推出过众多手机带有ToF功能,如利用美图功能可优化手机拍照的景深效果、“三维建模”功能可实现体型测量等,但这些功能对于用户来说大多只停留在尝试的阶段,由于并不实用,长期来看难以拉动需求。但是伴随着今年以来疫情的影响,人们消费及生活方式加速向线上转变,ToF镜头主打的虚拟现实功能(AR)将在线上虚拟购物,虚拟游戏体验等方面起到良好的应用。日益增长的线上需求将会被进一步激发,未来会有更多内容厂商推动AR/VR的发展,加上国家对于5G的大力推广,AR/VR将在手机的应用发展得更加成熟。

    在智能手机之外,ToF在3D成像技术方面仍有很大的潜力,随着体感交互、3D识别与感知、环境感知等技术与应用的发展,市场对3D视觉与识别技术的兴趣日益浓厚。在未来可能是sensor市场的一个驱动引擎,可以应用在自动驾驶、医疗检测和物体识别等多种新兴领域。未来几年,ToF技术将在终端迎来高速增长。随着ToF技术的不断成熟和应用场景的不断丰富,手机摄像头、手势交互UI(用户界面)、汽车电子ADAS、安防监控等多个领域,对ToF深度传感器的数量需求都将大幅增长。

    5

    本文涉及公司总目录

    时间截止:2020年6月

    6

    资料参考

    来源:溪林投资,资料参考来源:西南证券,电子发烧网,赛迪集成电路研究所,电子产品世界,半导体行业观察,东方财富证券研究所,广发证券,Markets and Markets

    Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud. Time of Flight Cameras: Principles, Methods, and Applications. Springer, pp.95, 2012, SpringerBriefs in Computer Science, ISBN 978-1-4471-4658- 2. 10.1007/978-1-4471-4658-2 . hal-00725654

    Piatti, D., Remondino, F., & Stoppa, D. (n.d.). State-of-the-Art of TOF Range-Imaging Sensors.

    M.Attamimi,A.Mizutani,T.Nakamura,T.Nagai,K.Funakoshi,andM.Nakano.Real-time 3D visual sensor for robust object recognition. In IROS, pages 4560–4565, 2010.

    来源:新机器视觉(ID:vision263com)

    注:本文内容仅作为行业资讯分享,不代表增强现实核心技术产业联盟立场,如有侵权,烦请联系删除。

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 随着增强现实内 容市场的蓬勃发展,内容厂商不断推动 AR/VR 开发平台的发展,必然会推动 TOF 产业 的发展。TOF 有望接力结构光,从生物感知到虚拟现实,从人脸识别到 3D 建模,带来 产业端升级和用户体验优化,前臵...
  • 结合激光雷达的实现方式,描述飞行时间(TOF)的探测方法。讲述主流的探测手段和分析其优缺点。请尊重原创,转载请说明。
  • 一文览尽ToF深度相机技术

    千次阅读 2020-04-15 07:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达摘要:现行专业级或消费级的3D相机所采用的三角法(Triangulation)和飞时法(Time-of-Flight,ToF),现因...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    摘要:现行专业级或消费级的3D相机所采用的三角法(Triangulation)和飞时法(Time-of-Flight,ToF),现因苹果公司最新版iPad Pro的出现--搭载了d-ToF技术的深度相机--已然为3D视觉在消费场景的应用推动了新的机会。为了让读者更深入地了解ToF技术,我们根据行业现状、学术界的最新成果,编写了此版《ToF深度相机技术白皮书》。全文可下载链接:http://www.deptrum.com/data/Deptrum_ToF_White_Paper.pdf

    1.3D视觉介绍

    3D视觉技术能够获取现实三维场景完整的几何信息,利用带有深度信息的图像来实现对于场景的精准的数字化,从而实现高精度的识别、定位、重建、场景理解等机器视觉的关键功能。以2010年的Kinect和2017年的iPhoneX的发布为标志,3D视觉技术从传统意义上只应用于专业领域的高端技术变成了消费级产品。

    Figure 1‑1 二维空间到三维空间示意图。

    现行专业级或者消费级的3D相机采用两种主流技术,三角法(Triangulation)和飞时法(Time-of-Flight, ToF)[1]。采用三角法的3D视觉技术包括双目技术和结构光技术,基本原理采用三角几何视差来获得目标到相机的距离信息。这种方法在近距离有着很高的精度,但是误差会随着距离增大而快速变大。ToF技术测量相机是指主动投射出的光束经过目标表面反射后被相机接收这个过程的来回的飞行时间,基于光速即可获得目标到相机的距离。ToF技术在不同距离的误差相对三角法更稳定,在远距离有着更好的精度[2]。

    在本文中,我们将介绍消费级的3D视觉技术的主要技术路径。针对ToF技术,我们将介绍其主要实现方法的具体工作原理,各自的优劣势以及技术挑战。根据行业的现状,我们将结合学术界的最新成果,介绍解决当前ToF相机痛点的一些方法。最后,我们也将结合现下行业需求,介绍ToF的一些重要的应用场景。

    2. 3D视觉方案介绍

    常见的3D视觉方案主要包括双目、结构光和ToF三个技术方向。这三种方法各有优劣。虽然本文主要介绍的是ToF技术,本章节将简要地介绍和比较其他两种技术方案,帮助读者全面地了解3D视觉技术方案。

    2.1  双目技术

    双目深度重建利用的是三角测距法计算被测物体到相机的距离。具体的说,就是从两个相机观察同一物体,被观测物体在两个相机中拍摄到的图像中的位置会有一定位置差。正如将一只手指放在鼻尖前,左右眼看到的手指位置会有一个错位的效果。这个位置差称为视差,被摄物离相机越近,视差就越大;距离越远,视差就越小。在已知两个相机间距等相对位置关系的情况下,即可通过相似三角形的原理计算出被摄物到相机的距离。

    Figure 2‑1 双目技术示意图。

    双目深度重建的原理虽然简单,但在实际使用中遇到了两个挑战:计算量大,依赖被摄物的纹理及环境光照。下面对这两个挑战分别展开介绍。

    要计算一幅图中每个像素的深度值,我们需要得到每个像素在两幅图中的一一对应关系。这个关系的建立通常是采用块匹配(block matching)的方法。具体的说,在一幅图中,以一个像素为中心,选取一个固定大小的窗口,在另一幅图中寻找最相似的窗口,从而得到该像素在另一幅图中的对应像素。块匹配算法有很高的计算复杂度,其计算量正比于O(NMWHD),其中N, M为图像的行数和列数,W, H为匹配窗口的宽和高,D为匹配寻找最相似像素的范围。为了达到更好的效果,会采用一些更复杂的改进算法(如Semi-Global Block Matching, SGBM),这就更进一步提高了计算量和复杂度。鉴于此原因,业界常见的方法是将算法固化到特制的ASIC芯片中,从而解决计算量的大的问题,但这一增加了额外的硬件成本和迭代变化周期。

    双目深度重建的另一大挑战是依赖于被拍摄物体的表面纹理和环境光照。利用双目原理重建表面没有任何纹理的物体时,例如拍摄一面白墙,会遇到无法找到匹配的对应像素的问题。另一方面,当拍摄环境的光照很弱的情况下,例如黑灯环境下,匹配也会遇到很大的挑战。结构光技术为解决这两个问题提供了新的思路。

    2.2 结构光技术

    结构光方案是一种主动双目视觉技术。每个结构光相机包括两个基本组件:一个红外激光投射端和一个红外摄像头。其基本思路是将已知的结构化图案投影到被观测物体上,这些结构化图案将根据物体的几何形状和拍摄距离而发生相应的形变。红外摄像头从另一个角度进行观察,通过分析观测图案与原始图案之间发生的形变,可以得到图案上各像素的视差,再根据相机的内外参恢复出深度。

    Figure 2‑2 结构光技术示意图[1]。

    结构光方案可以看成双目方案的一种特例。已知的投射端结构化图案和红外摄像头拍摄到的图案可视为左右双目的观测。结构光重建算法和双目重建算法采用了相似的思想,也面临着类似的挑战,主要包括高计算量和深度突变处的数据缺失。

    为解决这两方面的挑战,光鉴创新地研发了一套高效软核重建算法,将计算量降低了两个数量级,只需一颗普通的ARM嵌入式处理器即可完成高精度深度重建。与此同时,利用多传感融合与深度学习,该算法大幅提升了常见的深度图缺失问题。

    和标准的双目方案相比,结构光方案更为鲁棒,这得益于结构光方案采用的主动光源和投射的结构化图案。具体的说,投射端发出的红外激光照亮了被拍摄物体,这使得拍摄端无需依赖环境光源即可获得亮度稳定的图像输入;另一方面,投射的结构化图案为被拍摄物体增加了表面纹理,这使得拍摄表面没有任何图案的物体也能精准地重建出深度。

    2.3  双目、结构光及ToF技术比较

    为了更直观的比较双目、结构光和ToF技术路径的优劣势,我们汇总了各个每个方案的关键技术参数的比较。其中,i-ToF和d-ToF技术将在之后的章节中具体介绍。


    双目

    结构光

    i-ToF

    d-ToF

    适用场景

    近距离

    近距离

    中远距离

    中远距离

    基本原理

    三角测距

    三角测距

    相位测距

    时间测距

    Sensor

    RGB/IR CMOS Sensor

    IR CMOS Sensor

    i-ToF CIS

    SPAD Array

    工艺难度

    容易

    容易

    中等

    传感器信号

    模拟

    模拟

    模拟

    数字

    发射光脉冲

    低频率

    中高频率

    高频率

    测量精度

    近距离高,随测量距离平方下降

    近距离高,随测量距离平方下降

    距离呈线性关系

    在工作范围内相对固定

    功耗

    多路径串扰

    容易解决

    难度适中

    较难解决

    容易解决

    量产标定

    简单

    中等

    中等

    3. ToF基本原理

    相比双目视觉和结构光方案,ToF 的方案实现起来会相对简单,主要包括发射端和接收端,ToF 传感器给到光源驱动芯片调制信号,调制信号控制激光器发出高频调制的近红外光,遇到物体漫反射后,接收端通过发射光与接收光的相位差或时间差来计算深度信息。现大部分ToF 传感器采用背照式CMOS 工艺技术,该工艺大幅度提高了感光面积,提升了光子收集率和测距的速度,响应时间能够达到ns级,在远距离情况下也能保证高精度。

    3.1 i-ToF原理

    i-ToF,即indirect ToF,通过传感器在不同时间窗口采集到能量值的比例关系,解析出信号相位,间接测量发射信号和接收信号的时间差,进而得到深度。i-ToF 根据调制方式的不同,可分为两种:连续波调制(CW-iToF)和脉冲调制(PL-iToF),分别发射连续的正弦信号和重复的脉冲信号;前者是通过解析正弦信号相位解析深度,而后者是解析脉冲信号相位来解析深度。

    3.1.1  连续波调制(CW-iToF )

    通常采用正弦波调制方式,接收和发射端正弦波的相位偏移和物体距离摄像头的距离成正比, 通过相位偏移来测量距离

    相位偏移 (φ)和 深度(D) 是由积分能量值从上述公式C1C2C3C4解析得到,这几个积分能量值,是四个不同相位延迟的接收窗口采集到的能量,分别对应于在相位采样点0°、90°、180°、270°采样,即:

    其中A为接收到正弦信号的幅度。

    精度方面,CW-iToF精度主要受制于随机噪声和量化噪声,前者与接收光信号信噪比(Signal to Noise Ratio, SNR)成反比,后者与正弦波调制频率成反比。因此,为了提升精度,CW-iToF一般采用大功率短积分时间采样,提高接受光信号SNR;同时提高调制频率以抑制量化噪声。

    量程方面,CW-iToF可解析的相位范围为[0~2????],因此其最大量程为Dmax=c/(2fm )。即频率越高,精度越高,量程也越小。超过量程的深度,将出现周期性的相位卷绕(Phase wrap),测量值错误的落在[0~Dmax]内。

    Figure 3‑1 CW-iTOF工作示意图[3]。

    3.1.2脉冲调制 (PL-iToF)

    在PL-iToF 系统中,激光光源发射带有振幅信息A和时间TP的光脉冲,根据光的飞行速度C,可计算得到最远探测距离dMAX=TP*C/2。反射光信号、背景光以及探测器的噪声集成在三个不同时间段内(见Figure 3‑2)。PL-iToF通过双采样技术提高精度,同激光脉冲同步的第一个窗口W0,同激光信号正交的第二个窗口 W1,是累积反射光信号的两部分,且每个窗口与目标距离成比例;第三个窗口WB在没有光脉冲发射时开启,仅收集背景光信号。如果C0,C1,CB分别表示在窗口W0,W1,WB的光子数,目标距离D,接收到的有效光强度 AR,背景光B可由以下公式得到

      Figure 3‑2 PL-iToF的基本工作原理[4]。

    3.1.3 CW-iToF与PL-iToF对比      

    CW-iToF在工作过程中,不论目标物体的距离是多少,系统都采集了完整时长的反射光。相比之下,PL-iToF在两个窗口内采集的信号的信噪比与距离直接相关。在有背景噪声的情况下,如果目标距离的很近,W1窗口的能量几乎为零,因此,W1信噪比非常差;类似的,在较远的距离,W0中的信号很弱,导致W0的信噪比差。这种效应会导致PL-iToF在近和远距离都有比较大的误差。

    相比CW-iToF连续波调试方式,PL-iToF 解算深度更简单、计算量更低,对于平台后端处理能力要求也相应更低。然而,PL-iToF 的精度取决于发光次数,发光次数越多,精度越高,但同时也会带来功耗的增加。即使在相同平均功耗的情况下,PL-iToF不仅精度弱与CW-iToF,而且对于背景噪声和暗噪声更加敏感[5]。

    因此,现下的主要手机厂商,包括华为、三星、Oppo等,以及ToF芯片厂商,包括索尼,三星,英飞凌等都采用了CW-iToF的方案。

    3.2 d-ToF原理

    d-ToF即direct ToF,相比于i-ToF技术用测量信号的相位来间接地获得光的来回飞行时间,d-ToF (direct time-of-flight) 技术直接测量光脉冲的发射和接收的时间差。由于激光安全的限制以及消费类产品的功耗限制,ToF相机发射的脉冲能量有限,但是需要覆盖完整的视场区域。光脉冲在经过反射回到接收器时,能量密度降低了超过一万亿倍。于此同时,环境光作为噪声,会干扰接收器对于信号的检测和还原。在这种情况下,探测器获取的信噪比不足以直接还原脉冲的模拟信号,进而导致直接测量深度存在很大的误差。因此,d-ToF方法需要有灵敏度极高的光探测器来检测微弱的光信号。

    单光子雪崩二极管(Single Photon Avalanche Diode, SPAD)具有探测单个光子的灵敏度。SPAD在工作状态是一个偏置了高逆向电压的二极管。反向偏压在器件内部形成了一个强大的电场。当一个光子被SPAD吸收转化为一个自由电子时,这个自由电子被内部的电场加速,获得足够的能量撞击其他原子时产生自由电子和空穴对。而新产生的载流子继续被电场加速,撞击产生更多的载流子。这种几何放大的雪崩效应使得SPAD具有几乎无穷大的增益,从而输出一个大电流脉冲[6],实现对于单个光子的探测。

    Figure 3‑3 SPAD雪崩效应示意图. (a)雪崩二极管示意图,光子在吸收区被吸收,转化为自由电子。自由电子在穿过PN结的过程中被电场加速。在获得足够能量时,在放大区产生雪崩效应,使得器件输出一个大电流脉冲。(b)SPAD的CMOS示意图。具体的、结构参数取决于器件采用的CMOS工艺。[7]

    d-ToF技术采用SPAD来实现高灵敏度的光探测,并且采用时间相关单光子技术方法(Time-Correlated Single-Photon Counting, TCSPC)来实现皮秒级的时间精度[8]。光脉冲的第一个被SPAD捕获的光子即可出发SPAD,产生电流脉冲信号。系统的时间数字转换器(Time-to-Digital Converter, TDC)可以转换这个电流脉冲相对于发射时间的延时。SPAD捕获一段脉冲内哪一个瞬间到达的光子具有一定的随机性,这种随机性的概率与光脉冲在该瞬间的能量近似成正比。因此,d-ToF相机重复很多次(比如数千次)发射和探测相同的脉冲信号即可获得每次探测的电流脉冲延时的统计分布。这个统计直方图即恢复了发射脉冲能量随着时间的变化,进而得到了脉冲来回的飞行时间。

    Figure 3‑4 TCSPC方法. 系统控制激光器发射出激光脉冲,通过光学系统投射到目标物体表面。反射回的光脉冲被接受器的光学系统成像到d-ToF传感器上。光脉冲触发SPAD,输出电流脉冲。TDC根据电流脉冲的时间来输出数字化的脉冲时序。一次成像会重复几千到几十万次的脉冲,从而获得TDC输出的统计直方图,重建光脉冲及获得飞行时间。[9]

    4. ToF技术挑战

    4.1  i-ToF挑战

    在实际应用中,i-ToF技术面临着诸多的挑战,真实环境的复杂多变,给深度测量引入了大量的干扰和噪声。这也是i-ToF技术提出已经有数十年的时间,但实际应用却十分有限的主要原因。本章节对i-ToF技术面临的诸多问题进行简要的原理定性分析。

     4.1.1 飞点噪声(Flying pixels)

    在i-ToF测量的深度图中,物体边缘处往往存在大量错误的深度测量值,生成3D点云后,视觉上表现为飞在空中的无效点(如Figure 4‑1所示),称为飞点噪声。飞点噪声使得i-ToF无法有效获取物体边缘的3D信息,这也是当下i-ToF能否得到广泛应用的一大挑战。

    Figure 4‑1 典型的i-ToF测量点云,边缘处存在飞点噪声

    如Figure 4‑2所示,飞点噪声产生的主要原因在于:i-ToF传感器上,每个像素都具有一定的物理尺寸,在测量物体边缘时,单个像素会同时接收到前景和背景反射回来的光线;二者产生的能量叠加在一起,使得传感器获取的原始数据中包含多个距离的信息,使用3.1节原理解算相位计算距离时将得到错误的深度测量值。另外,镜头散射及像素间串扰,有时也会引起飞点噪声,甚至造成背景的大范围变形[10, 11]。

     通过边缘检测等图像算法[12],可以在一定程度上检测并去除边缘飞点噪声,但对散射和串扰引起的变形难以根除,同时,误检也会造成大量有效深度测量值的丢失。

    Figure 4‑2 飞点噪声产生原理示意图:ToF传感器上的蓝色像素仅接收到单一深度信息(前景 or 背景),可以获取正确的测量值(蓝色点);ToF传感器上的绿色像素同时接收到前景和背景反射的光线,两个深度信息叠加在一起无法区分,iToF测量得到错误的深度值(橙色点)。

    4.1.2 多径干扰 (Multi-Path Interference, MPI)

    真实场景中存在复杂的漫反射甚至镜面反射,MPI在原理上会使得测量值变大,严重影响三维重建的效果。

    Figure 4‑3 多径干扰产生原理示意图:图示以测量墙角为例,投射模块投向左边的光线(虚线)经两次反射,与投向右边的光线(实线)同时被ToF传感器接收到 。双重的深度信息导致ToF测量值错误。

    以Figure 4‑4的场景为例,投向桌面的光线经标准件二次反射后被i-ToF传感器接收到,MPI效应导致测量到的标准件形状扭曲;投向标准件的光线经桌面二次反射后被i-ToF传感器接收到,MPI效应导致桌面测量值的错误,桌面近似于一个镜面,桌面测量值接近于标准件的镜像。

    Figure 4‑4 多径干扰示意图:多径干扰导致标准件测量点云形状扭曲(绿色),以及桌面错误地测量成标准件镜像(红色)

    MPI是困扰i-ToF多年的重要问题,一直是i-ToF广泛应用的最大障碍。在过去的十年中,微软,MIT,Waikato大学等诸多研究机构在解决MPI问题上做出了大量算法和系统层面的尝试[13],但仍无法根除该问题。

    4.1.3 强度误差(Intensity Related Error)

    在i-ToF传感器测量到的深度图上,存在一类特殊的误差,即同一平面上不同反射率的区域体现出不同的深度,如Figure 4‑5所示。

    Figure 4‑5 强度误差示意图,同一平面上不同反射率区域呈现不同深度,黑色和灰色区域从平面上凸起[14]。

    i-ToF的强度误差与距离、反射率、积分时间等因素都存在关联,究其产生的原理,就笔者了解所限,误差的解析尚未完全明确。PMD等研究机构在该问题上做出了一些分析和尝试[14],能够缓解强度误差,但难以在全场景消除强度误差的影响。

    4.1.4 远距离-高精度矛盾(Trade-off between range and precision)

    在i-ToF的两种类型上,量程和精度都存在典型的矛盾:

    CW-iToF:调制频率决定量程,频率越低量程越远;同样的相位解析精度下,深度测量精度随频率降低而降低;

    PL-iToF:脉冲宽度决定量程,脉宽越大量程越远;同样的相位解析精度下,深度测量精度随脉宽增加而降低;

    同时,i-ToF往往采用泛光投射,传感器探测到的能量随距离的平方快速衰减,远距离测量的信噪比极差,进一步恶化上述矛盾。远距离和高精度这一对矛盾,在原理上很难调和,通常需要根据实际应用进行权衡,选取最合理的模式配置。

    4.1.5 高频驱动

    i-ToF投射端需要特定驱动芯片(driver IC)驱动激光器发出调制的光信号。一般情况下,为了保证测量精度,CW-iToF采用提高调制频率的方式,PL-iToF则采用窄脉冲高峰值功率的驱动方式。综合起来,iToF对于驱动芯片的主要需求是高调制频率和高峰值功率;同时,驱动芯片的温度系数与i-ToF测量的温漂紧密相关,需要尽可能保证线性。这些需求对芯片工艺,尤其是CMOS工艺有着较高的要求。

    4.1.6 片上集成

    片上集成对于i-ToF芯片的设计提出了较高的要求。一方面,为保证足够的探测灵敏度和测量动态范围,i-ToF往往需要有足够的像素尺寸;另一方面,i-ToF芯片相对于普通图像传感器,增加更复杂的时序控制电路和相关采样电路,整体集成难度更大。

    而消费电子行业,尤其是手机等产品,对芯片有着很高的尺寸限制。在上述要求之下,i-ToF芯片很难集成较高的分辨率,目前市面上主流的i-ToF传感器像素一般在QVGA(320x240)上下;近几年开始,逐步有VGA分辨率的i-ToF传感器进入市场,但其像素尺寸一般不大于7um,且性能上会有一定折扣。

    4.2 d-ToF挑战

    d-ToF技术的误差在正常工作范围内不随距离变化,并且受到多径等因素的干扰较小。在远距离、复杂环境的应用有着优势。然而,d-ToF的技术成熟面临着一系列的挑战,需要在芯片设计、系统设计、制造工艺等方面全面突破才能真正兑现d-ToF技术承诺的优势,并实现在消费场景的普及。本章节将从原理上分析d-ToF技术存在的技术挑战及优化方向。

    4.2.1 暗计数率(Dark Count Rate, DCR)

    相比于传统的摄像头图像传感器(Camera Image Sensor, CIS),SPAD输出的是数字化的脉冲,因此受到电子噪声的影响较小。但是由于在雪崩区域内出现的单个自由电子即可触发计数,从而导致错误的计数,SPAD受到暗噪声的影响较大。

    暗计数率DCR的主要来源包括探测器内由于热产生的自由电子。由于制造工艺和掺杂工艺,器件内部存在Shockley-Read-Hall(SRH)缺陷,释放和捕获载流子。在尺寸为深亚微米(Deep sub-micron, DSM)的CMOS工艺下,电压下降要求更高的掺杂浓度以及更小的PN结尺度。这导致更高的缺陷密度以及更强的加速电场,使得暗计数效应更为严重。相比于高电压的定制工艺,DSM的CMOS工艺暗计数率要高几个数量级[6]。因此,DCR主要取决于制造工艺的特性和优化。

    此外,在雪崩过程中,存在自由电子被缺陷捕获的情况。这些被捕获的电子基于SRH统计速度被重新释放,制造SPAD的暗计数。这被称为AP(after-pulsing)现象。这种现象可以通过在SPAD配合的主动猝熄电路(quenching circuit)来设置一个适合的关闭时间(hold-off time)来解决。在SPAD被触发输出脉冲后,保持一段时间不开启接收新的光子触发,让这些被捕获的电子有足够时间重新释放而不会重新引起雪崩。这个关闭时间通常需要几十到几百纳秒。这段时间被称为SPAD两次探测状态之间的空滞时间(dead time)[15]。空滞时间成为了单位时间内重复测量的脉冲次数的限制。

    通常更大尺寸的工艺有更低的DCR,这与CMOS集成的要求是相悖的。特别对于SPAD阵列,每个像素的SPAD都要配合一个独立的淬火电路,大尺寸的CMOS工艺会导致淬火电路占据像素可观的面积,并且产生更高的功耗。而手机等产品有着很高的尺寸限制,VGA像素的ToF相机的像素尺寸不大于7um。因此,3D集成工艺是SPAD阵列优化暗计数率和感光率的必然要求。即,用大尺寸的制造工艺制作SPAD的感光部分,用更小尺寸的制造工艺制作高集成度的辅助电路,然后将不同工艺的模块3D堆叠。这对SPAD阵列的制造提出了更高的要求。

    4.2.2 光子探测效率(Photon Detection Efficiency, PDE)

    光子探测效率是另一个重要的技术挑战。光探测效率是感光面积的占比FF(Filling factor)与吸收率以及雪崩触发率的乘积。

    对于尺寸受限的SPAD阵列,每个像素的面积尺寸非常有限。这些有限的面积也无法完全用来感光。首先,每个像素之间需要设置保护区域,用于防止像素间的串扰。此外,淬火电路也将占据可观的面积。另外,对于FSI(Front Side Illumination)工艺,用于吸收光子的厚度非常有限,限制了光子的吸收率。

    因此,采用3D集成和BSI工艺将大幅提升PDE。BSI工艺用晶圆的背面接受照射作为光吸收层,吸收厚度得到了数量级的提升。此外,每个像素的辅助电路和光吸收不再共享同一个表面积,因而大幅提升了FF[16]。

    提升PN结偏置电压可以帮助提升PDE,但是高电压会带来更高的功耗和发热以及更高的DCR。针对于具体的应用场景,偏置电压可以作为权衡优化具体某个指标的杠杆。

     4.2.3 串扰(Cross talk)

    采用CMOS工艺的SPAD阵列有共享的电极,帮助提升集成度。但是,一个像素的自由电子被加速后,有可能渗透到相邻的像素,进而出发相邻像素触发计数,造成图像的模糊。传统的CIS也有串扰效应,但是每个像素的自由电子没有被强电场加速,所以渗透到其他像素的情况要远少于SPAD。

     在CMOS设计中,护环(guard ring)被用于防止不同像素的自由电子的串扰。护环有多种设计方法,包括采用STI(Shallow Trench Isolation)和buried n-well等。这些护环的方法和工艺在集成电路设计中都很成熟。但是,由于护环本身占据面积,并且其掺杂会带来附近区域更高的缺陷,因此会影响SPAD的DCR和PDE。

    4.2.4 时间精度

    d-ToF要求亚厘米级或厘米级的测量精度,考虑到光速为每秒30万公里,对应的时间精度要求为皮秒级。时间测量误差主要来源于系统的时序抖动(timing jitter)。激光发射器、系统电路等部分的jitter有很多优化的办法。SPAD中自由电子被加速和渗透的过程是一个随机过程,渗透时间必然存在jitter,是d-ToF系统的时间精度的极限。常见的jitter在100ps左右,对应于1cm左右的误差[17]。更薄的吸收层和有源层可以减小jitter,但如之前PDE的分析所述,降低吸收层厚度会降低PDE。

    4.2.5 SPAD阵列3D集成

    为了有足够的重复次数来获得时序的统计,一帧深度图需要有几千到几十万次的统计数据来实现。SPAD阵列的每个像素都在以1MHz左右的速度重复测量脉冲,而每次触发,TDC都会产生一个时间的数字输出。以100X100像素的SPAD阵列为例,数据量就达到了几十Gbps。而VGA像素的SPAD阵列则将产生1Tbps以上的数据流。在芯片以外去处理这样的数据量是不现实的,要求有25条以上的40Gbps的PCIE通道和几瓦甚至10瓦以上的功耗。所以,提高d-ToF的像素就需要在d-ToF芯片上集成存储和数字处理的能力。芯片需要能够存储每一帧测量过程中的每个像素和每个脉冲对应的TDC的数据,在一帧测量完成后,进行数据处理,计算出每个像素的时序统计,然后输出其来回的飞行时间。

    片上集成对于d-ToF芯片的设计提出了非常高的要求。在一个芯片上需要堆叠用于光探测的SPAD、淬火电路,TDC、存储单元以及运算单元。这要求设计团队同时具有SPAD器件的设计能力和SoC的设计能力。此外,消费类的应用要求芯片的功耗控制在几百毫瓦以内,否则功耗和散热都将成为应用的瓶颈。在这些复杂度之上,需要有足够好的良率,以保证个位数美元的芯片单价。

    5. ToF发展方向

    当前ToF行业现状,d-ToF技术在激光功耗、抗干扰、远距离精度等方面有明显优势,但在工艺和产业链均离成熟尚远,仍需较长时间打磨;i-ToF芯片在工艺和产业链虽已趋于成熟,但达到的效果却不尽完美,从而导致其应用受阻。

    随着2020年发布的iPad Pro等高端消费电子领域的持续关注,d-ToF技术将进入快速迭代发展阶段,技术发展方向可能会集中在:SPAD工艺升级(包括DCR、PDE、jitter等),片上集成度提升(包括片上直方图/深度图算法,I/O,Memory等),TRX系统协同设计等方面;随着工艺和产业链的成熟,d-ToF的技术优势也会逐步释放,占据一定市场空间。

    与此同时,i-ToF仍有很大潜力可以持续挖掘,不论是在算法端,亦或是系统端和应用端均有望通过软硬件的协同设计,弥补原理上的非理想效应[10]。以光鉴科技的mToF (modulated ToF) 方案为例,通过在系统端结合软硬件,引入调制光场的概念,通过空域、频域、时域上的巧妙设计,创新硬件协同前沿算法,在物理上提升i-ToF抗干扰、抗噪声能力,解决i-ToF在实际应用场景中面临的关键痛点,一定程度上可以媲美d-ToF的性能。

    综上所述,我们认为:在d-ToF产业链成熟之前,i-ToF还有很大的潜力可以挖掘,有望先一步抢占3D行业市场份额;而随着工艺和产业链的成熟,d-ToF将逐步从高端消费电子往下渗透,在较长的时间周期中,与i-ToF平分秋色,各自占据重要的市场份额。在d-ToF方案成熟之后,i-ToF在像素、成本等方面有着优势,而d-ToF在功耗、距离以及抗干扰方面有着优势。而不论基于何种技术路线,ToF系统的成像芯片只能解决如何探测和处理返回的光信号;而作为一个3D成像系统,光学系统的设计、投射光的调制和控制、图像数据的算法处理等因素也将决定了一种技术方案是否能够充分发挥出其原理的优势,实现真正适合应用需求的方案。

    6. ToF技术应用

    ToF 的精度取决于其脉冲持续时间,相比双目视觉、结构光方案,ToF 精度不会随着距离增长而显著降低, d-ToF 是远距离应用的关键技术。

    随着2020年苹果iPad Pro 的发布,采用了激光雷达扫描仪ToF 传感器 ,势必会带动ToF 在消费类电子应用的进一步爆发。目前消费电子中ToF 应用以手机为主,华为、三星已在前后摄都搭载ToF 摄像头,今年苹果机型有望也开始搭载ToF技术。

    3D ToF技术在其他领域应用也开始逐步渗透,目前还是主要依赖头部终端厂商的推动,主要的应用领域包括以下场景:

    01

    消费电子

    Figure 6-1 ToF在消费类电子领域应用:(a)ToF体积小,在对于精度要求不高的场景下可以用于简单的人脸活体识别  (b)3D 感应人体关键部位,体感互动游戏  (c) 追踪手部位置和姿势,进行手势控制   (d) 构建三维信息,虚拟与真实环境进行交互

    02

    机器人

    Figure 6-2 ToF在机器人领域应用(a)ToF 低速激光雷达可精确识别障碍物,进行自动避障 (b)测量得到周围环境深度信息,定位自身位置构建地图  (c) 应用于服务型机器人,智能导航  (d) 无人机得到ToF稳定、精准的距离信息定高悬停

    03

    安防监控&轨道交通

    Figure 6-3 ToF在安防监控&轨道交通领域应用:(a)ToF 获得人体深度数据,结合人数统计算法,相比传统监控可实时统计、跟踪人员数量  (b) 通过智能方向识别忽略交错人流  (c)智能停车,广覆盖精准识别车位车辆信息  (d) 实时监控路口车辆。增加监控环境三维信息

    04

    无人驾驶&工业自动化

    Figure 6-4 ToF在无人驾驶&工业自动化领域应用:(a)随着面阵dToF 工艺的成熟,未来纯固态激光雷达将与其他雷达相融合用于无人驾驶中(b)车厢监控,监测驾驶员疲劳状态,监控车内人员情况 (c) 仓储分拣,智能识别货物信息   (d) 物流包裹体积测量,可快速识别包裹长宽高

    7. 总结

    本文介绍了ToF深度相机的基本工作原理和不同技术路径的优势和挑战。我们还比较了ToF与双目和结构光技术方案的优劣势。ToF技术的成熟将带来其在消费电子、机器人、工业自动化、物流等领域的大量应用和突破。

    如果有关于光鉴科技的3D视觉产品的问题,请联系info@deptrum.com 。

    8. 参考文献

    [1] P. Zanuttigh, G. Marin, C. Dal Mutto, F. Dominio, L. Minto, and G. M. Cortelazzo, Time-of-Flight and Structured Light Depth Cameras. Springer, 2016.

    [2] H. Sarbolandi, D. Lefloch, and A. Kolb, "Kinect range sensing: Structured-light versus Time-of-Flight Kinect," Computer Vision and Image Understanding, vol.139,pp.1-20,2015,doi:10.1016/j.cviu.2015.05.006.

    [3] D. S. Fabio Remondino, ToF Range-Imaging Cameras. Springer, 2013.

    [4] H. Sarbolandi, M. Plack, and A. Kolb, "Pulse Based Time-of-Flight Range Sensing," Sensors (Basel), vol. 18, no. 6, May 23 2018, doi: 10.3390/s18061679.

    [5] D. Bronzi, Y. Zou, F. Villa, S. Tisa, A. Tosi, and F. Zappa, "Automotive Three-Dimensional Vision Through a Single-Photon Counting SPAD Camera," IEEE Transactions on Intelligent Transportation Systems, vol. 17, no. 3, pp. 782-795, 2016, doi: 10.1109/TITS.2015.2482601.

    [6] D. P. Palubiak and M. J. Deen, "CMOS SPADs: Design Issues and Research Challenges for Detectors, Circuits, and Arrays," IEEE Journal of Selected Topics in Quantum Electronics, vol. 20, no. 6,pp.409-426,2014,doi: 10.1109/jstqe.2014.2344034.

    [7] B. F. Aull, E. K. Duerr, J. P. Frechette, K. A. McIntosh, D. R. Schuette, and R. D. Younger, "Large-Format Geiger-Mode Avalanche Photodiode Arrays and Readout Circuits," IEEE Journal of Selected Topics in Quantum Electronics, vol. 24, no. 2, pp. 1-10, 2018, doi: 10.1109/jstqe.2017.2736440.

    [8] J. S. Massa, G. S. Buller, A. C. Walker, S. Cova, M. Umasuthan, and A. M. Wallace, "Time-of-Flight Optical Ranging System Based on Time-Correlated Single-Photon Counting," Appl. Opt., vol. 37, no. 31, pp.7298-304,Nov 1 1998,doi: 10.1364/ao.37.007298.

    [9] P. Padmanabhan, C. Zhang, and E. Charbon, "Modeling and Analysis of a Direct Time-of-Flight Sensor Architecture for LiDAR Applications," Sensors (Basel), vol. 19, no. 24, Dec 11 2019, doi: 10.3390/s19245464.

    [10] Y. He and S. Chen, "Recent Advances in 3D Data Acquisition and Processing by Time-of-Flight Camera," IEEE Access, vol. 7, pp. 12495-12510, 2019.

    [11] A. Sabov and J. Krüger, "Identification and correction of flying pixels in range camera data," in Proceedings of the 24th Spring Conference on Computer Graphics, 2008, pp. 135-142.

    [12] M. Reynolds, J. Doboš, L. Peel, T. Weyrich, and G. J. Brostow, "Capturing time-of-flight data with confidence," in CVPR 2011, 2011: IEEE, pp. 945-952.

    [13] R. Whyte, L. Streeter, M. J. Cree, and A. A. Dorrington, "Review of methods for resolving multi-path interference in time-of-flight range cameras," in SENSORS, 2014 IEEE, 2014: IEEE, pp. 629-632.

    [14] M. Lindner, I. Schiller, A. Kolb, and R. Koch, "Time-of-flight sensor calibration for accurate range sensing," Computer Vision and Image Understanding, vol. 114, no. 12, pp. 1318-1328, 2010.

    [15] S. Cova, M. Ghioni, A. Lacaita, C. Samori, and F. Zappa, "Avalanche photodiodes and quenching circuits for single-photon detection," Appl. Opt., vol. 35, no. 12, pp. 1956-1976, 1996.

    [16] T. Al Abbas, N. Dutton, O. Almer, S. Pellegrini, Y. Henrion, and R. Henderson, "Backside illuminated SPAD image sensor with 7.83 μm pitch in 3D-stacked CMOS technology," in 2016 IEEE International Electron Devices Meeting (IEDM), 2016: IEEE, pp. 8.1. 1-8.1. 4.

    [17]  H. Xu, L. Pancheri, G. D. Betta, and D. Stoppa, "Design and characterization of a p+/n-well SPAD array in 150nm CMOS process," Opt Express, vol. 25, no. 11, pp. 12765-12778, May 29 2017, doi: 10.1364/OE.25.012765.

    上述内容,如有侵犯版权,请联系作者,会自行删文。

    推荐阅读:

    吐血整理|3D视觉系统化学习路线

    那些精贵的3D视觉系统学习资源总结(附书籍、网址与视频教程)

    超全的3D视觉数据集汇总

    大盘点|6D姿态估计算法汇总(上)

    大盘点|6D姿态估计算法汇总(下)

    机器人抓取汇总|涉及目标检测、分割、姿态识别、抓取点检测、路径规划

    汇总|3D点云目标检测算法

    汇总|3D人脸重建算法

    那些年,我们一起刷过的计算机视觉比赛

    总结|深度学习实现缺陷检测

    深度学习在3-D环境重建中的应用

    汇总|医学图像分析领域论文

    大盘点|OCR算法汇总

    重磅!3DCVer-知识星球和学术交流群已成立

    3D视觉从入门到精通知识星球:针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕,更有各类大厂的算法工程人员进行技术指导,820+的星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    欢迎加入我们公众号读者群一起和同行交流,目前有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

    ▲长按加群或投稿

    展开全文
  • 从vivo NEX到荣耀V20,从景深测量到动作捕捉,有了ToF技术加持,智能机能够拍出更好的虚化照片,能够化身为体感游戏机……作为3D深度视觉领域三大主流方案之一,ToF技术除了应用在手机上之外,也在VR/AR手势交互、...
  • TOF10120技术参数规格书及代码0711
  • UWB通信中TOF技术详解

    2021-09-16 17:03:08
    1. 什么是ToFToF: Time of flight. 飞行时间。当然这只是一种翻译的方法,其实ToF是一种测距的方法,通过测量超声波/微波/光等信号在发射器和反射器之间的“飞行时间”来计算出两者之间距离。 能够实现ToF测距...

    1. 什么是ToF:

     

    ToF: Time of flight. 飞行时间。当然这只是一种翻译的方法,其实ToF是一种测距的方法,通过测量超声波/微波/光等信号在发射器和反射器之间的“飞行时间”来计算出两者之间距离。

    能够实现ToF测距的传感器就是ToF传感器。ToF传感器种类很多,使用较多的是通过红外或者激光进行测距的ToF传感器。

    2. ToF的原理:

    ToF传感器使用微小的发射器发射红外光或者激光,其中产生的光会从任何物体反弹并返回到传感器。根据光的发射与被物体反射后返回传感器之间的时间差,传感器可以测量物体与传感器之间的距离。

    距离测量是UWB定位的第一步,双向测距是通过两个物体之间信号的飞行时间来计算距离,物体之间的距离可以用无线电波的速度和飞行时间相乘计算得到。    

    上图所示为双向测距过程:     设备A作为测量距离的发起者发起测距请求,设备B作为响应者响应和侦听设备A发起的无线电消息。A给B发送一个无线电消息并记录它的发送时间戳t1,B收到信息后并在一个特定时时延treplyB 后发送一个回复给A,当A收到回复并记录一个接受时间戳t2后,再经过一个特定的时延treplyA 发送一个无线电消息给B并记录发送时间戳t3,最后B接收到信息并记录时间戳t4。 由于往返时间皆已知,则可以得到:

    troundA  = treplyB + 2TOF = t2 - t1

    troundB  = treplyA + 2TOF = t4 - t0

    则信号的飞行时间为: TOF = (troundA - treplyA + troundB-treplyB)/4

    3.ToF技术应用:

    ToF 的精度取决于其脉冲持续时间

    随着2020年苹果iPad Pro 的发布,采用了激光雷达扫描仪ToF 传感器 ,势必会带动ToF 在消费类电子应用的进一步爆发。目前消费电子中ToF 应用以手机为主,华为、三星已在前后摄都搭载ToF 摄像头,今年苹果机型有望也开始搭载ToF技术。

    3D ToF技术在其他领域应用也开始逐步渗透,目前还是主要依赖头部终端厂商的推动,主要的应用领域包括以下场景:

    ToF在消费类电子领域应用:(a)ToF体积小,在对于精度要求不高的场景下可以用于简单的人脸活体识别  (b)3D 感应人体关键部位,体感互动游戏  (c) 追踪手部位置和姿势,进行手势控制   (d) 构建三维信息,虚拟与真实环境进行交互

    展开全文
  • 针对煤矿井下精确实时定位的需求,提出了一种基于TOF技术煤矿井下精确定位系统的设计与实现方案,通过分析矿井巷道的一维线性空间特点,采用主、辅读卡器实现精确定位和方向判断,并采用时分方式解决无线信号冲突问题,极...
  • 为实现综掘工作面无人化作业,提出了一种基于UWB测距技术的掘进机位姿检测方法;分析了TOA定位方法的误差模型,设计了基于UWB信号的TW-TOF测距实验。实验在3个场地进行,分别用以验证信号时延、环境变化、测距范围对系统...
  • 针对目前超宽带TOF井下精确定位技术中对称双边双向测距(SDS-TWR)方法测距效率低、扩展性差,多次回应非对称双边双向测距(ADS-TWR-MA)方法测距效率及定位系统容量仍有提升空间的问题,提出了多标签多锚节点同时测距(ADS...
  • 主流技术方案介绍: 深度相机的分类,基于其成像原理,呈现三足鼎立之势:结构光,飞行时间法,双目立体成像。下面逐一介绍: Structure Light-结构光 原理:将编码的光栅或线光源等投射到被测物上,再使用摄像机...
  • 转自 |睿慕课文章结构前言立体视觉传感器原理简介工业领域应用主流立体视觉的产品TOF相机工作原理TOF工业领域应用一些TOF研究机构1.前言在机器视觉应用中,物体三维形状的获取变得越来...
  • 厂商也就需要更精密的工艺技术。这 就需要 AA(Active Alignment)制程技术,即主动对准。目前一个单摄模组 平均售价 在 4~5 美元,毛利率不到 10%,二一个三摄模组售价在 30~40 美元,毛利率可以达到 20%左右。...
  • 3D sensing是智能手机创新的趋势之一,当前正加速向中低端手机渗透。目前实现3D sensing 共有三种技术,分别为双目立体成像、结构光和ToF,目前已经比较成熟的方案是结构光和TOF
  • 可以使用不同类型的传感器和测量技术来记录被测对象或场景的3D信息。 非接触式测量技术可以估算目标距离,利用微波,超声波或光波[1,2]。 然而,只有后一种技术才能实现良好的角分辨率性能,在紧凑的测量设置中,如...
  • 飞行时间(Time of flight,TOF),代表公司微软Kinect2,PMD,SoftKinect, 联想 Phab,在手机中一般用于3D建模、AR应用,AR测距(华为TOF镜头) 双目视觉(Stereo Camera),代表公司 Leap Motion, ZED, 大疆; ...
  • TOA-TOF.zip

    2021-01-14 15:01:30
    从知网下载的好多篇论文,技术活,当赏!
  • 本文从前端电子系统采集的角度出发,以优化现有系统的时间分辨性能与能量分辨性能为目的,分析TOF技术对前端电子系统的设计需求,并对其进行实施与测试。结果表明设计得到的全局时钟抖动小于10 ps;基于JESD204B协议...
  • 目前手机是 ToF 在消费电子中的主要应用领域,随着市场对 3D 视觉与识别技术的兴趣 日益浓厚,头部终端厂商推动 TOF 技术在 3D 感知和成像方向上不断拓展,我们看到 TOF 技术在智能手机端加速渗透,TOF 的使用进一步...
  • VL6180X是基于ST专利FlightSense™技术的最新产品。这是一项突破性的技术,可以独立于目标反射率测量绝对距离。VL6180X不是通过测量从物体反射回来的光的数量来估计距离(这明显受颜色和表面的影响),而是精确地...
  • 超宽带(UWB技术)是一种基于IEEE802.15.4a和802.15.4z标准的无线电技术,它能够非常准确地测量无线电信号的飞行时间,从而实现厘米精度的距离/位置测量。不同于蓝牙、WiFi等其他定位技术,UWB射频信号与生俱来的物理...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,028
精华内容 1,211
关键字:

tof是什么技术