现行的深度传感镜头作为智能手机的一大创新，已在目前主流智能手机上广泛应用。因苹果在最新版iPad Pro上搭载了D-ToF（直接飞行时间法）深度传感镜头引起了极大的关注，推动了3D视觉在消费场景的新应用机会。为了让读者更全面的了解ToF技术，本文将会分析3D视觉传感技术的基本原理，ToF镜头的相关产业链信息，ToF技术的具体应用以及ToF技术的未来发展前景。
 

 
具体内容概要
 
一、3D视觉方案技术介绍
 
       双目立体视觉法
 
       结构光法
 
二、时间飞行法（ToF）
 
       ToF原理介绍
 
       飞行测量技术（D-ToF）
 
       飞行测量技术（I-ToF）
 
       ToF产业链介绍
 
       ToF镜头模组组成核心硬件：
 
       发射端：
 
        （1）发光单元
 
        （2）准直镜头
 
        （3）DOE扩散片（Diffuser）
 
       接收端：
 
        （1）窄带滤光片和光学镜头
 
        （2）红外CIS（图像传感器）
 
三、ToF技术应用场景
 
       手机
 
       汽车
 
       人脸识别/安保系统
 
       工业领域/物流
 
四、ToF市场前景
 
1
 
3D视觉方案技术介绍
 
3D视觉传感技术是一项重要的科学突破。它是一种深度传感技术，增强了摄像机进行面部和目标识别的能力。相对于2D技术，3D技术除了显示对象的X和Y值之外，还可以提供记录场景或对象的深度值，在感知和处理日常活动的方式上带来了独特的进步，制造商争先恐后地将这些新的进步融入到手机等消费产品中。该技术利用光学技术模拟人类视觉系统，促进了增强现实、人工智能和物联网的出现和应用。
 
目前市面上主流的3D光学视觉方案有三种：双目立体视觉法（Stereo Vision，在下文称双目法），结构光法（Structured Light，在下文称结构光）以及飞行时间法(Time of Flight, ToF在下文称ToF）。此文主要探讨的是ToF，同时会对其他两种主流方案进行技术比较。目前较为成熟的方案是结构光和ToF。其中结构光最为成熟，已经在工业3D视觉中大规模应用。ToF的概念是扎根于深度传感器的。这里的深度传感器是指采用像素阵列来获取整个场景的高分辨率深度分布。对于深度传感器来说，一般用于测量深度的方案分别有结构光、双目和ToF三种，其中结构光（iPhone目前的Face ID就是使用了基于结构光的深度传感器）和双目技术都是基于几何原理做间接深度估计，而ToF则是测量发射光和反射光之间的飞行时间并根据光速来直接估计深度。
 

 

 
1、双目立体视觉法（Stereo Vision）
 
双目立体视觉法的技术原理是通过从两个视点观察同一物体，从而来获得同一物体在不同视角下的图像。通过三角测量原理来计算图像像素间的位置偏差（视差）来获取物体的三维图像，比如把一只手指放在鼻尖前方，左右眼看到手指会有一个错位的效果，这个位置差被称为视差。相机所要拍摄的物体离相机越近，视差越大，离相机越远，视差就越小。由此可以得出，当两个相机的位置等条件已知时，就可以通过计算相似三角形的原理来得出从物体到相机的距离。过程跟人类眼睛的工作原理相似。在双目立体视觉系统的硬件结构中，通常采用两个摄像机作为视觉信号的采集设备，通过双输入通道图像采集卡与计算机连接，把摄像机采集到的模拟信号经过采样、滤波、强化、模数转换，最终向计算机提供图像数据。
 
双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Lawrence Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。随着研究的深入，研究的范围从边缘、角点等特征的提取，线条、平面、曲面等几何要素的分析，直到对图像明暗、纹理、运动和成像几何等进行分析，并建立起各种数据结构和推理规则。特别是在1982年，David Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括，创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用，在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系，使得立体视觉已成为计算机视觉中一个非常重要的分支。
 
一个完整的双目立体视觉系统通常可分为数字图像采集、相机标定、图像预处理与特征提取、图像校正、立体匹配、三维重建六大部分。双目立体成像法具有高3D成像分辨率、高精度、高抗强光干扰等优势，而且可以保持低成本。但是需要通过大量的CPU/ASIC演算取得它的深度和幅度信息其算法极为复杂较难实现，同时该技术易受环境因素干扰，对环境光照强度比较敏感，且比较依赖图像本身的特征，因而拍摄暗光场景时表现差。双目立体视觉法还有另一个限制，它过度的依赖于被拍摄物体的表面纹理，如果被摄物体表面没有明显的纹理，使用双目立体视觉法会无法匹配与之对应的像素的问题。
 

 
2、结构光法（Structured Light）
 
该技术是一种主动双目视觉技术，结构光技术的基本原理是，通过近红外激光器，将具有已知的结构特征（比如离散光斑、条纹光、编码结构光等）的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集三维物体物理表面成像的畸变情况，再通过观测图案与原始图案之前发生的形变由此来得到图案上的各个像素的视差。这个技术通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。其工作原理可看作是另一种双目法，红外激光器和红外摄像头可当做是双目立体视觉法中的左右双目的观测原理。
 
结构光在消费电子领域的商用最早可追溯到2009年，微软与以色列3D感测公司 PrimeSense合作发布了搭载结构光模组的体感设备Kinect一代，2010年11月上市后，该产品成为 2011 年销售最快的消费电子设备。尽管产品大获成功，但第一代 Kinect 的准确度、图像分辨率和响应速度并不理想。2017年苹果发布iPhone X，首次搭载 3D 结构光模组，可实现3D人脸识别技术，成为苹果近几年最大的创新。此前由于半导体工艺等多方面技术的限制，3D 感测很难应用到体积非常有限、功耗要求低的手机上，因此iPhone X 的发布是结构光技术的重大突破，市场对结构光技术的热情重新点燃。主要结构光方案厂商还有美国的英特尔、高通/Himax，以色列 Mantis Vision 以及国内华为、奥比中光等公司。iPhone X 发布后，国内小米、华为和 OPPO 也先后发布了首款搭载结构光模组的智能手机，其中小米采用的是以色列 Mantis Vision 公司的解决方案，华为采用的是自研方案，OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了结构光模组。
 
结构光技术相较于双目技术有一个好处，结构光的红外激光器发射出了光，可以照亮被扫描物体，所以它不需要像双目结构一样依赖于光源，而且在较平整，没有图案的物体表面也可以测算出物体的三维深度。综上所述，结构光相较于双目结构有两个优点：（1）在场景较暗的场景下也可以运作正常（2）在没有明显纹理的物体上也可以实现深度扫描。
 

 
2
 
飞行时间法介绍
 
ToF是Time of Flight的缩写，直译为飞行时间，通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测这些发射和接收光脉冲的飞行（往返）时间来得到目标物距离。传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。
 
ToF最早的商用可追溯到 2006 年 7 月，衍生自CSEM(瑞士电子与微技术中心)的 MESA Imaging公司成立，并推出商用ToF摄像头产品系列 SwissRanger，最开始应用于汽车的被动安全检测。ToF技术首次应用到智能手机是在 2016 年，Google 和联想合作推出了全球首个搭载ToF模组的智能手机 Phab2 Pro，采用的是pmd/英飞凌的ToF方案，该手机可实现一些如三维测量等简易的 AR 应用，但并没有引起市场较大的反响。2018年8月6日,OPPO 在北京召开了ToF技术沟通会, 并在8月23日发布了其首部搭载 ToF 摄像头的智能手机 OPPO R17 Pro,采用了 Sony 的解决方案。随后在 2018 年 12 月，vivo 发布了其首部搭载 ToF 摄像头的智能手机 vivo NEX 双屏版，采用了松下的解决方案; 华为发布了其首部搭载 ToF 摄像头模组的智能手机荣耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。进入 2019 年后，安卓厂商纷纷加入 ToF 镜头的阵营。此后，有越来越多的手机厂商在手机上搭配ToF镜头。
 
典型ToF测量设置描绘在图中,它包含几个构建块:(a)脉冲/调制光源（在ToF中一般使用VCSEL，请见下文解释）(b)光学扩散片将光扩散传播出去,接着当光从物体上反射回来时，用(c)一组透镜收集从物体上折射回来的光。接着经过一个滤光片将折射回来的光收集起来并且适当地调整光源的波长，接着通过改善背景噪声抑制令光波可被芯片所识别。最后,测量系统的核心是由固态量程图像传感器(d)，由一组光探测器（像素）组成，能够直接或间接地测量光脉冲从光源到目标并返回传感器所需的飞行时间。该系统还需要一个合适的传感器接口，为传感器提供电源、所需的偏置电压/电流信号、数字控制相位，并从传感器读取数据流，这通常需要进一步的小处理以获得3D体积数据。最后，传感器接口负责与外部（到PC或处理单元）的通信。
 

 
ToF 技术具有以下的优点：1、软件复杂性低，设计与应用简单 2、在暗光与强光环境下表现不错 3、功耗不高 4、有较远的探测距离 5、成本低 6、响应速度快，缺点则在于室外受自然光红外线影响大、远距离无法保证精度。
 
 
 
飞行时间测量技术（D-ToF）
 
在经典的飞行时间测量中，直接飞行时间（Direct ToF，D-ToF，下文称为D-ToF）的原理比较直接，即直接发射一个光脉冲，之后测量反射光脉冲和发射光脉冲之间的时间间隔，就可以得到光的飞行时间。探测器系统在发射光脉冲产生的同时启动一个高精度的秒表。当探测到目标发出的光回波时，秒表停止并直接存储往返时间。目标距离z可通过以下简单方程估算： 其中表示光在空气中传播的速度。D-ToF通常用于单点测距系统，但由于像素级亚纳秒电子秒表的实现困难，D-ToF的成本以及技术难度相较于I-ToF更高。这项技术特别适用于基于SPAD的ToF系统。目前主流的主流的ToF技术所采用的SPAD（single- photon avalanche diode，单光子雪崩二极管）是一种高灵敏度的半导体光电检测器，其被广泛运用于弱光信号检测领域。结合D-ToF技术，可用来精确检测记录光子的时间和空间信息，继而通过三维重极算法进行场景的三维重构。苹果在2020年发布的第四代iPad Pro中就运用到了D-ToF技术。D-ToF的原理看起来虽然很简单，但是实际能达到较高的精度很困难而且成本对比I-ToF要高很多。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而D-ToF中的核心组件SPAD由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究D-ToF的厂家并不多，更多的是在研究和推动I-ToF。
 

 
飞行时间测量技术（I-ToF）
 
D-ToF的另一种解决方案是所谓的间接ToF（Indirect ToF，I-ToF，下文称为I-ToF），而I-ToF的原理则要复杂一些。在I-ToF中，发射的并非一个光脉冲，而是调制过的光。接收到的反射调制光和发射的调制光之间存在一个相位差，通过检测该相位差就能测量出飞行时间，从而估计出距离。其中往返行程时间是从光强度的时间选通测量中间接外推的。在这种情况下，不需要精确的秒表，而是需要时间选通光子计数器或电荷积分器，它们可以在像素级实现，只需较少的计算工作和硅面积。I-ToF是基于ToF相机的电子和照片混合设备的自然解决方案。
 

 
1、ToF产业链介绍
 
3D传感产业生态链包括光源、光学单元（透镜及滤光片等）、图像传感器及模组制造等直接硬件环节，此外还包括软件、处理器、3D系统设计等。
 

 

 
2、ToF镜头组成核心硬件

 
发射端：1）发光单元：
 
ToF镜头的发光单元通常为能发出特定波长红外线的垂直腔面发射激光器（Vertical-Cavity Surface-Emitting Laser，又译垂直共振腔面射型激光，在下文称VCSEL），VCSEL能以相对较小功率发射出较高的信号。VCSEL是一种半导体，其激光垂直于顶面射出，与一般用切开的独立芯片制成，激光由边缘射出的边射型激光有所不同。传统的光电转换技术一般是用的LED等发光器件，这种发光器多采用的是边缘发射，缺点是体积较大，所以会比较难于半导体技术相结合。20世纪90年代垂直腔表面发射激光VCSEL技术成熟后，解决了发光器件和半导体技术结合的问题，因此迅速得到普及。VCSEL是很有发展前景的新型光电器件，也是光通信中革命性的光发射器件。此外，ToF中泛光照明器的VCSEL输出光束无需经过编码，因此器件制作上更为简单，可供选择的 VCSEL 供应商也更多。顾名思义，边发射激光器是沿平行于衬底表面、垂直于解理面的方向出射，而面发射激光器其出光方向垂直于衬底表面，如下图：
 

 
VCSEL 是 3D Sensing 中重要的部件之一，不仅体现在其功能在体现在其价值量之中。随着 3D Sensing 在手机中进一步渗透，VCSEL 的市场规模将随之扩大。ToF不仅可以在手机中使用，还可以在光通讯、激光雷达等多个领域中使用，市场空间巨大。据市场研究机构 Yole 预测，到 2023 年，整个 VCSEL 市场将达到 35 亿美元，年复合增长率达到 48%。VCSEL 领域具有市场大、增长快、应用广等特点，未来对 VCSEL 的关注度将会日渐提升。从图中可看出未来在VCSEL赛道，主要集中的领域是消费电子、工业领域以及通信。VCSEL 是化合物半导体激光器，因此对应化合物半导体产业链，包括晶圆、外延片(EPI)、IC 设计、晶圆代工和封测等环节。
 

 

 
发射端：2）准直镜头：
 
利用光的折射原理，将波瓣较宽的衍射图案校准汇聚为窄波瓣的近似平行光。采用准直镜头对 VCSEL 出射光束进行准直、形成散斑等整形处理。WLO（Wafer-level Optics，在下文称为WLO）晶圆级光学器件，是指晶圆级镜头制造技术和工艺。与传统光学器件的加工技术不同，WLO工艺在整片玻璃晶圆上，用半导体工艺批量复制加工镜头，多个镜头晶圆压合在一起，然后切割成单颗镜头，具有尺寸小、高度低、一致性好等特点。
 
 
 
发射端：3）DOE扩散片：
 
DOE衍射光学元件（Diffractive Optical Elements，在下文称为DOE）在3D摄像头结构光方案中的作用就是利用光的衍射原理，将激光器的点光源转换为散斑图案（pattern）。首先根据特定衍射图像的光学需求，设计并制作出三维母模，然后根据母模再制作出DOE光栅，光栅表面具有三维的微结构图案，尺寸都在微米级别。激光器发射的线性激光通过DOE的时候发生衍射，衍射光的角度和数量是受DOE上pattern的控制，衍射出来的光斑具备lighting code信息。DOE主要是用于结构光成像技术的摄像头中，DOE的制造成本相对较高。
 
在ToF的发射成像技术中主要运用的是扩散板（在下文称为Diffuser），主要是为显示器提供一个均匀的面光源，ToF投射器主要包括VCSEL + Diffuser，而ToF的VCSEL并不像结构光那样对编码图案有一定要求，只是最常规的规则排列，器件制作上更为简单，装配精度要求也更低。Diffuser是DOE的一种，也属于波束整形器，用于对输入光束进行均一化，通过使较大折射角处具有更大屈光度，使得较窄的光束扩展到更宽的角度范围内，并具备均匀的照明场。TOF 中的 Diffuser 的设计制作难度，比 3D 结构光点阵投影仪中的 DOE 要简单很多。
 
根据光大证券测算，考虑到疫情影响预计2020年全球智能机出货量有所下降，滞后的 5G 需求有望在2021年释放，预计 20~21 年全球智能机出货量分别为 12.6/15.0 亿部，其中 iphone 出货量 1.7/2.1 亿部，安卓机 10.9/12.9 亿部。假设 20~21 年前置结构光在 iphone 的渗透率分别为92%/95%，在安卓的渗透2%/5%，推算结构光摄像头出货量 1.8/2.7 亿颗。假设 20~21 年后置 TOF 在 iphone 的渗透率分别为 25%/50%，在安卓的渗透率 7%/15%，加上 ipad 出货量，推算后置 TOF 摄像头出货量 2.7/4.4 亿颗。假定DOE/Diffuser单价1美元测算，对应DOE 20~21年市场规模1.8/2.7亿美元;Diffuser市场规模 2.7/4.4 亿美元;窄带滤光片按 20~21 年单价 1/0.75 美元测算，对应市场规模 9/10.5 亿美元。
 
接收端：1）窄带滤光片和光学镜头：
 
ToF模组依靠窄带滤光片和光学镜头来收集反射回的光线。滤光片只允许对应波长的红外线通过，抑制其他光线，并降低噪声。近红外识别系统中所用到的窄带滤光片及超薄高性能镀膜也是基于结构光及ToF的3D摄像头技术关键。3D摄像头在接收反射光时要求只有特定波长的光线能够穿过镜头，拦截频率带之外的光线，即隔离干扰光、通过信号光凸显有用信息，因此需要滤光片在接收端过滤掉非工作波段的光波。
 
在窄带滤光片赛道，难度和价值量都高于传统摄像头所用的滤光片，目前仅有 VIAVI 和水晶光电的技术较为成熟，这两家也是苹果iPhone X的窄带滤光片供应商。目前全球仅水晶光电和唯亚威(Viavi)两家企业具备大批量供货的能力。
 

 
接收端：2）红外CIS（下文称为图像传感器）：
 
早年的ToF传感器，多采用CCD(Charge-coupled Device，中文为电荷耦合元件，是一种图像传感器，下面简称CCD),而CMOS是另一种目前市场上更为主流的图像传感器(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体，在下文简称CMOS)。CCD的感光利用率更高，但是功耗十分大，发热严重，也是此前ToF方案未能应用在手机中的原因之一。随着图像传感器厂商不断提高CMOS传感器的技术，通过背照式(Backside Illumination，在下文简称BIS)设计、电流辅助光子演示(CPAD)技术，并将高速率多帧图像合成单张图像用以计算最终的深度，在降低图像噪声的同时降低了功耗，从而使ToF应用于手机成为可能，但对应的ToF传感器芯片成本也高出很多。
 
CMOS图像传感器市场集中度较高，2017年，前十大厂商市场份额合为94%，其中前三家厂商索尼（Sony）、三星（Samsung）、豪威科（Omnivision）市场份额合计占比达73%，CR3较2014年的63%有明显提升。从CIS市场增速来看，根据IC Insights2018年预测，2017-2022年销售额CAGR为8.8%，销售量CAGR为11.7%；根据Yole2018年预测，2017-2023年销售额CAGR为9.4%，而该机构最新预测显示，受到新冠肺炎疫情影响，2020年增速将回落至7%，2021年略有反弹（增速为12%），预计2025年CIS市场规模将达到280亿美元。
 

 
3
 
TOF技术应用场景
 
ToF技术应用场景
 
ToF技术具有丰富的应用场景，在手机、汽车、工业、人脸识别、物流、安抚监控、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。以下将举例ToF在不同领域中的实际应用。
 
 
 

 
手机：
 
目前ToF技术在手机领域的三个应用主要是：安全（人脸识别，支付）、摄影、娱乐（增强现实，在下文简称AR）。
 
ToF技术镜头在手机中用于安全领域的人脸识别和金融支付主要是在运用在手机中的前置摄像头中，此前在手机前置摄像头中运用的三维技术大部分是结构光技术。由于结构光在成本上比ToF要高且工艺更复杂，因此现在的手机人脸识别技术开始从结构光技术向ToF技术转移。代表机型：华为Mate 30 Pro，三星Galaxy S10+5G、Vivo NEX双屏版。例如在Vivo NEX双屏版中，ToF前置摄像头可以运用3D人脸建模技术来进行人脸识别和自拍图片优化。
 
 
 

 
手机摄影：在手机摄影方面，ToF技术让镜头实现对焦更快、精准抠像、探测景深、背景虚化等功能。代表机型：Oppo R17 Pro（国内首台使用ToF技术手机）、华为P30 Pro。
 

 
手机娱乐/教育：AR建模与体感游戏。代表机型：荣耀V20、OPPO R17 Pro，iPad Pro。
 

 
汽车：
 
ToF相机主要应用在三个领域，一个是座舱内部的驾驶者疲劳监测、手势识别、人脸识别。第二个领域是固态激光雷达。ToF相机可以看做一种固态激光雷达。第三个领域是自动泊车领域。在汽车电子领域，以ADAS（Advanced Driver Assistant System，高级驾驶辅助系统）渗透率不断提高为代表的汽车智能化趋势也正加速演进，而作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场也正持续受益。而汽车电子领域以ADAS渗透率不断提高为代表的汽车智能化趋势也正加速演进，作为激光雷达、智能摄像头等深度测距传感器领域最主流的方案，ToF市场正持续受益。根据 AutoLab的数据，2015年10月国内市场各种功能的ADAS的渗透率分别为：BSD 3.8%，AP 2.6%，FCW 2.6%，AEB 2.4%，SVC 2.3%，LDW 1.7%，ACC 1.3%， LKS 0.8%。全球整车市场ADAS的渗透率也低于10%，欧美地区市场接近8%，新兴 国家市场则仅为2%，仍有很大提升空间。据PR Newswire咨询公司测算，未来全球 ADAS渗透率将大幅提升，预计2022年全球新车ADAS搭载率将达到50%。
 
 
 

 

 
人脸识别/安保系统：
 
ToF技术将深度信息添加到2D图像中可以提取有用的信息，并且可以大大提高场景信息的质量。例如，二维传感无法区分真人和照片。提取深度信息可以更好地对人进行分类，跟踪人的面部和身体特征。ToF深度传感可以为安全认证提供高质量、可靠的人脸识别。分辨率和深度精度越高，分类算法越好。这可以用于简单的功能，例如允许访问移动设备/我们的个人家庭空间，或者用于高端使用情况，例如商业敏感区域的安全门访问控制。随着深度传感技术获得更高的分辨率和深度精度，人们的分类和跟踪将变得更加容易。人工智能的使用将使分类具有非常高的可信度，从而创造新的和新兴的应用领域。一个用例用于商业自动开门功能，特别是在阳光强烈的区域。确保一扇门只为一个人而不是其他任何东西打开，可以提高建筑管理的效率，以及安保和安全。
 
工业领域/物流：
 
ToF也可为机器人带来视觉效应。ToF深度传感的一个重要应用将是在工业、制造和施工过程中。通过生产过程实时准确地标注和分类对象的能力在工业领域也是非常重要的。精确的深度传感可以确定仓库的空间利用率。从生产线上下来的产品需要快速地确定尺寸以便转移。高分辨率深度传感将允许实时确定目标物体的边缘和线条，并进行快速的体积计算。神经网络方法已经被用于这种体积测定。工厂内产品的自主转移继续增加。像自动导向车（Autonomous guided vehicles，AGV）这样的自主车辆需要在工厂和仓库中更快地自我导航。高精度的深度传感技术将允许传感器实时绘制环境地图，在地图中定位自己，然后绘制最有效的导航路径。这种技术在工厂自动化中的应用面临的最大挑战之一是可能在同一区域工作的其他传感器的干扰。在人类与机器人的合作问题上，安全性永远是要考虑的首要问题，尤其是当机器人身处较为拥挤的工作环境中，它们必须能辨认人与机械以及机械的动作，并作出迅速的反应以避免受伤。因此，自动化工厂中的各类机器人都需要自主避障，如果以激光雷达来解决，成本则需要增加数万元，用双摄像头方案又需要大量的运算和双摄像头精准位置的调教，而ToF则成为解决上述难题的极具性价比的最佳选择。ToF技术也可用在日用的扫地机器人身上，机器人可依靠ToF镜头来给屋子实现智能扫描并精准建图。
 

 

 
4
 
TOF市场前景
 
根据Yole数据，2019年全球3D成像和传感市场规模为50.48亿美元，其中，移动&消费应用占比40%，是最大的应用领域，工业、国防&航空航天和汽车应用占比分别为21%、17%、17%；Yole预测2025年全球3D成像和传感市场规模达150.79亿美元，2019-2025年CAGR超过20%，移动&消费应用继续为最大的应用领域，2025年市场规模为81.65亿美元，占比为54%，汽车应用上升为第二大应用领域，2025年市场规模为36.73亿美元，占比为24%。其中ToF传感器未来几年在终端将迎来高速增长。据IHS Markit报告，2018年全球ToF sensor传感器市场规模为 3.7亿美元，占整个3D感测市场的33%，2019年其市场规模同比增长 35%，市场份额达到5亿美金，占比提高至40%左右。基于ToF方案的多方面优势，尤其是成本优势，预计 2022 年，TOF sensor市场规模有望达到7亿美金。这一市场的增长主要是由汽车行业对ToF传感器的需求不断增加、智能手机中3D相机的采用不断增加以及此类智能手机的使用不断增加所推动的。
 
3D机器视觉系统在各个行业的应用不断增加，工业4.0的部署不断增加，为ToF传感器市场的增长提供了重大机遇。从具体应用领域来看，未来三年ToF主要的应用市场还是来自智能手机市场，预计2020年对应市场规模超过6亿美元，占整个市场的90%以上其次是平板电脑市场、建筑物检测、智能家居、汽车中控、无人机等应用领域。未来ToF技术将不断渗透到中高端甚至中端机型的功能中去。如果中高端机型被普及ToF技术，那么需求体量将会大幅上升。而随着手机每天使用的3D应用程序不断增加，ToF将来的需求量势必会更大。
 

 
不过，目前虽然市场上已推出过众多手机带有ToF功能，如利用美图功能可优化手机拍照的景深效果、“三维建模”功能可实现体型测量等，但这些功能对于用户来说大多只停留在尝试的阶段，由于并不实用，长期来看难以拉动需求。但是伴随着今年以来疫情的影响，人们消费及生活方式加速向线上转变，ToF镜头主打的虚拟现实功能（AR）将在线上虚拟购物，虚拟游戏体验等方面起到良好的应用。日益增长的线上需求将会被进一步激发，未来会有更多内容厂商推动AR/VR的发展，加上国家对于5G的大力推广，AR/VR将在手机的应用发展得更加成熟。
 
在智能手机之外，ToF在3D成像技术方面仍有很大的潜力，随着体感交互、3D识别与感知、环境感知等技术与应用的发展，市场对3D视觉与识别技术的兴趣日益浓厚。在未来可能是sensor市场的一个驱动引擎，可以应用在自动驾驶、医疗检测和物体识别等多种新兴领域。未来几年，ToF技术将在终端迎来高速增长。随着ToF技术的不断成熟和应用场景的不断丰富，手机摄像头、手势交互UI（用户界面）、汽车电子ADAS、安防监控等多个领域，对ToF深度传感器的数量需求都将大幅增长。
 
5
 
本文涉及公司总目录
 

 

 

 

 
时间截止：2020年6月
 
6
 
资料参考
 
来源：溪林投资，资料参考来源：西南证券，电子发烧网，赛迪集成电路研究所，电子产品世界，半导体行业观察，东方财富证券研究所，广发证券，Markets and Markets
 
Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud. Time of Flight Cameras: Principles, Methods, and Applications. Springer, pp.95, 2012, SpringerBriefs in Computer Science, ISBN 978-1-4471-4658- 2. 10.1007/978-1-4471-4658-2 . hal-00725654
 
Piatti, D., Remondino, F., & Stoppa, D. (n.d.). State-of-the-Art of TOF Range-Imaging Sensors.

 
M.Attamimi,A.Mizutani,T.Nakamura,T.Nagai,K.Funakoshi,andM.Nakano.Real-time 3D visual sensor for robust object recognition. In IROS, pages 4560–4565, 2010.

 
来源：新机器视觉（ID:vision263com)
 
注：本文内容仅作为行业资讯分享，不代表增强现实核心技术产业联盟立场，如有侵权，烦请联系删除。
 
本文仅做学术分享，如有侵权，请联系删文。
 
下载1
 
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
 
下载2
 
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
 
下载3
 
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
 
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
 
3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
 
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
 圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~  
 

1. 深度估计3D相机方案
 
目前市面上常有的 3D 相机方案主要有3种：
 
 
飞行时间(Time of flight,TOF)，代表公司微软Kinect2，PMD，SoftKinect， 联想 Phab，在手机中一般用于3D建模、AR应用，AR测距(华为TOF镜头)
 
 
双目视觉(Stereo Camera)，代表公司 Leap Motion， ZED， 大疆;
 
 
结构光(Structured-light)，代表公司有奥比中光，苹果iPhone X(Prime Sense)，微软 Kinect1，英特尔RealSense, Mantis Vision 等，在手机（iPhone，华为）中3D结构光主要用于人脸解锁、支付、美颜等场景。
 
相机类型
TOF(飞行时间)
RGB双目(Stereo Camera)
结构光(Structured light)
测距方式
主动式
被动式
主动式
工作原理
根据光的飞行时间(相位差异)直接测量距离
 
基于视差原理，RGB图像特征点匹配，三角测量法
 
主动投射已知编码图案，提升特征匹配的效果，三角测量法
分辨率
 
一般低于640×480，
 
Kinect2是512 x 424
 
可达2K高分辨率
可达1080×720
帧率
较高，可达上百帧
一般在30fps
一般在30fps
测量精度
 
测量精度最高可达厘米
 
Kinect2深度误差在1.5cm左右
 
近距离可达毫米精度,2m内误差千分之五(5mm)
近距离能够达到高精度：0.01mm-1mm
测量范围
可以测量较远距离，100m以内
受基线限制，一般只能测量较近的距离，距离越远误差越大，一般在2m（基线10mm）以内
测量距离一般为10m以内
抗干扰
受环境影响较小
黑暗或者纹理特征不明显等环境干扰
室外强光下受干扰较大
功耗
功耗较大，需要全面照射
较大，纯算法功耗
一般，需要局部区域投射图案
优点
 
    
检测距离远。在激光能量够的情况下可达几十米。
受环境光干扰比较小。
 
    
 
硬件要求低，成本也低。普通 CMOS 相机即可。但比较消耗计算资源
 
 
室内外都适用。只要光线合适，不要太昏暗。
 
 
    
方案成熟，相机基线可以做的比较小，方便小型化。
资源消耗较低，单帧 IR 图就可计算出深度图，功耗低。
主动光源，夜晚也可使用。
在一定范围内精度高，分辨率高，分辨率可达 1280x1024,帧率可达 60FPS。
缺点
 
    
对设备要求高，特别是时间测量模块。
资源消耗大。 该方案在检测相位偏移时需要多次采样积分，运算量大。
边缘精度低。
 
限于资源消耗和滤波，帧率和分辨率都没办法做到较高。目前消费类最大也就 VGA。
 
 
    
对环境光照非常敏感。光线变化导致图像偏差大，进而会导致匹配失败或精度低。
 
不适用单调缺乏纹理的场景。双目视觉根据视觉特征进行图像匹配，没有特征会导致匹配失败。
 
 
计算复杂度高。该方法是纯视觉的方法，对算法要求高，计算量较大。
 
 
基线限制了测量范围。测量范围和基线（两个摄像头间距）成正比，导致无法小型化。
 
 
    
容易受环境光干扰，室外体验差。
随检测距离增加，精度会变差。
应用场景
 
无人驾驶车，机器人，Kinect2，在手机中，TOF由于测量距离长，一般用于3D建模、AR应用，AR测距(华为TOF镜头)
 
基于手机的双目应用较少，商用场景较少
 
机器人，Kinect1，手机（iPhone，华为）中3D结构光主要用于人脸解锁、支付、美颜等场景
 
从上面三种主流的 3D 相机成像方案来看，各有优劣，但是从实际应用场景来看，在非无人驾驶领域，结构光，特别是散斑结构光的用途是最广泛。
因为从精度，分辨率，还有应用场景的范围来看双目和 TOF 都没有办法做到最大的平衡。
而且对于结构光容易受环境光干扰，特别是太阳光影响问题，鉴于此类相机都有红外激光发射模块，非常容易改造为主动双目来弥补该问题。
当然这三种方案在发展过程中也有一些互相融合趋势，如主动双目+结构光，取长补短，使 3D 相机能适应更多的场景。
也有一些同时使用，如手机前置基本确认会采用结构光来做 FaceId（人脸认证），但是后置用来做 AR 应用，结构光和 TOF 都有机会。
虽然项目具体使用哪种方案，要结合当前硬件资源，对性能要求等来确定，但从最广泛的使用角度来看，散斑结构光无疑是目前最佳的方案。
 

2. 深度估计技术说明
 
(1) 双目相机（双目立体视觉法）
 
包括一套经过校准的相机（至少两个），已经为其估算了一个通用的3D参考系统。深度图是基于立体三角测量的。即使有多个研究让我们在这方面取得了相当大的进步，但是多目相机估计的深度仍然是不可靠的，特别是在强度/色彩均匀的场景中；
 
RGB双目相机因为非常依赖纯图像特征匹配，所以在光照较暗或者过度曝光的情况下效果都非常差，另外如果被测场景本身缺乏纹理，也很难进行特征提取和匹配。
 
产品：
 
视迅动作捕捉_全球领先的动作捕捉技术公司
(2) 结构光3D
 
扫描仪将红外结构光图案投射到现场。当将图案投影到三维形状的表面上时，观察到的图案几何扭曲[79]。通过比较预期的投影模式（如果场景中没有物体）和变形的观察模式，可以恢复表面形状的精确几何重建。可以将各种图案投射到场景上，例如光条纹或任意的条纹。深度估计可能是不可靠的，特别是在反射或透明表面的情况下。Kinect传感器（版本1）属于这种类型的相机。
 
苹果公司：SMI 眼球追踪技术； PRIMESense 3D结构光技术包括器件和实现方案；FACESHIFT 面部捕捉技术，先行垄断了3D人脸核心技术。
OPPO FINDX：3D结构光采用奥比中光，体验和算法采用 FACE++ 旷视。成为安卓阵营首个3D结构光技术接近苹果XS的终端。
华为 MATE20 PRO：自主研发，误识别率不高于百万分之一,军用级别安全可靠，更配合多维度用户使用场景，3D建模等。
相关参考：
 
【深度相机系列四】深度相机原理揭秘--结构光（iPhone X 齐刘海原理）_计算机视觉life-CSDN博客_结构光相机原理
华为，苹果，OPPO：揭开3D结构光的神秘面纱 - 知乎
奥比中光：奥比中光 | 3D传感 - 3D人脸识别 - 3D感知 - 人工智能视觉
 
红外投影结构光人脸三维重建：红外投影结构光人脸三维重建_clipp_Huang的博客-CSDN博客_红外结构光
 
 
 
(3) 飞行时间（ToF）
 
顾名思义是测量光飞行时间来取得距离，具体而言就是通过给目标连续发射激光脉冲，然后用传感器接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标物距离。
 
因为光速激光，通过直接测光飞行时间实际不可行，一般通过检测通过一定手段调制后的光波的相位偏移来实现。
 
TOF 法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。
 
脉冲调制需要非常高精度时钟进行测量，且需要发出高频高强度激光，目前大多采用检测相位偏移办法来实现 TOF 功能。
 
 
 
 
基本原理：
 
深度相机（二）——飞行时间（TOF）_马大哈先生的博客-CSDN博客_飞行时间
 
【深度相机系列二】深度相机原理揭秘--飞行时间（TOF）_计算机视觉life-CSDN博客_深度相机原理
 
 
TOF、RGB双目、结构光优劣分析: 深度相机（一）——分类：TOF、RGB双目、结构光优劣分析_马大哈先生的博客-CSDN博客_tof相机与双目相机的优劣
 
相关产品：
 
SHARP2Y0A02 红外测距对管测试
Arduino红外传感器-Sharp GP2Y0A02YK 红外测距传感器 (20~150cm)  
Acconeer-红外测距传感器 ： 7米量程，精度1毫米，汽车中使用较多
 
 
 
 

   深度相机按照深度测量原理不同，一般分为：飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。
一、TOF简介    
    飞行时间是从Time of Flight直译过来的，简称TOF。其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成。与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同的3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。
    TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射，比如下图所示的采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。


    TOF的优势：与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps。TOF的深度信息。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。TOF的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。
二、TOF分类
    TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。


                                          飞行时间法深度测量基本原理示意图

（一）脉冲调制
脉冲调制方案的原理比较简单，如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。

                                                      光脉冲法工作原理示意图
    脉冲调制方案的照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。接收端的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G0，G1）可以把电流导入不同的可以储存电荷(下图S0，S1)的电容里。


    相机上的控制单元打开光源然后再关闭，发出一个光脉冲。在同一时刻，控制单元打开和关闭接收端的电子快门。接收端接收到的电荷S0被存储在感光元件中。
    然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。新接收到的电荷S1也被存储起来。具体过程如下图所示。    


    因为单个光脉冲的持续时间非常短，此过程会重复几千次，直到达到曝光时间。然后感光传感器中的值会被读出，实际距离可以根据这些值来计算。
    记光的速度为c，tp为光脉冲的持续时间， S0表示较早的快门收集的电荷， S1表示延迟的快门收集的电荷，那么距离d可以由如下公式计算：



     
 

    最小的可测量距离是：在较早的快门期间S0中收集了所有的电荷，而在延迟的快门期间S1没有收集到电荷，即S1 = 0。代入公式会得出最小可测量距离d=0。
    最大的可测量的距离是：在S1中收集了所有电荷，而在S0中根本没有收集到电荷。然后，该公式得出d= 0.5 x c × tp。因此最大可测量距离是通过光脉冲宽度来确定的。例如，tp = 50 ns，代入上式，得到最大测量距离d = 7.5m。
优点：
测量方法简单，响应较快
由于发射端能量较高，所以一定程度上降低了背景光的干扰
缺点：
发射端需要产生高频高强度脉冲，对物理器件性能要求很高
对时间测量精度要求较高
环境散射光对测量结果有一定影响
（二）连续波调制
    实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比(见后面推导)，因此可以利用相位偏移来测量距离。


连续波调制原理示意图
    连续波调制的测量原理相对脉冲调制来说复杂一些，我们以最常用的连续正弦波调制来推导一下测量的原理。


连续正弦波调制测量方法示意图
    连续正弦波调制测量方法，具体的推导过程如下。序号1-9对应下图的公式1-9。
假设发射的正弦信号s(t)振幅是a，调制频率是f
经过时延 △t后接收到的信号为接收r(t)，衰减后的振幅为A，强度偏移（由环境光引起）为B
四个采样时间间隔相等，均为T/4
根据上述采样时间可以列出四个方程组
从而可以计算出发射和接收的正弦信号的相位偏移△φ
据此可以根据（6）中公式计算物体和深度相机的距离d
接收信号的衰减后的振幅A的计算结果
接收信号强度偏移B的计算结果，反映了环境光
A, B的值间接的反应了深度的测量精度，深度测量方差可以用公式9近似表示。


连续正弦波调制公式推导
优点：
相位偏移（公式5）中的(r2-r0)和(r1-r3)相对于脉冲调试法消除了由于测量器件或者环境光引起的固定偏差。
可以根据接收信号的振幅A和强度偏移B来间接的估算深度测量结果的精确程度（方差）。
不要求光源必须是短时高强度脉冲，可以采用不同类型的光源，运用不同的调制方法
缺点：
需要多次采样积分，测量时间较长，限制了相机的帧率
需要多次采样积分，测量运动物体时可能会产生运动模糊。 
三、总结
    目前的消费级TOF深度相机主要有：微软的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用，最典型的就是微软的Kinect 2。
    TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。
    但是，从前面的原理不难看出，TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离；TOF深度相机与基于特征匹配原理的深度相机不同，其测量精度不会随着测量距离的增大而降低，其测量误差在整个测量范围内基本上是固定的；TOF深度相机抗干扰能力也较强。因此，在测量距离要求比较远的场合（如无人驾驶），TOF深度相机具有非常明显的优势。
四、TOF相机公司网址：
<1>MESA公司：SR4000
官网：www.mesa-imaging.ch
<2>PMD公司：CamCube3.0
官网：www.pmdtec.com
<3> Canesta公司：XZ422
官网：www.canesta.com
<4> Fotonic公司
官网：http://www.fotonic.com/content/Company/Default.aspx

转自：
【深度相机系列二】深度相机原理揭秘--飞行时间（TOF）
https://blog.csdn.net/electech6/article/details/78349107
深度相机之TOF初探
https://blog.csdn.net/figo829/article/details/8560673

 
 
点击上方“小白学视觉”，选择加"星标"或“置顶”
 
重磅干货，第一时间送达

本文转自 | 新机器视觉

 

 
3D TOF 相机特性
 
利用TOF技术成像的设备被称为TOF相机（或TOF摄像头）， TOF相机与普通机器视觉成像过程也有类似之处，都是由光源、光学部件、传感器（TOF芯片）、控制电路以及处理电路等几部单元组成。这种技术跟3D激光传感器原理基本类似，只不过3D激光传感器是逐点扫描，而TOF相机则是同时得到整幅图像的深度信息。
 
与同属于非侵入式三维探测、适用领域非常类似的双目测量系统相比，TOF相机具有根本不同3D成像机理。双目立体测量通过左右立体像对匹配后，再经过三角测量法来进行立体探测，而TOF相机是通过入、反射光探测来获取的目标距离获取。
 
TOF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射。
 
与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。
 
作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。
 
因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。
 
TOF相机优缺点分析
 
TOF相机优点：
 
1、相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景；
 
2、深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用；
 
3、经过进一步深化处理，可以完成三维建模等应用；
 
4、能够快速完成对目标的识别与追踪；
 
5、主要配件成本相对低廉，包括CCD和普通 LED 等，对今后的普及化生产及使用有利；
 
6、借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效；
 
7、无需扫描设备辅助工作。
 
TOF相机缺点：
 
1、相对于普通数码相机，其造价仍然偏高，影响该产品目前的普及使用率；
 
2、相机本身仍然受到硬件发展的限制，更新换代速度较快；
 
3、测量距离较常规测量仪器短，一般不超过 10 米；
 
4、测量结果受被测物性质的影响；
 
5、大多数机器的测量结果受外界环境干扰较为明显，尤其是受外界光源干扰；
 
6、分辨率相对较低，
 
7、系统误差及随机误差对结果影响明显，需要进行后期数据处理。
 
TOF应用领域
 
TOF技术具有丰富的应用场景，在汽车、工业、人脸识别、物流、安抚监控、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。
 
汽车：TOF传感器可以用于自动驾驶，通过TOF技术对行车环境进行感知，从而获取环境信息以增加安全性，此外TOF还可以用于汽车内的乘客离位检测。
 
工业领域：TOF传感器可以被用作HMI(人机接口：Human Machine Interface)，在高度自动化的工厂中，工人和机器人需要在很近的距离下协同工作，TOF设备可以用于控制各种情形下的安全距离。
 
人脸识别系统：TOF相机的亮度图像和深度信息可以通过模型连接起来，迅速精准的完成人脸匹配和检测。
 
物流行业：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；
 
安防和监控：利用景深进行人数统计（ Peoplecounting）俗称“数人头”，确定进入某区域的人数；通过对人流或复杂交通系统的人数统计，实现对安防系统的统计分析设计；以及敏感地区的检测对象监视；
 
机器视觉：工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备；
 
机器人：使用深度视觉进行导航、识别外界的环境、规划路径、实现避障工作等；
 
医疗和生物：足部矫形建模、病人活动/状态监控、手术辅助；
 
互动娱乐：动作姿势探测、表情识别、娱乐广告；在制作影视特时，TOF相机可以将深度信息附加在视频图像中，精确确定场景中每个像素的空间位置。通过简单的后期处理，就能将特效道具插入影片的任何位置。
 
此外，无论是固定式还是移动式的，TOF设备都可以作为一个性能优异的输入设备。TOF相机的手势识别能力特别适用于消费电子领域，例如游戏、手持式设备和家庭娱乐，以TOF设备为第一人称游戏提供了直观的接口，完全可以代替远程控制，鼠标和触摸屏。
 
下载1：OpenCV-Contrib扩展模块中文版教程

 
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
 
下载2：Python视觉实战项目52讲
 
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
 
下载3：OpenCV实战项目20讲
 
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
 
交流群

 
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~