精华内容
下载资源
问答
  •  没过多久,小米集团的副总裁卢伟冰就看不下去了,直接炮轰荣耀近重点推技术是噱头,骗用户瞎花钱。    之所以小米这边反应激烈,我估计还是荣耀说了这么一句:    巧了,近这阵子小米的宣传...
  • 那么,这个TOF到底什么鬼? 不知道大家是否还记得游戏画面从2D进化到3D时代的那种感动?唯有更加趋近真实的3D立体“视界”,才能带给我们最为震撼和沉浸式的体验。 如今,手机摄像头模块也正走在从2D向3D时代...

    在小米9官宣的过程中,荣耀和小米却因TOF技术隔空互怼了起来,小米认为TOF暂时不成熟所以没在小米9上应用,而荣耀则觉得自家已有对策所以才在荣耀V20身上猎装。那么,这个TOF到底是个什么鬼?

    不知道大家是否还记得游戏画面从2D进化到3D时代的那种感动?唯有更加趋近真实的3D立体“视界”,才能带给我们最为震撼和沉浸式的体验。

    如今,手机摄像头模块也正走在从2D向3D时代过渡的三岔路口,而TOF技术就是其中最有前景和钱景的出路之一。

    3D视觉成像的三个方向

     

    曾经,智能手机只要做到性能强、网速快、拍照清晰、续航持久就可以了。

     

    然而,如今的人们已经不再满足于“屏幕内的视界”,除了需要拍摄更具立体感的照片,更安全的面部识别/支付、3D试妆、AR装潢、AR游戏、体感游戏、全息影像交互等需要“3D视觉成像”技术支撑的应用环境,才是智能手机未来的发展趋势。

     

    根据原理和硬件实现方式的不同,智能手机领域最靠谱的3D视觉成像技术逐渐衍生出了三个方向,它们分别是双目立体成像、3D结构光以及TOF技术

     

    下面,就让我们依次了解一下这三种技术的差异吧。

    1:双目立体成像:无解的光线

    我们去电影院通过立体眼镜观看3D电影,就是双目成像技术的一种表现形式:由于双眼会有视觉差距,从而呈现出立体的画面。在手机领域,配备两颗摄像头阵列,就满足了双目成像技术的最基本要求。

     

    双摄手机能干啥

    如今几乎所有千元以上的新品都在主打双摄模块,而两颗镜头的组合,也赋予了智能手机在一定程度上侦测物体远近的能力,可以拍摄出具备硬件级背景虚化效果的照片。

    ......

    来自光线的困扰

    智能手机所武装的标准摄像头能否拍摄清晰的图像,完全取决于环境的光线,过亮或过暗的光线都会造成识别上的困难

    就拿时下流行的“面部识别”功能为例,无论手机前置摄像头是1颗还是2颗,其本质上还是2D成像,不仅存在被面部照片或面部视频“欺骗”的风险,在漆黑环境下也将彻底失效。

    为此,很多手机还会额外搭配专用的前置红外补光单元,从而解决漆黑环境下的面部识别难题。比如小米8,就在屏幕的刘海部分添加了隐藏式的红外照明原件和红外相机。

     

    需要注意的是,红外补光单元的加盟,依旧无法解决此类手机属于2D成像面部识别的事实,与iPhone X可以用于安全支付的Face ID不可同日而语。

    换句话说,目前智能手机通过双摄模拟双目成像技术的方案,最多只能算是2.5D,无论是精准度还是对光线敏感度的要求,都还不足以帮助手机进入真正的3D视觉成像时代。

     

    2:3D结构光:距离是死穴

    iPhone X是一款里程碑式的产品,它在手机领域首次实现了深度机器视觉技术,依靠名为“结构光技术”的硬件模组,实现了对面部信息采集从2D到3D的进化。

     

    浅析结构光技术

    简单来说,iPhone X在采集面部信息时,前置摄像头基本就是摆设,而是依靠由红外镜头、泛光感应元件和点阵投影器构成的“结构光模具”。

    其中,点阵投影器会发射3万多个肉眼不可见的光点投影在你的脸部,绘制出三维建模的立体面谱,红外镜头则会读取这些点阵图案,并将信息发送到A11处理器的安全隔离区进行匹配对照,而泛光感应则是确保识别面部不受环境光线的影响。

    和前文提到的已经逐渐普及的、基于前置摄像头和软件算法实现的2D面部识别方案相比,iPhone X通过结构光带来的Face ID,具备金融级别的安全等级,因此苹果才敢让Face ID在解锁手机之外,还能用于购买应用以及支付Apple Pay。

     

    如今,结构光技术已经不再是iPhone X的专利,小米8探索版、OPPO Find X等手机都先后引入了类似的技术,从而实现了媲美iPhone X的Face ID能力。

    从技术上来看,iPhone X、小米8探索版和OPPO Find X的结构光模块大致相同,只是在元器件叫法和点阵传感器类型和发射点的数量上存在差异。比如iPhone X将关键元件称为点阵投影器(散斑结构光,可发射3万个识别点)、红外镜头和泛光感应元件;小米8探索版叫点阵投影器(编码结构光,可发射3.3万个识别点)、红外相机和泛光照明元件。

    Find X则称为点阵投影器(散斑结构光,可发射1.5万个识别点)、IR补光灯和IR摄像头。虽然细节上存在不同,但几款手机在面部解锁的体验上却基本相同。

     

    结构光技术的缺陷

    结构光技术帮助手机进入了3D视觉成像时代,但它的实际应用范围还是相对有限,比如它只能放在手机正面与前置摄像头做邻居,目前比较成熟的方案也就是面部解锁、面部支付、3D美颜以及类似Animojis的3D表情制作。

    而未来结构光的优化方向则是实现3D静态建模,扫描用户3D头像信息用于游戏、3D视频通话或进行3D打印。

    此外,结构光的特点是不必获取被拍摄物体的表面纹理,而是将一簇簇的光线投影到物体的表面,进而通过光线采集物体的位置以及三维纵深等信息。然而,正是因为结构光投射的是一簇簇的光线,如果距离过远光线就会发散从而失去识别能力,这也就造成了结构光仅能作用于近距离识别。

     

    无论是iPhone X、小米8探索版还是Find X,只要手机距离面部超过1米左右解锁就会失效。当然,现实中我们手机解锁时距离我们也就是一臂的距离,并不影响结构光的识别,但如果用于更远距离的AR/VR交互就有些不够看了。

     

    3 :TOF技术 未来的趋势

    TOF(Time of flight,飞行时间测距法)同样是一种用于3D视觉成像的技术,它和结构光一样,都是通过光线进行物体的识别,但二者在底层技术和识别效果方面却存在着极大的差异。

     

    TOF技术的原理和优势

    TOF技术的原理,就是通过专用传感器,给目标连续发送光脉冲,然后用传感器接收从物体返回的光,最终通过探测光脉冲的飞行(往返)时间来得到目标物距离。和结构光的点阵传感器相比,TOF技术在距离和精度上有了极大的改善:

    1、结构光技术发射的是一簇簇的光线,而TOF技术发射的是一整面光线,可以见有效深度信息点从3万个提升到30万个甚至更多。

    ......

    转:小米荣耀互怼的TOF到底是个什么鬼?

     

     

    展开全文
  • 再来回顾下什么是TOF技术TOF的全称叫time of flight,中文叫飞行时间技术,它的作用就是把事物从二维的角度上升的三维空间,也就是3D的技术,它可以使画面更立体,人物看起来更鲜活。目前3D成像技术主要有3种,分别...

    小米对于友商真的无所不喷,最近TOF又上镜头了,因为很早小米技术对于TOF定义为噱头,那么TOF难度真没什么用吗?现在小米卢伟冰又提起TOF镜头是要干什么呢?

    89c28ff4165ca6f11c24befd7d6bd9c0.png
    dc7fb03d496e9b1a0b19080c0e56c8af.png

    再来回顾下什么是TOF技术

    TOF的全称叫time of flight,中文叫飞行时间技术,它的作用就是把事物从二维的角度上升的三维空间,也就是3D的技术,它可以使画面更立体,人物看起来更鲜活。

    目前3D成像技术主要有3种,分别是双目立体成像,结构光和TOF。

    • 双目成像技术比较简单,就是利用双摄像头来拍摄事物,再通过三角形的原理来计算距离,再来合成3D图像,但是缺点也是很明显,这项技术对于光照强度比较敏感和依赖图像的特征,所以它非常容易受环境影响,在暗光场景表现非常差。
    47688c2306adc7d4c8e46413da893085.png
    • 结构光就是通过红外激光器,把具有结构的光线投射到物体上,再用红外摄像头进行采集,简单来说就是通过光学来获取物体的3D结构,结构光在应用上更为成熟,它的扫描的效果更为真实,有着更强的3D还原能力,但是缺点就是作用的距离太短,导致应用的种类更少。
    87e1a50340349301a7c57e13f5a8eda4.png
    • TOF就是传感器通过测量光在某介质中传播一段距离所需要的时间,简单讲就是测量光到达物体再回到传感器的时间,运用这样的方法来确定摄像头到物体和周围环境的距离,并通过测量的点生成3D图像。
    18d561eff41eb7cb4891c9ccf7cd3022.png

    ·目前TOF支持更丰富的情景应用,TOF的模组相对来说更小,堆叠简单,当然也有缺点就是3D成像的精度和深度图分辨率没有结构光那么高,功耗也会比较高,但是这些问题相信接下来随着技术的更深层次开发会得到解决的。

    那么TOF用在手机上效果如何

    3D sensing是手机未来创新的趋势之一,我们都是生活在一个三维的空间,对于我们来说。三维立体的3D视觉总比2D的图片要来地生动,而苹果的3D结构光比较昂贵,大部分是使用在工业上,而TOF则是被看好运用在移动端的方案,能够帮人们追求比较生动的直观体验。

    37bfc86f608b56edfcc224b4f942f68f.png

    TOF给手机带来的就是背景虚化,ToF具备更好的景深采集功能,加入智能手机后摄模组后,能够实现快速、远距离获取更高精度的景深信息,从而完成较结构光更大范围的3D建模,而且由于自带红外光源,其在暗光环境下获得的景深信息同样准确。因此,有TOF摄像头参与的成像在虚化效果上会更加真实,富有层次,从而能够带来更好人像模式体验,下面我们举个例子。

    f99197dc91b3953d9d727361e3c7ca07.png

    华为的P30是首次采用TOF镜头的手机,我们采用一张P30拍的图片,如何去检验虚化的效果呢?我们利用一张人头像,放大后,最细微的你能看到发丝根根分明,因为P30的TOF镜头有深度信息,我们看到是一个立体,再配合华为的AI算法,自然就能做到这些效果。

    1fd8c40067fb51a1b7bd82ae3c521d4d.png

    TOF在手机上的运用不仅于拍照

    TOF目前在移动端的应用前景有3D时装,3D装横,AR游戏,体感游戏,还有全息图像交互。我们举个游戏例子来说吧。

    13017120da226bc509a38686cfebb750.png

    体感游戏就是通过TOF镜头来采集被拍摄人的身体深度信息,捕捉和采集身体的动作,进行手势判定,控制预制的3D建模人偶的形象和动作,实现真人和3D虚拟形象跟随,用身体、动作和手势做游戏交互。

    9390605054125b56e86941435beb9fa6.png

    目前5G的运用,加速了AR游戏的开发,目前TOF具有两个优点就是作用距离长、刷新率高,存在远距离3D 测距需求的AR/VR是最能体现 TOF 优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器,游戏控制器的优势在于控制反馈及时、组合状态多。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。所以TOF助力于AR普及,TOF的运用更是给VR游戏成熟的催化剂。

    6479fbe953e5c6f9eed29d7c165c42e0.png

    笔者观点:为什么卢伟冰会提到认为是噱头的TOF技术呢?我个人推测是即将发布的红米K30 pro拍照模组会有一颗TOF镜头,红米作为性价比手机,对于TOF有这么广泛应用,肯定不会错过,主要TOF便宜,易量产,但是让人反感的是友商用的技术,小米没用就是疯狂DISS,最后又疯狂打自己的脸,可以预见的是TOF又是小米用就成熟的技术,反正K30 pro发布也不远了,到时候拭目以待吧。

    展开全文
  • 飞行时间(ToF)一种高精度的距离测绘和3D成像技术,其根据信号的发射与被物体反射后返回传感器之间的时间差来测量传感器与物体之间的距离——飞行时间3D深度传感器发射一个很短的红外光脉冲,...

    无人机或地面系统上的闪光激光雷达(也称为ToF相机传感器)具有许多强大的用途,包括物体扫描、测量距离、室内导航、避障、手势识别、跟踪物体、测量体积、反应式高度计、3D摄影、增强现实游戏等。

    什么是ToF相机传感器?

    飞行时间(ToF)是一种高精度的距离测绘和3D成像技术,其根据信号的发射与被物体反射后返回传感器之间的时间差来测量传感器与物体之间的距离——飞行时间3D深度传感器发射一个很短的红外光脉冲,然后相机传感器的每个像素测量返回时间。

    测距成像ToF相机是一种非常先进的激光雷达系统,它用一个光脉冲或闪光来代替标准的逐点激光束,以实现完全的空间感知。该相机可以感知光线从任何周围物体返回所需的时间,将其与视频数据相结合,并创建实时3D图像。还可用于跟踪面部或手部动作,绘制房间地图,从图像中移除背景,甚至在图像中叠加3D对象。

    c1d3153f7605b08b026bbd970e250ad9.png

    ToF传感器技术的优势

    作为一种新兴技术,ToF或3D Flash LIDAR与传统的点(单像素)扫描仪相机和立体相机相比具有许多优势,包括:

    简单

    与立体视觉或三角测量系统相比,整个系统非常紧凑:照明仅放置在镜头旁边,而其他系统则需要一定的最小基线。

    与激光扫描系统相比,不需要机械运动部件。

    飞行时间相机的一大优势是能够以一张镜头合成场景的3D图像。其他3D视觉系统需要更多图像和运动。

    高效

    从ToF传感器的输出信号中提取距离信息是直接的过程。结果,该任务仅使用少量的处理能力,而对于立体视觉,实现了复杂的相关算法,需要更多的能量和更多的处理能力。

    提取距离数据后,物体检测也是一个简单的过程,因为算法不会受到物体图案的干扰。

    速度

    飞行时间3D摄像机可以单次测量整个场景中的距离。由于摄像头每秒可达到160帧,因此非常适合在实时应用中使用。

    价钱

    与其他3D深度范围扫描技术(例如结构化光相机/投影仪系统或激光测距仪)相比,ToF技术非常便宜。

    ToF是被称为范围成像的少数技术之一。用于产生范围图像的传感器设备有时被称为范围相机。其他的测距技术有立体三角测量、光片三角测量、结构光、干涉测量和编码光圈。

    ToF相机传感器技术与其他技术相比具有巨大的优势,因为它能够在一次拍摄中测量完整场景内的距离。且ToF Flash激光雷达无需扫描仪,这意味着整个场景是通过单个光脉冲(闪光)捕获的,而不是通过旋转的激光束逐点捕获。ToF相机 使用专用的图像传感器可在三个维度上捕获整个场景,因此无需移动部件。

    3D ToF相机传感器在无人机上的10大出色应用:

    1、无人机ToF传感器用于室内导航

    2、无人机ToF传感器用于3D形状扫描

    3、无人机ToF传感器用于农业

    4、无人机ToF传感器用于测量体积

    5、无人机ToF传感器用于防撞系统

    6、无人机上的手势识别ToF

    7、无人机ToF传感器用于测量距离

    8、无人机ToF传感器用于仓储追踪

    9、使用ToF 3D深度相机的无人机摄影机

    10、ToF传感器在无人机及汽车中的创新应用

    (以上内容整理自网络,如有侵权请联系删除!)

    展开全文
  • 本文尝试从ToF技术本身的原理,及其在手机市场的应用出发,来探讨这些年有关ToF技术的传言是否可靠,尤其在今年...比如有人认为掣肘ToF发展的主因应用场景受限,所以ToF迄今似乎都没有什么惊人的市场爆发现象...

     

    本文尝试从ToF技术本身的原理,及其在手机市场的应用出发,来探讨这些年有关ToF技术的传言是否可靠,尤其是在今年新版苹果iPad Pro面世以后,后置新增的那个LiDAR模块是否有机会带动ToF技术发展;且包括华为手机在内的不少智能手机已经连续数年将ToF模组应用于前摄。

    近两年的趋势预测中,似有许多媒体资料和分析机构提到了ToF(Time of Flight)技术的即将爆发,但却似乎又后劲乏力的消息。比如有人认为掣肘ToF发展的主因是应用场景受限,所以ToF迄今似乎都没有什么惊人的市场爆发现象。

    在本文中,我们不想刻意琢磨统计机构的数据,而是尝试从ToF技术本身的原理,及其在手机市场的应用出发,来探讨这些年有关ToF技术的传言是否可靠,尤其是在今年新版苹果iPad Pro面世以后,后置新增的那个LiDAR模块是否有机会带动ToF技术发展;且包括华为手机在内的不少智能手机已经连续数年将ToF模组应用于前摄。

    本周四(5月21号)本文作者将会对其撰写的《消费电子ToF技术与市场分析报告》进行一次线上解说,同时也专门邀请到了英飞凌的技术专家。届时技术专家将对ToF技术的部分细节做更为清晰明了的讲解,并与技术爱好者、市场参与者,以及所有关注ToF技术的人们,做一次深入交流和探讨。

    2015年ToF在手机上的发展

    如果用简单的话来解释ToF,无非就是飞行时间(Time of Flight)。从我们翻阅的资料来看,ToF并不限于光学领域,利用微波、超声波的“飞行时间”来计算对象距离的,都可以认为是ToF技术的应用。那么实际上普通的微波雷达也可说是应用了ToF技术的典型设备。如此,ToF涵盖的技术领域也就变得非常广,而且ToF存在的历史又可以往前推几十年。

    若将ToF限制在光学测距范畴,则ToF也就特指“光的飞行时间”,这也是目前我们对于ToF的狭义理解方式,或者特指“ToF摄像头”。相对简单的解释是:若要测得ToF模组与场景中某个对象(或某个点)的距离,则由ToF模组的光源向该对象发出光(子)。光在发出后抵达该对象,并反射回来,由ToF模组的传感器获得。计量此间“光的飞行时间”,在光速已知的前提下,即可得到距离数据,如图1所示。

    图1

    这是个十分简化的模型,但也基本阐述了ToF技术的核心。而且它也至少透露了ToF模组在硬件实现上,至少需要包括发射端和接收端,当然另外还需要处理信号的芯片、算法与软件。

    近两年ToF话题火热的主因,似乎是3D感知、3D视觉应用的崛起。典型的如iPad Pro所用的后置LiDAR激光雷达。这在我们探讨的ToF范畴内,如果不考虑汽车LiDAR这种能量级别,则iPad Pro的ToF应用已经相对高级和复杂,看起来和消费用户的距离似乎也稍远。在谈这种技术之前,不妨先看看更早以及更贴近生活的ToF应用。

    手机对于“测距”的典型需求是前面板的距离感应:这是多年前功能机时代就存在的特性,即通过距离感应,在接打电话时,耳朵贴近屏幕就让屏幕自动熄屏。早年的距离感应只通过简单的一个光电二极管实现,这种简单的方案在某些场景下会失效,因为它是通过测定外部亮度级变化实现所谓的“距离感应”的。

    从2015年前后,主动光学测距开始应用到手机上:这种测距系统结合了一枚LED,与光传感器。LED会主动发光,如果传感器获取到的反射光强度超过预设的阈值,手机就熄屏。这几乎可以认为是ToF的雏形了,iPhone 6s时代已经在采用这种技术。从TechInsights的拆解分析来看,iPhone 7真正落实了ToF传感器:即不再依赖于反射光强度级变化,而开始计量来自激光二极管的光子飞行时间。

    更早将ToF模组应用于前面板的手机,可追溯至2014年的LG G3、黑莓Passport等。TechInsights的显微拆解显示,当时这些手机普遍开始应用意法半导体的早期VL6180方案。从分析来看,这是一个三合一的光学模组,其中包含了距离传感器、环境光传感器,以及VCSEL光源(垂直腔面发射激光器)。

    图2,来源:TechInsights

    尤为值得一提的是,其中的距离传感器实质是SPAD(单光子雪崩二极管)构成的——有关SPAD后文还会更具体地提及。至少,这颗模组里就已经有了完整的ToF发射端和接收端。2016年意法半导体发布VL53L0,其中去除了环境光传感器,SPAD阵列也发生了变化。虽然从现有拆解资料并不能确定,不过iPhone 7的前置光学模组实际上和VL53L0非常相似,只是更紧凑(图2)。

    在此,这颗ToF模组实际扮演的角色可能至少包括了距离感应,以及应用于前置摄像头的精准测距(对焦)。当时意法半导体在宣传资料中也有特别提及“第二代激光测距传感器”VL53L0X,是“世界上最小的飞行时间测距传感器”。意法半导体的ToF方案选择的皆为SPAD技术,如最新VL53L1、V53L3以及VL53L5相较更早的产品提供相对更远的测距能力和更具弹性的软件配置。目前的很多手机和消费电子产品,多见意法半导体的激光对焦方案。

    意法半导体大中华区及南亚区影像事业部技术市场经理张程怡表示:“过去5、6年时间,意法半导体的ToF传感器出货量超过了10亿,应用到了超过150款手机摄像头中;另外当然还有消费级、工业级应用,如平板、投影仪、机器人、闸机等。”

    到此便不难发现,ToF在电子科技领域,乃至窄化到移动设备方向的应用,就不仅是这两年才出现的。如手机的距离感应,摄像头激光对焦这些前两年的热点,实则都是ToF的典型应用。我们认为,ToF技术这两年又热起来,大致与消费市场的再炒作有关;所谓的“应用场景受限”“后劲乏力”从以上探讨看来,也属于绝对的伪命题,因为这片市场本来就非常繁荣。“从整个市场的角度来看,它和生活很接近,对于ToF效果的争议,几年前也早就结束了,现在大家都很认可。”张程怡说。

    在这种ToF光学测距的“单点”之外,这两年ToF的火热更来自于当这些“单点”形成多点,甚至到“面”和深度图(depth map)的时候,它在3D感知,以及对计算摄影的辅助。华为P/Mate系列手机、苹果iPad Pro平板即是其后的典型应用。这可能才是更多人关注的话题。

    由点到面的ToF

    在谈今年移动设备ToF发展前,有必要将ToF技术在光学测距技术中的存在位置做个梳理。这里我们主体上采用2001年 Optical Engineering(《光学工程》)一书中的分类方法,如下图所示。

    图3,光学测距技术的分类,来源:T. Bosch, Laser ranging: a critical review of usual techniques for distance measurement, Optical Engineering

    光学测距的方法整体上分成主动和被动两种。其中被动(Passive)包括了立体视觉(Stereoscopy,比如人们常说的“双摄测距”)、聚焦合成(Depth-from-Focus,典型的类似技术比如光场相机);而ToF被归类到主动光学测距技术中——主动技术还包括了三角测量(Triangulation,典型的如iPhone中Face ID的结构光)、干涉量度分析法(interferometry)。

    值得一提的是,这个分类方法或许仍然不够全面。比如在不同切分维度中,三角测量这种方法本身就可以分成主动和被动两种,双摄测距的立体视觉就属于被动三角测距方案。再比如说在被动光学测距技术分类上,在深度方面做文章的不仅有depth from focus,还有depth from motion、depth from shape等。由于篇幅限制,我们无法展开探讨各种技术的优劣。这部分内容将在我们未来发布的ToF行业与技术报告中更具体地阐述。

    由于ToF技术这两年异常受关注,ToF测距大方向分成dToF(直接ToF)与iToF(间接ToF)两类也逐渐被更多的人所知。前文提到的ToF简化版原理,以及意法半导体的这类方案实际上说的就是dToF,即发射端发射一个激光脉冲,在碰到场景中的对象后反射,回到接收端的传感器——或者说光电探测器。此间就有个“计时器”电路用于测量时间。从原理上来说,dToF是一种十分直接的技术。不过由于这种技术对于光电探测器、光源和时间检测相关电路有着很高的技术要求,所以其实现相对比较晚。

    也因此dToF所用的传感器常见APD(雪崩光电二极管)——这种二极管有着较高的增益和量子效率,采用APD比较典型的ToF图像传感器厂商有松下。传统的图像传感器,在单光子进入到像素中以后一般仅转为单电子,在光信号比较弱的时候,就有感光能力的问题。简单地说,APD传感器是实现电子倍增。

    就脉冲调制光的方案来看,可采用较低工作周期的照明,主动照明光可以短脉冲宽度以及高峰值输出功率,同时兼顾人眼安全。由于峰值功率较高、SBNR(signal-to-background-noise ratio)也就极大提升,探测距离也就可以比较远;而且APD可以避免多径干扰之类的问题。不过APD像素尺寸一般也非常大,要实施像素大阵列,或者说高像素也就很有挑战。很多选择APD像素的ToF装置也因此需要有包含机械动作的扫描。这就不属于我们要探讨的移动设备或者手机范畴了。

    图4,SPAD横截面,来源:Wikipedia

    dToF方案里另一个比较有代表性的传感器技术是前文就提到的SPAD(单光子雪崩二极管),它和APD的差别在于:它比APD更敏感,一个光生载流子就能触发大量雪崩电流;另外APD的dToF方案里,TDC(time-to-digital converter)的触发信号是由一个互阻抗放大器(TIA)产生的,而SPAD一般能够直接产生数字触发信号,也就是所谓的像素内TDC(in-pixel TDC)。SPAD相比APD得以实现小像素尺寸,而且与CMOS全兼容,SPAD像素阵列芯片级高度集成也就可行了。除了更低的时间抖动,单光子检测属性让脉冲宽度很短,输出功率也就可以比较高,SBNR自然可以更高。

    图5

    在我们常说的LiDAR固态方案里,实施SPAD光电探测器,主动光源通过diffuser器件实现光线的漫射,而不需要真正的机械扫描动作,dToF就能实现并行的每个像素测量,以实现3D感知,从过去ToF仅用于单点测距,到如今3D视觉、建模这样的应用(图5)。当然APD技术实际上也在发展中,比如松下今年才发布了一种名为VAPD(垂直堆栈APD)的技术,以实现像素的小型化,能够实现远距离、高测距精度和更高的像素。

    只不过由于SPAD传感器包括淬火电路在内的各种电路仍然比较复杂,如TDC需要占到很大的片上尺寸,像素也不可能做到像传统摄像头CIS图像传感器那么小——这些都是限制如今dToF传感器尺寸的原因。

    图6,来源:TechInsights

    从TechInsights近期公布的消息来看,iPad Pro 2020应用的LiDAR传感器可能来自索尼(但索尼已公开的DepthSense 3D Sensor似乎只有iToF方案),尺寸是18.0mm²,单像素大小10μm,分辨率具体为3万像素(图6)。虽然我们无法明确这颗传感器具体所用的是何种像素工艺及结构,但考虑到iPad成像模组的大小,这个像素数量在dToF类别中应该已经相当高了。iFixit公布的拆解视频中,也提到其LiDAR红外照明点的密度也远低于前置结构光的Face ID——这当然也是必然的。

    从iPhone 7到iPad Pro 2020的发展,实则就是ToF从测距到3D感知的发展史,仅在短短的这些年间。

    当然不止是苹果,LG、黑莓、华为等一众手机厂商实际也早就开始应用ToF方案了。华为Mate 20 Pro手机在距离感应方案上就应用了来自ams的ToF模组。从System Plus Consulting的拆解来看,这款手机的前置成像模组中包含了一个来自ams的128像素SPAD光电探测器,像素尺寸15μm;当然还有VCSEL光源。

    比较有趣的是Mate 20 Pro的前置光学模组中的3D感知系统实际并不仅有ToF。主要用于面部识别的应该是个典型的结构光模组,其中的VCSEL激光光源都有两个,分别用于点阵投射器(DOT projector)和泛光照明器(flood illuminator),而且来自不同的供应商。当然这是题外话了。

    3D感知正在普及的iToF

    到了华为P30 Pro,后摄方案中也开始应用ToF技术,整体方案来自索尼。这应该是个iToF方案,图像传感器相对常规,像素尺寸10μm,4.7万像素;用于泛光照明的VCSEL光源来自Lumentum。

    像iPad Pro那样在小尺寸移动设备上选择dToF做较大范围的3D检测,现在看来似乎仍是个比较奢侈的方案。因为如前文所述,dToF原理虽然直接,而且更为精确,但它对各组件的时间抖动要求是比较高的,且要求更大的输出功率。相对的iToF精度更低,却更容易实现高帧率,对各部分组件的技术要求也会相对低一些。

    图7,iToF方案中的cwToF连续波方法,来源:ADI

    回顾图3光学测距技术的分类,我们认为这个分类方法在针对iToF的分类上可能也是不够全面的。参照ADI和英飞凌的官方资料都将iToF分类为pToF(基于脉冲的ToF)和cwToF(连续波ToF,图7)。或许cwToF还可以进一步细分,即调频连续波和调幅连续波。cwToF是由光源发出周期性调制信号,接收端检测反射光的相位偏移;而pToF则是由光源发出一系列的短脉冲,接收端的传感器会有个电子快门——电子快门在一系列短时间窗口中捕获反射光。这两者也各有自身的优势和缺点。比如ADI就在自家pToF方法中,选择配备CCD传感器,而非CMOS,这对于实现小像素、更高分辨率,和全局曝光实现快速移动目标检测都有优势。

    需要注意的是,本文探讨ToF模组时,更偏向于探讨接收端的传感器部分,VCSEL属于发射端。如前文所述,dToF对于发射端和接收端都提出了很高的要求。ams业务发展总监徐冰博士也确认道:“ToF的发射和接收技术要求都很高,特别是用于dToF的应用。”ams高级市场经理蔡郑志强也告诉我们,VCSEL发射器在整个系统设计中尤其关键,均匀性、发散角、温飘等因素都很重要;而且由于小型化需求,更对散热等问题提出了更高的技术要求。

    且整个ToF模组也不仅限于这两个部分,另外还至少包含接收端镜头、发射端diffuser在内的光学组件,以及可能包括像ADI这样独立于传感器之外的模拟前端芯片,用于数字化和输出深度数据(如图8),便于快速获取整体图像深度信息。

    图8,pToF方法中,位于CCD传感器之后的ADI前端处理芯片,来源:ADI

    当然我们没有必要仔细去研究某个产品具体应用了何种方法,这里我们看一个相对有代表性的iToF方案:LG G8 ThinQ手机。这款手机的ToF摄像头采用的是英飞凌/pmd的REAL3图像传感器。整体解决方案由英飞凌/pmd设计,模组主要包括了REAL3图像传感器(近红外传感器)以及一个泛光照明器——即VCSEL die来自ams。

    System Plus Consulting的拆解报告显示,这颗传感器的分辨率为224x172(约3.9万像素);相较2016年应用于联想Phab2Pro的同分辨率传感器,尺寸缩减了40%——这大概也能说明移动设备上ToF摄像头模块正在变小,像素正在变小的趋势;另外,VCSEL激光die部分实则也有12%的体积缩减(图9)。

    图9,LG G8 ThinQ的ToF摄像头模组中的VCSEL die,来源:System Plus Consulting

    与前些年手机将ToF应用于距离感应、激光对焦一样,如今实现3D感知的ToF的确越来越成为手机的标配。到这里,即便不观察市场规模的增长数据,我们也基本可以确认,ToF从来不存在所谓的“应用场景受限”或者前景未知的困惑,手机的ToF市场一直都发展得不错。

    抛开测距不谈,3D ToF在手机上的应用至少包括了面部识别(即便或许精度不及结构光)、掌纹识别、隔空手势识别,以及配合计算机成像用于判断场景深度,并配合做到模拟浅景深——也就是模拟单反那样的背景虚化,其准确性会远高于双摄这样的立体视觉方案。

    另外,在移动设备上搭载ToF摄像头,还可进一步促成AR现实增强技术的发展,这也是市场对iPad Pro搭载LiDAR的一个预判。iOS生态的AR开发无需多言,Android平台的ARCore实际上是值得一谈的。这两年一直有传言说,谷歌很快就要为ARCore引入ToF的原生支持。这则消息到去年Google I/O似乎还未有成型,不过在去年12月更新的ARCore API版本中,谷歌的新闻稿提及,“有专门摄像头即ToF传感器的设备,将能够获得更好、更精准的体验。”

    手机之外的更多应用

    受限于篇幅,我们只能以梗概的方式谈手机ToF的应用,有关ToF系统的技术点仍有很多问题未曾涉及。比如在不同的应用场景中采用ToF技术有各自的挑战,如对手机而言,空间限制是个重要因素。英飞凌电源与传感系统事业部大中华区射频及传感器部门总监麦正奇告诉我们:“在像素尺寸缩小,分辨率提高的情况下,如何保证低功耗的要求,是英飞凌和技术开发合作伙伴pmd technologies携手,在相关不同的设计层级,对REAL3 ToF产品进行优化的方向。”

    图10,来源:英飞凌

    以及我们采访的数家ToF企业均提及ToF模组红外传感器技术难点中的背光干扰抑制,SPAD在这方面理论上本身应该是有天然优势的。对于iToF来说,户外场景下ToF摄像头面对十分明亮的背景光,对画面主体的距离测量会产生不良影响(过曝无法提供深度信息)。

    比如英飞凌在传感器中“采用专有SBI(背景干扰抑制)电路,这是一种像素内电路技术,旨在克服各种光照条件带来的影响。”麦正奇说。SBI背光抑制专利似乎一直都是英飞凌对外的宣传重点,实现据说提升“近20倍的动态范围”(图10)。ADI系统应用工程经理李佳也表示,ADI的ToF技术方案“可支持940nm光源,并且每个像素都有独特的背景照明抑制电路。”

    对于ToF,在手机市场之外,我们也有必要探讨其发展前景。徐冰博士说:“市场是需要时间去接收和验证的,ams对于自身的3D技术有着充分的信心。”“ams的ToF相关产品主要应用方向是手机市场、车载市场,安全和支付领域。”

    麦正奇则表示:“尽管智能手机绝对是ToF传感器非常吸引人的一个应用,但其实ToF技术已经在游戏机、智能汽车、智能家居、工业领域和虚拟现实眼镜中得到了应用,还有很多潜在的应用。”

    意法半导体的态度也很明确,张程怡说:“过去5年,到今天以及未来,我们还是相当侧重在消费电子市场,除了像是智能手机的自动对焦,从应用来分还有已经发展起来且在持续发展的投影仪的自动对焦。”“第二是使用者的检验:今年的情况很特殊,我们也发现在检测体温、闸机管制这些场景应用中,ToF也有很大的需求;还有像是智能家居面板,商用电脑、儿童教育面板等。”“第三部分,我们还侧重在障碍物检测,像是家用扫地机器人、酒店展馆的服务机器人等;工厂里的机器人避障也需要使用。”

    ADI在针对非消费市场中,“我们认为下面这些领域ToF可以快速导入:智能建筑领域、用于人脸识别的身份安全验证、汽车倒车影像应用、确保工业自动化操作的安全性、AGV(自动导航车辆)等自动驾驶车辆。”李佳表示。显然,无论是测距还是3D感知,ToF技术的发展都是相当有序的,无论是移动设备,还是其他领域。

    展开全文
  • 在人脸识别竞争激烈市场中,结构光与TOF两种主流解决方案为各大厂商所受用,为何苹果一直钟情于3D结构光,其背后的秘密是什么呢? 从平面到立体的秘密 结构光3D视觉技术中的其中一种,用于获取物...
  • 间接ToF的距离计算

    千次阅读 2018-10-28 19:02:20
    间接飞行时间技术的工作原理使用调制光照射场景, 并测量通过场景中的物体反射后返回光的相位延迟。 得到相位延迟后, 再使用正交采样技术测量并转换为距离。 这样做的好处 由于所需的计算量小,占用空间小且成本...
  • TOF属于3D成像技术的一种,它和苹果当前Face ID使用的结构光类似,都可以收集深度信息。与结构光不同的TOF属于主动式,深度传感器会驱动光源发出调制的脉冲红外光,遇到物体反射后,它会计算出光线发射和反射...
  • 到2025年3D Sensing、IR CIS相关供应链市场规模年复合成长率将达24%什么是3D sensing摄像头到底什么是3D Sensing摄像头呢?它和之前的2D摄像头有什么区别呢?3D Sensing包括哪几种技术方案呢?以及目...
  • 在人脸识别竞争激烈市场中,结构光与TOF两种主流解决方案为各大厂商所受用,为何苹果一直钟情于3D结构光,其背后的秘密是什么呢?从平面到立体的秘密结构光3D视觉技术中的其中一种,用于获取物体平...
  • UWB定位技术的理论精度可以做到毫米级甚至微米,但是在实际场景中部署UWB定位系统,定位精度却千差万别,目前UWB定位系统涉及的算法主要包括TOF、TDOA等,从UWB定位算法、UWB基站的部署、实际的定位场景中等几个方面...
  • 在这个方案里我们使用LoRa直接序列展频DSSS (Direct Sequence Spread Spectrum) 的TOF (Time of Flight)测距方法 ,该测距技术可以视为利用飞行时差来测距。其不同于传统单、双向测距技术TOF 利用无线信号在两...
  • 定位系统同样如此,不管UWB技术,还是WIFI、蓝牙技术等等,抛开实际应用场景及部署情况谈精度都耍流氓。 在了解定位精度之前,我们先了解下UWB的测距方法:TDOA与TOFTOF 飞行时间法(Time of
  • 当贝投影F3一直都当贝旗下品牌热推的主要产品,这款投影仪采用双TOF+CMOS摄像头算法可以进行无感对焦,2枚微型飞行时间传感器TOF,亮度为2050ANSI流明,配置MStar938旗舰芯片和4GB+64GB的超大内存,海量软件,随心...
  • 脉冲激光雷达通过TOF(time of flight)技术,测量脉冲飞行时间来测量距离的。 虽然激光脉冲可以非常短暂,1ps(1e-12s)的脉冲空间长度1e-12s*3e8m/s=3e-4m=0.3mm。1fs(1e-15)脉冲的空间长度更只有0.3um。 ...
  • UWB测距模块

    2020-01-08 14:11:29
    什么是UWB技术 超宽带(Ultra Wide Band,UWB)技术是一种无线载波通信技术,它不采用正弦载波,而是利用纳秒级的非正弦波窄脉冲传输数据,因此其所占的频谱范围很宽。 UWB测距主要依托于TOF测距方法,属于双向测距...
  • 首先来解释一下什么是深度相机吧。 深度相机 顾名思义,深度相机就是可以直接获取场景中物体距离摄像头物理距离的相机。根据原理不同,主要有飞行时间(TOF)、结构光、激光扫描几种方式(注:有些地方将双目...
  • 扫地机器人上机器视觉这一技术已经不是什么秘密... 而在机器视觉技术领域中,又有诸多分类,包括近年来在手机上广泛应用的结构光、ToF,在无人机上应用较多的双目视觉,扫地机器人这波机器视觉浪潮的标配究竟是什么...
  • 飞利浦日本磁共振应用培训介绍了一种简便扫描...这种方法是什么呢? 这种方法,被称为BPAS成像法。BPAS四个字母是Basi-Parallel Anatomical Scanning的缩写。大意即是平行于椎基底动脉系统扫描解剖成像。 为什么需要...
  • 其中两个最著名的原理飞行时间原理(ToF)和调频连续波原理(FMCW)。 1 飞行时间原理:激光脉冲测距 飞行时间原理通过发射激光脉冲来测量传感器到物体的距离。激光脉冲指在短时间间隔内一个接一个地发射多..
  • 基于深度学习的三维点云识别

    万次阅读 多人点赞 2018-10-10 10:23:34
    ​ 随着三维成像技术的发展,结构光测量、激光扫描、ToF技术趋于成熟,物体表面的三维坐标能够精准而快速的获取,从而生成场景的三维数据,能够更好地感知和理解周围环境。三维数据包含了场景的深度信息,能够表示...
  • 目前,立体成像,结构化的光投影和飞行时间(或ToF)这三项领先的3D成像技术正在争夺手机和汽车中的市场空间。 通过3D成像技术,可以实现行人检测,基于面部特征对用户进行身份验证,检测手的移动并提供SLAM(同时定位...
  • 智能手机双摄像头原理解析:RGB +Depth

    万次阅读 多人点赞 2017-03-12 23:29:53
    本篇来探讨一下智能手机...首先来解释一下什么是深度相机吧。 深度相机 顾名思义,深度相机就是可以直接获取场景中物体距离摄像头物理距离的相机。根据原理不同,主要有飞行时间(TOF)、结构光、激光扫描几种
  • 各项室内定位技术的发展为煤矿安全水平的提升提供契机,而在经过一系列煤矿井下定位系统的演变,对定位精度的高要求,UWB定位技术在煤矿井下定位系统中脱颖而出,为什么选择的UWB定位? 煤矿井下定位系统黑科技—...
  • ExtJs编辑器

    2010-05-03 16:22:00
    什么技术含量,但是效果很好。一般编辑器最好的节约时间的工具了、 在线编辑器: http://tof2k.com/ext/formbuilder/ 转载于:https://www.cnblogs.com/java-ivan/archive/2010/05/03/1726419.html...
  • 首先来解释一下什么是深度相机吧。深度相机顾名思义,深度相机就是可以直接获取场景中物体距离摄像头物理距离的相机。根据原理不同,主要有飞行时间(TOF)、结构光、激光扫描几种方式(注:有些地方将双目立体视觉...
  • 什么是空洞卷积,什么是反卷积,作用是什么 如何一张RGB图片生成三维模型 PNG/JPG存储图像的原理 global average pooling 和average pooling区别 FPN的原理,为什么不同尺度feature map融合会有效果提升 无...

空空如也

空空如也

1 2
收藏数 27
精华内容 10
关键字:

tof是什么技术