精华内容
下载资源
问答
  • 深度相机

    2018-08-23 12:00:43
    基于结构光原理的深度相机 2、kinect v2 基于TOF原理的深度相机 (二)Intel RealSense系列 对比于微软的Kinect系列,realsense系列更加注重近距离的脸部,手部的跟踪,而Kinect更加注重于较远距离的人体骨架...

    参考网址

    (一)微软

    注:Kinect在2017年已经停产了,基于Kinect还是有许多应用的。

    1、Kinect v1

    基于结构光原理的深度相机
    这里写图片描述

    2、kinect v2

    基于TOF原理的深度相机
    这里写图片描述

    两者对比
    这里写图片描述
    参考对比网址:https://www.cnblogs.com/TracePlus/p/4136297.html


    (二)Intel RealSense系列

    这里写图片描述
    对比于微软的Kinect系列,realsense系列更加注重近距离的脸部,手部的跟踪,而Kinect更加注重于较远距离的人体骨架跟踪。

    1、RealSense F200

    2、RealSense R200

    基于双目结构光技术的深度相机

    3、RealSense D400

    4、RealSense ZR300

    5、RealSense SR300


    (三)Leap Motion Controller

    官网:https://www.leapmotion.com/product/desktop#108


    (四)Orbbec Astra

    这里写图片描述

    Astra & Astra pro

    基于红外结构光的深度相机
    支持基本的手势跟踪,可以用于手势识别的人机交互,但是不支持骨架提取。
    因为本人正在接触奥比中光的Astra s这款深度摄像机,所以了解稍微多一些。
    官方网址:http://www.orbbec.com.cn/sys/list/11.html
    奥比中光有单独的SDK,也有支持OpenNI的包,都可以使用,其中自带的实例实现存在一定的不同。

    详细参数见:奥比中光ASTRA产品规格书
    这里写图片描述


    (五)图漾

    图漾科技是一家位于上海的创业公司。该公司有小型的易于集成的主动双目深度相机(不包含RGB),也有可独立使用的RGB+主动红外双目深度相机。其中RGB-D相机包含工业级和消费级多种型号,以一款消费级RGB-D深度相机FMB11-C为例进行介绍。


    (六)Occipital Structure

    Structure sensor 是一款可以和苹果的iPad完美结合的产品,通过一根数据线与iPad链接,自带可充电锂电池(续航4小时),通过应用APP就能够方便的扫描人像、物品、场景等三维模型。操作简单,模型的生成速度非常快。同时,使用其提供的OpenNI SDK支持 Windows, macOS, Linux 和 Android。
    Structure sensor和其他深度相机主要关注人体/手势跟踪的定位不同,它更注重三维扫描和设备自身的跟踪。使用Structure sensor的SDK,用户可以实现混合现实的体验,虚拟的物体可以和真实的物理世界进行交互,并且还能模拟类似真实空间的遮挡效果。
    https://structure.io/


    (七)Stereolabs ZED

    Stereolabs ZED 是基于RGB双目立体视觉原理的深度相机。室内和室外都能使用,最远深度范围可达20m,深度图分辨率也很高,最高 4416x1242 @ 15FPS,也可以根据帧率需要调整,最高帧率1344x376 @ 100FPS,最大覆盖视场角为110°。
    虽然硬件参数比较出众,但是提供的SDK比较弱,只能简单的得到深度数据流,没有人脸/手势/骨架跟踪相关的工具包支持,需要开发者自己完成。

    Zed Stereo camera非常适合于室外环境下高帧率、远距离的应用,主要应用于AR/VR,自主机器人等场景。

    官网:https://www.stereolabs.com/zed/


    (八)DUO

    DUO是美国的一家创业公司,主要产品有:DUO MLX, DUO MC, DUO M。我们以DUO MLX为例进行介绍。

    展开全文
  • 深度相机 结构光

    2018-07-08 22:01:26
    深度相机,结构光,论文,自己去体会。深度相机,结构光,论文,自己去体会。
  • 双目立体视觉深度相机的工作流程 双目立体视觉深度相机详细工作原理  理想双目相机成像模型  极线约束  图像矫正技术  基于滑动窗口的图像匹配  基于能量优化的图像匹配

    本文已经首发在个人微信公共号:计算机视觉life(微信号CV_life,欢迎关注!


    导读

    为什么非得用双目相机才能得到深度?

    双目立体视觉深度相机的工作流程

    双目立体视觉深度相机详细工作原理

        理想双目相机成像模型

        极线约束

        图像矫正技术

        基于滑动窗口的图像匹配

        基于能量优化的图像匹配

    双目立体视觉深度相机的优缺点

    ---------------------------------------------------


    基于双目立体视觉的深度相机类似人类的双眼,和基于TOF、结构光原理的深度相机不同,它不对外主动投射光源,完全依靠拍摄的两张图片(彩色RGB或者灰度图)来计算深度,因此有时候也被称为被动双目深度相机。比较知名的产品有STEROLABS 推出的 ZED 2K Stereo Camera和Point Grey 公司推出的 BumbleBee。

    ZED 2K Stereo Camera



    为什么非得用双目相机才能得到深度?


    说到这里,有些读者会问啦:为什么非得用双目相机才能得到深度?我闭上一只眼只用一只眼来观察,也能知道哪个物体离我近哪个离我远啊!是不是说明单目相机也可以获得深度?


    在此解答一下:首先,确实人通过一只眼也可以获得一定的深度信息,不过这背后其实有一些容易忽略的因素在起作用:一是因为人本身对所处的世界是非常了解的(先验知识),因而对日常物品的大小是有一个基本预判的(从小到大多年的视觉训练),根据近大远小的常识确实可以推断出图像中什么离我们远什么离我们近;二是人在单眼观察物体的时候其实人眼是晃动的,相当于一个移动的单目相机,这类似于运动恢复结构(Structure from Motion, SfM)的原理,移动的单目相机通过比较多帧差异确实可以得到深度信息。


    但是实际上,相机毕竟不是人眼,它只会傻傻的按照人的操作拍照,不会学习和思考。下图从物理原理上展示了为什么单目相机不能测量深度值而双目可以的原因。我们看到红色线条上三个不同远近的黑色的点在下方相机上投影在同一个位置,因此单目相机无法分辨成的像到底是远的那个点还是近的那个点,但是它们在上方相机的投影却位于三个不同位置,因此通过两个相机的观察可以确定到底是哪一个点。


    双目相机确定深度示意图



    双目立体视觉深度相机简化流程


    下面简单的总结一下双目立体视觉深度相机的深度测量过程,如下:


    1、首先需要对双目相机进行标定,得到两个相机的内外参数、单应矩阵。

    2、根据标定结果对原始图像校正,校正后的两张图像位于同一平面且互相平行。

    3、对校正后的两张图像进行像素点匹配。

    4、根据匹配结果计算每个像素的深度,从而获得深度图。


    欲知详情,且看下面详细介绍。



    双目立体视觉深度相机详细原理


    1、理想双目相机成像模型

    首先我们从理想的情况开始分析:假设左右两个相机位于同一平面(光轴平行),且相机参数(如焦距f)一致。那么深度值的推导原理和公式如下。公式只涉及到初中学的三角形相似知识,不难看懂。


    理想情况下双目立体视觉相机深度值计算原理


    根据上述推导,空间点P离相机的距离(深度)z=f*b/d,可以发现如果要计算深度z,必须要知道:


    1、相机焦距f,左右相机基线b。这些参数可以通过先验信息或者相机标定得到。


    2、视差d。需要知道左相机的每个像素点(xl, yl)和右相机中对应点(xr, yr)的对应关系。这是双目视觉的核心问题。


    2、极线约束

    那么问题来了,对于左图中的一个像素点,如何确定该点在右图中的位置?是不是需要我们在整个图像中地毯式搜索一个个匹配?


    答案是:不需要。因为有极线约束(名字听着很吓人)。极线约束对于求解图像对中像素点的对应关系非常重要。


    那什么是极线呢?如下图所示。C1,C2是两个相机,P是空间中的一个点,P和两个相机中心点C1、C2形成了三维空间中的一个平面PC1C2,称为极平面(Epipolar plane)。极平面和两幅图像相交于两条直线,这两条直线称为极线(Epipolar line)。P在相机C1中的成像点是P1,在相机C2中的成像点是P2,但是P的位置事先是未知的。


    我们的目标是:对于左图的P1点,寻找它在右图中的对应点P2,这样就能确定P点的空间位置,也就是我们想要的空间物体和相机的距离(深度)。


    所谓极线约束(Epipolar Constraint)就是指当同一个空间点在两幅图像上分别成像时,已知左图投影点p1,那么对应右图投影点p2一定在相对于p1的极线上,这样可以极大的缩小匹配范围。


    根据极线约束的定义,我们可以在下图中直观的看到P2一定在对极线上,所以我们只需要沿着极线搜索一定可以找到和P1的对应点P2。


    极线约束示意图


    细心的朋友会发现上述过程考虑的情况(两相机共面且光轴平行,参数相同)非常理想,相机C1,C2如果不是在同一直线上怎么办?


    事实上,这种情况非常常见,因为有些场景下两个相机需要独立固定,很难保证光心C1,C2完全水平,即使是固定在同一个基板上也会因为装配的原因导致光心不完全水平。如下图所示。我们看到两个相机的极线不仅不平行,还不共面,之前的理想模型那一套推导结果用不了了,这可咋办呢?


    非理想情况下的极线


    不急,有办法。我们先来看看这种情况下拍摄的两张左右图片吧,如下所示。左图中三个十字标志的点,在右图中对应的极线是右图中的三条白色直线,也就是对应的搜索区域。我们看到这三条直线并不是水平的,如果进行逐点搜索效率非常低。


    左图中三个点(十字标志)在右图中对应的极线是右图中的三条白色直线


    3、图像矫正技术

    怎么办呢?把不理想情况转化为理想情况不就OK了!这就是图像矫正(Image Rectification)技术。


    图像矫正是通过分别对两张图片用单应(homography)矩阵变换(可以通过标定获得)得到的,的目的就是把两个不同方向的图像平面(下图中灰色平面)重新投影到同一个平面且光轴互相平行(下图中黄色平面),这样就可以用前面理想情况下的模型了,两个相机的极线也变成水平的了。


    图像校正示意图


    经过图像矫正后,左图中的像素点只需要沿着水平的极线方向搜索对应点就可以了(开心)。从下图中我们可以看到三个点对应的视差(红色双箭头线段)是不同的,越远的物体视差越小,越近的物体视差越大,这和我们的常识是一致的。


    图像校正后的结果。红色双箭头线段是对应点的视差


    上面讲到的对于左图的一个点,沿着它在右图中水平极线方向寻找和它最匹配的像素点,说起来简单,实际操作起来却不容易。这是因为上述都是理想情况下的假设。实际进行像素点匹配的时候会发现几个问题:


    1、实际上要保证两个相机完全共面且参数一致是非常困难的,而且计算过程中也会产生误差累积,因此对于左图的一个点,其在右图的对应点不一定恰好在极线上。但是应该是在极线附近,所以搜索范围需要适当放宽。


    2、单个像素点进行比较鲁棒性很差,很容易受到光照变化和视角不同的影响。


    4、基于滑动窗口的图像匹配

    上述问题的解决方法:使用滑动窗口来进行匹配。如下图所示。对于左图中的一个像素点(左图中红色方框中心),在右图中从左到右用一个同尺寸滑动窗口内的像素和它计算相似程度,相似度的度量有很多种方法,比如 误差平方和法(Sum of Squared Differences,简称SSD),左右图中两个窗口越相似,SSD越小。下图中下方的SSD曲线显示了计算结果,SSD值最小的位置对应的像素点就是最佳的匹配结果。



    滑动窗口匹配原理示意图


    具体操作中还有很多实际问题,比如滑动窗口尺寸。滑动窗口的大小选取还是很有讲究的。下图显示了不同尺寸的滑动窗口对深度图计算结果的影响。从图中我们也不难发现:


    小尺寸的窗口:精度更高、细节更丰富;但是对噪声特别敏感

    大尺寸的窗口:精度不高、细节不够;但是对噪声比较鲁棒


    不同尺寸的滑动窗口对深度图计算结果的影响


    虽然基于滑动窗口的匹配方法可以计算得到深度图,但是这种方法匹配效果并不好,而且由于要逐点进行滑动窗口匹配,计算效率也很低。


    5、基于能量优化的图像匹配

    目前比较主流的方法都是基于能量优化的方法来实现匹配的。能量优化通常会先定义一个能量函数。比如对于两张图中像素点的匹配问题来说,我们定义的能量函数如下图公式1。我们的目的是:


    1、在左图中所有的像素点和右图中对应的像素点越近似越好,反映在图像里就是灰度值越接近越好,也就是下图公式2的描述。


    2、在 同一张图片里,两个相邻的像素点视差(深度值)也应该相近。也就是下图公式3的描述。


    能量函数


    上述公式1代表的能量函数就是著名的马尔科夫随机场(Markov Random Field)模型。通过对能量函数最小化,我们最后得到了一个最佳的匹配结果。有了左右图的每个像素的匹配结果,根据前面的深度计算公式就可以得到每个像素点的深度值,最终得到一幅深度图。



    双目立体视觉法优缺点


    根据前面的原理介绍,我们总结一下基于双目立体视觉法深度相机的优缺点。


    1、优点

    1)、对相机硬件要求低,成本也低。因为不需要像TOF和结构光那样使用特殊的发射器和接收器,使用普通的消费级RGB相机即可。


    2)、室内外都适用。由于直接根据环境光采集图像,所以在室内、室外都能使用。相比之下,TOF和结构光基本只能在室内使用。


    2、缺点

    1)、对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像,而由于光照角度变化、光照强度变化等环境因素的影响,拍摄的两张图片亮度差别会比较大,这会对匹配算法提出很大的挑战。如下图是在不同光照条件下拍摄的图片:


    不同光照下的图像对比


    另外,在光照较强(会出现过度曝光)和较暗的情况下也会导致算法效果急剧下降。


    2)、不适用于单调缺乏纹理的场景。由于双目立体视觉法根据视觉特征进行图像匹配,所以对于缺乏视觉特征的场景(如天空、白墙、沙漠等)会出现匹配困难,导致匹配误差较大甚至匹配失败。

    纹理丰富(左)和纹理缺乏场景(右)


    3)、计算复杂度高。该方法是纯视觉的方法,需要逐像素计算匹配;又因为上述多种因素的影响,需要保证匹配结果比较鲁棒,所以算法中会增加大量的错误剔除策略,因此对算法要求较高,想要实现可靠商用难度大,计算量较大。


    4)、相机基线限制了测量范围。测量范围和基线(两个摄像头间距)关系很大:基线越大,测量范围越远;基线越小,测量范围越近。所以基线在一定程度上限制了该深度相机的测量范围。



    展开全文
  • 基于深度相机实现的障碍物检测。基于深度相机实现的障碍物检测。基于深度相机实现的障碍物检测。基于深度相机实现的障碍物检测。基于深度相机实现的障碍物检测。
  • 通过前面一系列的文章,我们已经了解了深度相机的原理及其广泛的应用。看起来深度相机貌似是一种完美产物。可是稍微有点哲学思维的读者都知道,世界上不存在绝对完美的物体,万物都有两面性,而这两个方面是既对立又...

    通过前面一系列的文章,我们已经了解了深度相机的原理及其广泛的应用。看起来深度相机貌似是一种完美产物。可是稍微有点哲学思维的读者都知道,世界上不存在绝对完美的物体,万物都有两面性,而这两个方面是既对立又统一的。

    那么深度相机光辉的一面背后,是否也隐藏有一些不为人知的坑?

    答案是肯定有,而且挺深。

    下面我们来探讨一下:深度相机在应用开发上有哪些需要特别注意的坑。

    《深度相机哪家强?附详细参数对比清单》里最后的参数对比清单中,我们发现在消费级深度相机产品中,结构光原理的深度相机具有绝对的数量优势,加上iPhone X的前置深度相机也采用了结构光,这无疑给移动端厂商释放了信号,预计2018年出货的带深度相机的手机也会大概率沿用结构光原理的深度相机解决方案。

    因此,我们抓主要矛盾,主要探讨结构光深度相机到底埋了哪些坑。

    黑色物体的影响

    先给出结论:

    基于红外的结构光深度相机对深色(尤其是黑色)物体的测量一般不准确,甚至测量失败(没有深度值)。

    如果不关心原因,可以跳过这一节后续内容,直接进入下一节。

    下面是具体解释:

    我们首先从物体的颜色说起。我们看到的物体的颜色是由于物体对不同波长的光具有选择性吸收而产生的。这个原理可以通过化学实验直观的观察到:当一束白光照射某溶液时,若溶液不吸收可见光,则白光全部通过,溶液呈现无色透明;若溶液吸收了某种颜色的单色光,那它就呈现出被吸收光的互补光。而溶液颜色的深浅,取决于浅溶液中吸光物质的浓度。

    那么什么是互补光呢?

    可以简单理解如下:如果两种不同颜色的单色光按一定的强度比例混合可以得到白光,那么就称这两种单色光为互补色光,这种现象称为光的互补。下图右中连线的两端构成互补光。

    互补光示意图

    举个例子吧,更容易理解:

    根据上图,我们知道黄光(波长580-610nm)的互补光是蓝光。因此,一束白光入射到某溶液,如果该溶液吸收了白光中的黄光,那么该溶液的表观颜色就是被吸收的黄光的互补光,也就是蓝色。如下图所示:


    物体对光的选择性吸收决定了物体本身的颜色

    因此,不难推断,如果溶液对可见光全部吸收,溶液就会呈现黑色。

    而结构光一般采用的是人眼不可见的近红外光,它也是可以被物体吸收的。只不过因为其本身是不可见光,人眼无法直接观察到红外光被吸收的现象。

    这里写图片描述
    但是通过红外成像传感器我们很容易观察到红外光被吸收的现象。

    如下图所示,被测物体表面不同颜色(现在我们知道是不同物质对不同光的吸收不同)对结构光深度相机成像的影响。从图中可以明显看出深色物体(尤其是黑色物体)对红外光的吸收能力非常强,这导致投射在黑色物体上的红外光无法返回,红外成像传感器因为无法接收到返回的红外光,因此也就无法测量物体的深度。


    红外散斑图(左)及其彩色图(右)

    但是,这里要补充一点,虽然黑色物体都能够吸收可见光,但并不是所有的黑色物体都能够吸收红外光(虽然接近可见光波长)。不过从概率上讲,黑色物体既然能够吸收大量的可见光,那它能够吸收红外光的概率还是很高的。

    好吧,绕了这么大一圈。我们终于明白了为什么红外结构光对黑色物体的测量很多时候是无能为力的。下面给出一个实例,直观感受一下。下图右红框内黑色表示无深度值,可以看到黑色的椅子背靠和支撑腿都没有深度值。

    这里写图片描述
    彩色图(左)及对应深度图(右):黑色物体的影响

    光滑物体表面反射的影响

    老规矩,先给结论:

    当物体表面超过一定的光滑程度时,深度相机测量精度会急剧下降,甚至测量失败(没有深度值)。

    赶时间的可以跳过该小节后续内容,对原因感兴趣的可以继续往下看。

    让我们的思绪飞回到初中物理课题上,物理老师正在讲解光线的镜面反射和漫反射原理。他在黑板上画出了如下两张图。

    这里写图片描述
    漫反射和镜面反射示意图

    上图左是漫反射示意图,指的是投射在粗糙表面上的光向各个方向反射的现象。当一束平行的入射光线射到粗糙的表面时,表面会把光线向着四面八方反射,所以入射线虽然互相平行,但由于各点的法线方向不一致,造成反射光线向不同的方向无规则地反射。

    自然界几乎所有的物体表面都符合漫反射条件,比如大气层、动植物、地面、墙壁、衣服等,有些物体表面粗看起来似乎很平滑,但用放大镜仔细观察,就会看到其表面其实是凹凸不平的。因此本来是平行的太阳光被这些表面反射后,弥漫且随机的地射向不同方向。

    漫反射是物体可以清晰成像的基础,因此我们从不同角度看同一物体,都能看的比较清楚。因此,深度相机中的成像端能够接收到足够的光线,从而清晰的成像。

    而相比之下,镜面反射发生在物体表面(接近)绝对光滑的情况下,比如水面、镜子、抛过光的金属表面等。当物体表面发生镜面反射时,只有当被测物体位于深度相机的发射端和接收端(成像端)的中垂线时,才能接收到反射光线,并且强度很集中,容易发生过度曝光;而其他情况下能够接收到的反射光线非常少,无法成像。

    下面给出一个实例,直观感受一下。下图左中光滑的桌面在下图右红框中对应的深度值是无效的(右图中黑色表示没有深度值)。

    这里写图片描述
    彩色图(左)及对应深度图(右):光滑表面反射的影响

    透明物体透射的影响

    我们知道红外光是可以轻松穿透普通透明玻璃的。所以除了前面提到的反射的影响,红外光在一定条件下还可能产生透射现象,这会给红外结构光深度相机带来新的问题:我称之为深度值的歧义性。

    我们想象深度相机投射出一束红外光到一块普通的玻璃上,这束红外光不会发生镜面反射,它会穿透玻璃继续前行,如果透过玻璃后能够在有效测量范围内遇到其他物体并反射回红外光,那么此时深度相机测量的深度值其实是玻璃后面物体距离相机的距离,并不是玻璃表面距离相机的距离。更悲剧的是,很多时候光线透过玻璃后是一个开阔空间,透射过玻璃的红外光线就变成了“肉包子打狗,有去无回”,因此没有对应的深度值。如下图所示。

    这里写图片描述
    彩色图(左)及对应深度图(右):玻璃透射的影响

    视差的影响

    结构光深度相机的发射端和接收端通常有一定的间距,因此在物体的边缘会存在一定的视觉盲区。这对于较远的物体边缘影响不大,但是对于近距离的物体边缘影响较大,会产生无效深度值的类似阴影的区域(如下图红框内所示)。

    这里写图片描述
    彩色图(左)及对应深度图(右):视差的影响

    以上是几种比较常见的坑,此外还有很多小坑,比如红外光点恰好打在物体边缘造成的边缘深度不准确等。

    好吧,关于深度相机的坑就说到这儿吧。

    展开全文
  • 本文的深度相机制造商涉及:Microsoft、Intel、Leap Motion、Orbbec、图漾、Occipital Structure、Stereolabs 、DUO。 文末附深度相机详细对比清单。Microsoft Kinect微软推出了两款Kinect,Kinect一代(Kinect v1)...

    本文首发于微信公众号:计算机视觉life。
    这里写图片描述

    本文的深度相机制造商涉及:Microsoft、Intel、Leap Motion、Orbbec、图漾、Occipital Structure、Stereolabs 、DUO。 文末附深度相机详细对比清单。


    Microsoft Kinect

    微软推出了两款Kinect,Kinect一代(Kinect v1)是基于结构光原理的深度相机,Kinect二代(Kinect v2),是基于TOF原理的深度相机。如下所示:
    这里写图片描述

    Kinect v1,v2的性能参数对比如下:
    这里写图片描述

    这里主要介绍一下Kinect V2。Kinect V2具有较大的红外传感器尺寸,并且(相对于其他深度相机)具有较宽阔的视场角,生成的深度图质量比较高。此外,Kinect V2的SDK非常给力,SDK中提供了同时最多进行六个人的骨架追踪、基本的手势操作和脸部跟踪,支持 Cinder 和 Open Frameworks,并且具有内置的Unity 3D插件。但是,Kinect V2也有一些缺点,比如一台电脑只能连接一个Kinect v2设备,只能在Windows8及以上的操作系统上使用等。

    Intel RealSense

    Intel RealSense系列深度相机定位不同于Microsoft的 Kinect 系列,Kinect更注重较远距离的人体骨架跟踪,而RealSense 更注重近距离的脸部、手部跟踪,主要应用场景是笔记本电脑、Pad、虚拟现实设备。

    Intel RealSense系列有很多选择,比如较早的RealSense F200、RealSense R200,较新的RealSense D400系列、RealSense ZR300、RealSense SR300等。下面以RealSense R200为例介绍一下。
    Intel RealSense系列部分型号

    RealSense R200是基于双目结构光技术的深度相机。R200特别之处就是有两个红外成像相机,如下图所示,分别被标记为左红外相机和右红外相机,它们具有相同的硬件设计和参数设定。工作原理是:红外投射器投射出红外散斑,左右两个红外相机采集两张红外图像,处理器根据两张红外图像中的散斑特征点匹配计算视差图,最终得到深度图。所以R200本质上是红外双目技术。

    Intel RealSense R200 拆解

    R200的深度测量范围:室内0.5m-3.5m,室外最远10m。实际室外使用范围受环境光照条件影响较大,这是因为红外发射器功率有限,太远的物体上投射的光斑太暗,容易被环境光淹没。

    SDK兼容性很强,支持 C++, C#, JavaScript, Processing, Unity, 和Cinder等框架。需要说明的是, R200的SDK只支持人脸跟踪、不支持手势跟踪和骨架跟踪。

    官网:https://software.intel.com/zh-cn/realsense/previous

    Leap Motion Controller

    Leap Motion Controller 是一款非常小的、专门用于手指跟踪的设备。主要用于虚拟现实头盔、笔记本电脑上。该设备可以以高达120FPS的帧率精细的追踪人的双手动作,比如轻扫、抓取、双指开合、出拳等,人机交互体验非常棒。

    这里写图片描述
    SDK支持对两只手关节的三维位置跟踪,最远有效距离为0.6m。支持WPF, Cinder, OpenFrameworks, JavaScript, Processing, Unity3D等框架。但是,Leap Motion Controller 不提供任何的IR, RGB, 或者点云数据。

    官网:https://www.leapmotion.com/product/desktop#108

    Orbbec Astra

    Orbbec (奥比中光)是深圳的一家创业公司。已经量产了Orbbec Astra、Orbbec Astra Mini、Orbbec Persee等系列深度相机。

    以第一代产品 Astra 和 Astra Pro为例,它们都是基于红外结构光的深度相机,深度图都是 VGA(640×480)分辨率 @30FPS。不同之处在于彩色相机的分辨率, Astra提供的是 VGA@30FPS,而 Astra Pro 是 720p@ 30 FPS。

    这里写图片描述

    Orbbec Astra 的SDK比较简单,支持基本的手势跟踪,可以用于手势识别的人机交互,但是不支持骨架提取。最远测量范围可达8m。因此,Orbecc Astra比较适合室内较远距离的应用场景。不过,该设备只支持基于C++的 OpenNI 框架。

    官网:https://orbbec3d.com/

    图漾

    图漾科技是一家位于上海的创业公司。该公司有小型的易于集成的主动双目深度相机(不包含RGB),也有可独立使用的RGB+主动红外双目深度相机。其中RGB-D相机包含工业级和消费级多种型号,以一款消费级RGB-D深度相机FMB11-C为例进行介绍。

    图漾消费级主动双目深度相机

    根据官网介绍,FMB11-C精度小于1%,具体为z方向: 5mm@1m,x,y方向: 10mm@1m,室内外都可以工作,工作距离0.5-30m。深度分辨率最高为1120 x 920,帧率最高为15FPS。可以输出对齐、同步的RGB 图和深度图,点云图或者 IR 图。支持Windows、Linux、Android、ROS 平台。且多设备同时工作无干扰。适合对帧率要求不高的远距离应用场景。

    官网:http://www.percipio.xyz/

    Occipital Structure

    Structure sensor 是一款可以和苹果的iPad完美结合的产品,通过一根数据线与iPad链接,自带可充电锂电池(续航4小时),通过应用APP就能够方便的扫描人像、物品、场景等三维模型。操作简单,模型的生成速度非常快。同时,使用其提供的OpenNI SDK支持 Windows, macOS, Linux 和 Android。

    Structure sensor和iPad搭配使用

    Structure sensor和其他深度相机主要关注人体/手势跟踪的定位不同,它更注重三维扫描和设备自身的跟踪。使用Structure sensor的SDK,用户可以实现混合现实的体验,虚拟的物体可以和真实的物理世界进行交互,并且还能模拟类似真实空间的遮挡效果。

    官网:https://structure.io/

    Stereolabs ZED

    Stereolabs ZED 是基于RGB双目立体视觉原理的深度相机。室内和室外都能使用,最远深度范围可达20m,深度图分辨率也很高,最高 4416x1242 @ 15FPS,也可以根据帧率需要调整,最高帧率1344x376 @ 100FPS,最大覆盖视场角为110°。

    Stereolabs ZED Stereo Camera

    虽然硬件参数比较出众,但是提供的SDK比较弱,只能简单的得到深度数据流,没有人脸/手势/骨架跟踪相关的工具包支持,需要开发者自己完成。

    Zed Stereo camera非常适合于室外环境下高帧率、远距离的应用,主要应用于AR/VR,自主机器人等场景。

    官网:https://www.stereolabs.com/zed/

    DUO

    DUO是美国的一家创业公司,主要产品有:DUO MLX, DUO MC, DUO M。我们以DUO MLX为例进行介绍。

    DUO MLX

    DUO MLX 是基于主动红外双目原理的深度相机。特点是具有3个可编程控制功率的LED红外发射器,因此可以根据需要调节测量范围。另外内置了六自由度最高250Hz的IMU(惯性导航单元),镜头最大视场角170°,双目基线为30mm,体积紧凑,USBMini-B通信接口,适用于科学研究或者产品集成。

    SDK提供C语言的API接口,直接输出深度图,但是没有手势/人脸/骨架跟踪相关的开发工具包。支持的开发平台包括 Linux, OSX, Windows,以及嵌入式处理器 ARM, AMD, Intel and Nvidia’s Tegra K1。

    DUO 的产品适合于科研人员或者产品开发者,主要面向工业机器人、嵌入式设备等需要高帧率的室内外应用。

    官网:https://duo3d.com/

    深度相机详细参数对比清单

    这里写图片描述

    这里写图片描述

    这里写图片描述

    总结

    深度相机厂商众多,产品设计原理和技术参数千差万别,体积、价格差距也很大。使用者需要根据自身不同的应用需求和使用场景选择最适合自己的深度相机。
    一句话,深度相机没有最好,只有最适合。

    展开全文
  • 上一篇《【深度相机系列三】深度相机分类之双目立体视觉法》中提到基于双目立体视觉的深度相机对环境光照强度比较敏感,且比较依赖图像本身的特征,因此在光照不足、缺乏纹理等情况下很难提取到有效鲁棒的特征,从而...
  • ROS与深度相机入门教程-在ROS使用小觅深度相机 说明 介绍如何在ROS中安装和使用小觅深度相机 github库:https://github.com/slightech/MYNT-EYE-D-SDK.git 测试环境:Ubuntu 16.04 + ROS Kinetic + 小...
  • 结构光深度相机影响因素探讨 一、黑色物体的影响 先给出结论: 基于红外的结构光深度相机对深色(尤其是黑色)物体的测量一般不准确,甚至测量失败(没有深度值)。 下面是具体解释: 我们首先从物体的颜色说起。...
  • 基于双目立体视觉的深度相机类似人类的双眼,和基于TOF、结构光原理的深度相机不同,它不对外主动投射光源,完全依靠拍摄的两张图片(彩色RGB或者灰度图)来计算深度,因此有时候也被称为被动双目深度相机。...
  • 有关深度相机的基础知识总结。包括单双目相机模型、坐标系转换的推导、双目测距原理、相机标定与畸变矫正、Tof与结构光的基本原理、Intel RealSense D455 深度相机简介等。
  • 深度相机、微软Kinect及其应用。三维扫描技术介绍;•深度相机的原理、优势(TOF,Kinect);•深度相机的应用研究;•三维数据重建;•人机交互与用户跟踪;•我们的工作:;•三维发型扫描重建(TOF);•三维人体重建...
  • 前面我们对深度相机的基本原理有了一定了解,本文相对全面的梳理一下深度相机的应用领域。深度相机的应用在智能人机交互、人脸技术、三维重建、机器人、AR等领域全面开花,目前商用深度相机最成熟的应用就是移动终端...
  • 深度相机---(5)深度相机应用

    千次阅读 2018-03-23 11:11:25
    深度相机的应用在智能人机交互、人脸技术、三维重建、机器人、AR等领域全面开花,目前商用深度相机最成熟的应用就是移动终端上基于人脸技术的多种有趣应用。人脸技术二维人脸技术发展了几十年虽然已经比较成熟,但是...
  • 深度相机的图像深度实时显示

    千次阅读 2019-11-23 01:02:13
    最近有了一个intel 的 D435i 深度相机,网上找了一个实时显示图片和深度图的python 程序,最开始是一个博客,后来发现在intel 的github里也有。都找不到链接了,觉得不错,修改整理成本文。 首先要安装好...
  • 深度相机按照深度测量原理不同,一般分为:飞行时间法、结构光法、双目立体视觉法。本文就来说一说飞行时间法。 飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般...
  • 这是ros的深度相机驱动包,在工作空间解压后 catkin_make编译后, 就可以用了,具体参考我的博文 https://blog.csdn.net/eye998/article/details/89456134
  • 深度相机工作原理

    千次阅读 2019-05-29 09:43:13
    目前的深度相机根据其工作原理可以分为三种:TOF、RGB双目、结构光一、RGB双目    RGB双目相机因为非常依赖纯图像特征匹配,所以在光照较暗或者过度曝光的情况下效果都非常差,另外如果被测场景...
  • 深度相机对比

    千次阅读 2019-12-06 17:34:21
    各家深度相机对比 看IEEE Robotics & Automation Magazine 2019上的一篇论文【论文地址】看到对十种深度相机进行全方位的对比,包括精度、偏差等。再从csdn博客上找到相关介绍的。 以下转载自【博客】 ...
  • 小觅深度相机的SDK代码在github上, 小觅相机的支持库需要从这里https://github.com/slightech/MYNT-EYE-D-SDK下载SDK源码后本地编译后再安装,Ubuntu上的步骤是: 1.如果没有opencv开发库需要先安装: sudo apt...
  • 基于深度相机的疲劳预警检测算法研究.pdf
  • 深度相机与普通相机的区别

    千次阅读 2020-04-28 11:48:56
    深度相机介绍 随着机器视觉,自动驾驶等颠覆性的技术逐步发展,采用 3D 相机进行物体识别,行为识别,场景 建模的相关应用越来越多,可以说深度相机就是终端和机器人的眼睛,那么什么是深度相机呢,跟之前的普通相机...
  • 深度相机选择

    千次阅读 2018-05-02 16:08:37
    深度相机分类 第三行分别为双目摄像头,TOF原理摄像头,结构光摄像头,和激光雷达。 双目摄像头: 有两个摄像头,由两个单目相机组成(两个相机之间的距离叫“基线”是已知的),通过这个基线(进行...
  • 1. 深度相机相关资料; 2. 需要配套乐视三合一体感相机; 3. 都是参考代码 4. 只是参考代码, 自己没有验证
  • 常用的3D深度相机汇总

    千次阅读 2020-08-24 11:16:50
    近年来,高性价比的3D深度相机的出现极大地加速了机器人以及3D视觉领域的发展。本文章介绍展示一些常见的3D深度相机列表,便于读者能够方便的获取3D深度相机相关的信息 微软 Kinect™ 2.0 类型:飞行时间...
  • 基于深度相机的手腕识别与掌心估测
  • 目前的深度相机根据其工作原理可以分为三种:TOF、RGB双目、结构光。 一、三种相机的参数对比 从分辨率、帧率、软件复杂度、功耗等方面来考虑 1. 分辨率 TOF方案深度图分辨率很难提高,一般都达不到VGA(640x480...
  • 介绍的主要内容: ...•深度相机的原理、优势(TOF,Kinect) •深度相机的应用研究 •三维数据重建 •人机交互与用户跟踪 •我们的工作: •三维发型扫描重建(TOF) •三维人体重建(Kinect) •总结
  • Kinect彩色相机与深度相机的标定与配准,何富多,胡燕祝,Kinect能够获取空间中的人体骨骼节点的三维坐标,对于研究人体动作识别具有重大的意义。本文意在通过对Kinect相机的标定获取其相机的
  • 目前的深度相机根据其工作原理可以分为三种:TOF、RGB双目、结构光。 1. TOF简介 飞行时间是从Time of Flight直译过来的,简称TOF。其基本原理是通过连续发射光脉冲(一般为不可见光)到被观测物体上,然后用传感器...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 42,207
精华内容 16,882
关键字:

深度相机