精华内容
下载资源
问答
  • 深度传感器
    2020-12-28 23:06:31

    Kinect

    深度传感器误差模型研究

    张洪

    ;

    孙春龙

    ;

    杜汶励

    【期刊名称】

    《测控技术》

    【年

    (

    ),

    期】

    2016(035)006

    【摘要】

    针对现有

    Kinect

    误差模型没有考虑像素点位置对误差的影响

    ,

    通过对

    Kinect

    深度传感器分别在

    x

    y

    z

    方向上的误差研究

    ,

    考虑像素点对误差的影响

    并提出新的误差函数模型

    .

    首先

    ,

    通过

    Kinect

    和激光雷达获得深度方向

    (z)

    的误差

    ;

    水平

    (x)

    和垂直

    (y)

    误差通过提出的三维棋盘格测量获得

    .

    结果表明

    ,Kinect

    深度传

    感器的误差与像素点的坐标和深度值有关

    ,

    分别为

    x

    y

    z

    方向建立了误差函数

    模型

    ,

    同时将所提出的模型与现存的误差模型比较

    ,

    分析表明所提出的误差模型能

    够更加精确地表征

    Kinect

    传感器的误差分布情况

    .

    【总页数】

    5

    (1-5)

    【关键词】

    Kinect;

    激光雷达

    ;

    三维棋盘格

    ;

    误差模型

    【作者】

    张洪

    ;

    孙春龙

    ;

    杜汶励

    【作者单位】

    江苏省食品先进制造装备技术重点实验室

    ,

    江苏无锡

    214122;

    江南

    大学机械工程学院

    ,

    江苏无锡

    214122;

    江苏省食品先进制造装备技术重点实验室

    ,

    江苏无锡

    214122;

    江南大学机械工程学院

    ,

    江苏无锡

    214122;

    江苏省食品先进制

    造装备技术重点实验室

    ,

    江苏无锡

    214122;

    江南大学机械工程学院

    ,

    江苏无锡

    214122

    【正文语种】

    中文

    【中图分类】

    TP391

    【相关文献】

    更多相关内容
  • MS5837-B30深度传感器STM32F103C8T6测试例程 注:SCL,SDA需加上拉电阻
  • 利用stm32f407驱动ms5837深度传感器模块,并将读到的原始数据进行处理,通过串口输出到电脑中
  • 在 Build Day 1 开发者大会上,微软展示了一款全新的 Project Kinect for Azure 传感器,套件中包含了下一代景深摄像头、并且板载了 AI 处理能力。 该公司希望借助小型、低功耗的 Time of Flight 和附加传感器,显着...
  • ms5837B30 深度传感器开发套件测试例程 V1.2.zip,测试有效,采用2次温度补偿,精度高 精度可达2mm,基于stm32的深度计代码,iic通讯,温度补偿精度高
  • 适用于远程动态测距,兼低功耗与高像素的3D深度传感器(ToF)芯片分析.pdf
  • 本人在科研和实际项目中经常会使用到深度传感器,在此总结相关知识,方便大家查阅。 目录1. 什么是深度传感器2. 深度传感器的分类2.1 结构光/编码光(structured light and coded light)2.2 立体视觉(stereo depth...

    本人在科研和实际项目中经常会使用到深度传感器,在此总结相关知识,方便大家查阅。

    1. 什么是深度传感器

    深度传感器顾名思义是用来探测环境物体与传感器之间的距离的。它的输出主要可以表示为深度图(depth map)和点云(point cloud)这两种形式。

    2. 深度传感器的分类

    选择何种类型的深度传感器主要取决于使用场景探测范围所需精度

    2.1 结构光/编码光(structured light and coded light)

    [原理]

    • 一个光源投射出特定图案的光(通常是红外光)到环境中;另一个相机捕捉物体上被投射的光。因为我们已知原始图案,再根据捕捉到的物体上图案的变形,即可以计算出物体的深度。
      在这里插入图片描述

    [优点]

    1. 实现简单,帧率高

    [缺点]

    1. 易受环境光线影响(只能室内使用)
    2. 探测距离一般较短(取决于光线强度)
    3. 多台机器间可能会相互干扰

    [代表产品]

    1. Kinect v1
    2. Realsense SR300系列

    2.2 立体视觉(stereo depth)

    2.3 ToF(time-of-flight)/ 激光雷达(LiDAR)

    References

    https://www.intelrealsense.com/beginners-guide-to-depth/#:~:text=Stereo%20depth%20cameras%20have%20two,these%20comparisons%20give%20depth%20information.&text=The%20Intel%C2%AE%20RealSense%E2%84%A2%20D400%20series%20cameras%20are%20stereo%20depth%20cameras.

    https://baijiahao.baidu.com/s?id=1661932085985053660&wfr=spider&for=pc

    展开全文
  • ofxDepthStream OpenFrameworks插件具有经过优化的工具,可用于处理远程深度传感器流。什么? 这是一套可以与多个(不同)深度传感器配合使用的工具,例如Kinect,Orbbecs(Persee,Astra和Astra-mini)和很快的...
  • 基于深度传感器骨骼追踪提出了一种新的快速人体测量方法。通过深度传感器获取骨骼关节信息和人体深度数据, 完成了人体特征尺寸中部分长度和围度的测量。实验结果表明, 该方法能在短时间内获得较准确的结果, 能用低...
  • 线结构光光平面参数标定工具
  • ms5803_rpi MS5803-14BA 用于 Raspberry PI / Banana Pro 的水压/深度传感器安装 $ npm install ms5803_rpi用法 var ms5803 = require ( 'ms5803_rpi' ) ;var sensor = new MS5803 ( { address : 0x76 , device : '/...
  • 基于Kinect深度传感器的三维重建技术应用研究_叶日藏.caj
  • 一种易于使用的深度传感器外部校准方法。 它已集成并在强大的系统中使用。 抽象的 随着消费级深度传感器的问世,低成本的体积捕获系统更易于部署。 它们的广泛采用取决于其可用性,并取决于扩展空间对准多个传感器的...
  • 体感交互、远程遥控机器人、无人驾驶这些科幻的场景都离不开距离传感器,可以说传感器的性能就是如今虚拟与现实世界之间的瓶颈。通过挥手切换图片这种功能虽然已经实现但是效果还不理想。目前人们如果想探测环境深度...

    体感交互、远程遥控机器人、无人驾驶这些科幻的场景都离不开距离传感器,可以说传感器的性能就是如今虚拟与现实世界之间的瓶颈。通过挥手切换图片这种功能虽然已经实现但是效果还不理想。目前人们如果想探测环境深度信息,主要依赖于三种技术,分别是双目立体视觉,雷达探测,TOF(time of flight)技术,以及基于结构光的深度探测技术,本文主要介绍目前应用较为广泛的结构光技术。

    最著名的结构光产品就是微软kinect体感设备。随着精度是kinect100倍的leap motion出现,体感设备越来越成为关注热点,也为极客魔改提供了便利条件。

    深度摄像头看起来和RGB摄像头差别很大,实际上有很多相似之处。就Kinect而言,其通过一个红外散斑发射器发射红外光束,光束碰到障碍物后反射回深度摄像头,然后通过返回散斑之间的几何关系计算距离。其实,Kinect的深度摄像头就是一个装了滤波片的普通摄像头,只对红外光成像的摄像头(可以这么认为)。

    在这里插入图片描述

    Lumigrids网格投影仪把方格网投射到自行车前面的地面上。路面改变时,网格发生弯曲,通过改变形状强调前方存在的潜在危险。结构光技术的本质原理很接近这个产品
    在这里插入图片描述

    结构光技术:光栅投影法
    在这里插入图片描述

    编码图案中的每一个像素都标志了唯一的信息。从这张图可以看出,目标距离越远,斑点的间距越大,说明目标越远。另外在凹凸不平的平面上,光斑形状也会发生变化,kinect就是根据这两点来判断这个点到底离摄像头有多远。
    上图显示了红外激光散斑,是激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性,而且会随着距离的不同变换图案,也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的结构光,整个空间就都被标记,把一个物体放进这个空间,只要观察物体上面的散斑图案,就可以得知这个物体的位置。

    对比一次只能扫描一个点的激光雷达,可以同时扫描所有探测区域的结构光技术具有扫描效率高,省去机械部件,成本较低的优点。

    Leap motion也采用了结构光技术,其动作跟踪精确0.01mm的数字震撼了很多人,但是精度太高的话,轻微的手指抖动都会影响操作,所以Leap Motion团队还需要在精度选取方面进一步权衡。对比客厅娱乐用的kinect,leap motion感应范围有限,而且人体骨骼提取识别算法仍然是一个难点,小团队要在这方面赶上微软的技术积累还需要时间。

    但是红外结构光技术也有缺点,首先是抗干扰能力弱,阳光的照明功率是目前红外LED光源的50倍,可以说现在的kinect和leap motion在室外完全瞎了。而且如果同时使用多个同型号的传感器,会产生相互干扰,因此在同一空间布置多个leap motion以拓展探测范围的方法并不现实,除非采用时间多路复用:统一控制各传感器的红外LED灯开关,一次只开启一个照明装置,轮流照射目标。或者每个光源采用不同的调制频率。

    HTC One M8探测目标距离也应用了结构光技术,顶部其实并不是副摄像头,而是投影器件,目前我们还不清楚HTC是如何解决户外光干扰的问题。在谷歌Project Tango大规模出货之前,M8有可能作为极客们DIY机器人的眼睛和大脑。

    谷歌在最近公开的Project Tango核心的深度传感器也是基于红外,但是目前由于资料有限,还不能确定是不是结构光技术。

    展开全文
  • 该软件包为深度传感器提供了驱动程序。 该驱动程序打包为nodelet,因此可以将其直接合并到另一个ROS节点中,以避免不必要的数据复制。 同时,它可以独立启动,也可以在Nodelet Manager中启动。 距离,深度(请参阅...
  • 传感器数据收集该软件包提供了一个 ROS 节点,用于从一个或多个摄像头/深度传感器收集数据。ROS节点参数device_name [ type string ,默认为"camera" ]:从中获取数据的设备的名称。 它是保存数据的目录的名称。 ...
  • 物联网-智慧传输-基于深度传感器的移动机器人视觉SLAM研究.pdf
  • 物联网-智慧传输-基于深度传感器的手势追踪系统设计与实现.pdf
  • 可实时监测飞秒加工情况的深度传感器
  • 在智能环境中提高基于深度传感器的人类活动监测的姿势分类精度
  • 基于TOF深度传感器植物点云获取和去噪方法,很不错的文章,
  • 该存储库包含用于使用pyboard开发简单的电导率,温度,深度(CTD)传感器,MS5803-05压力传感器,Littlefuse PS103J2 NTC热敏电阻和micropython的代码。 有关完整文档,访问 。 为电导率传感器的2极和4极版本提供...
  • 最近库克大叔在清华大学谈到AR技术的发展时,表示对这项技术非常感兴趣,并且他已经翻了深度传感器这项技术的牌子。今年秋季应该就会随着iPhone8 上市了。一向擅长将技术概念进行推广的苹果公司,是不是又将引爆手机...
    origin: http://mt.sohu.com/20170325/n484729546.shtml
    我们常常说苹果富可敌国。但是你这么说其实是在侮辱苹果。苹果可比美国政府有钱多了。根据最新消息,美国政府账上的现金,只有340亿美元。还不到库克掌管下的苹果的零头。库克手上可是有着2460亿美元的巨款。也就是说,库克大叔抬抬眼角,都可能造成一个行业的兴衰。最近库克大叔在清华大学谈到AR技术的发展时,表示对这项技术非常感兴趣,并且他已经翻了深度传感器这项技术的牌子。今年秋季应该就会随着iPhone8 上市了。一向擅长将技术概念进行推广的苹果公司,是不是又将引爆手机AR领域或许还是个未知数,但至少已经引爆了深度传感器领域。

      Depth sensor is the new sexy

      不过苹果并不是第一个吃螃蟹的人,在3D深度传感器的硬软件方面,各路大神早已经有所动作。微软拥有深度传感器Kinect;苹果收购了深度传感器PrimeSense,并且收购了FaceShift和 Metaio这两项软件技术;索尼收购了利时传感器技术公司Softkinetic Systems SA;谷歌收购了Lumedyne Technologies,掌握了光学加速度计、振动能量采集器、基于时域相应的惯性传感器等传感技术;Facebook收购了Oculus平台,并在软件上收购Surreal Vision,在室内三维重建领域处于领先的位置。

      扫盲班

      此外,国内厂商也正在积极跟进这一领域。

      首先简单说一下3D成像是什么

      目前的手机摄像头光学升级一直停留在像素、感光等二维层面,不具备像人眼这样的3D空间识别能力,摄像头看到的世界是一个平面。这样一来手机AR就得严重依赖于GPS地图定位和特定的物品图案。然而当配备了深度传感器之后,就给了设备感知空间的能力,就能利用摄像头捕捉动作、实现深度传感。这在AR的人机交互上扮演着至关重要的角色。


      今年各大手机厂商将致力于推出具有3D感知能力的旗舰手机,除了已经发货的联想 Phab pro 2,三星,华为,等都有传闻在进行着带3D深度传感器的手机的开发。实现3D成像手机领域的商用。

      技术方面已经有相当多的介绍了,比如红外线TOF,结构光(Structured Light),TOF。今天我们主要介绍,在这个大手机AR时代开启前,各方势力的暗流涌动。

      列王的纷争

      微软Kinect

      微软恐怕是在3D成像领域深耕最久的企业了,早在2009年微软就公布了该技术,代号为"Project Natal"。因为旗下游戏主机XBOX有支持体感游戏功能的必要,为了对人体动作进行捕捉和成像,微软开始了相关研究。到目前为止Kinect技术已经相对比较成熟。

      第一代Kinect系统的摄像头,采用PrimeSense(之后2013被苹果收购)的结构光技术。通过CMOS红外传感器感知周围环境,利用离散光斑。将这样的一维或二维的图像投影至被测物上,根据图像的大小畸变,就能判断被测物的表面形状即深度信息。在微软Kinect的体 感识别与动作捕捉过程中,Kinect的三个摄像头极为关键,一个彩色摄像头提供了彩色图像;两个红外摄像头通过发射/接收红外线,来提供深度数据。图案大致是这样:

      第二代Kinect运用的是TOF方案:发射一个强度随时间周期变化的正弦信号,通过获得发射、接受信号的相位差来计算深度,从而获得较高的精度。但是随之而来的问题是体积很大难以缩小,计算量大,功耗大。这两种共有的问题是会受带有红外线的光源干扰。

      摄像头是体感识别的重要载体,微软的交互方案是3D深度识别的典型代表。据消息称微软或将发布手机“Surface Phone”,微软的手机会不会趁着这波AR潮流,装配自家技术成熟的3D成像技术呢?这个猜测实现的可能性很大。

      苹果PrimeSense

      2013 年苹果公司以3.45亿美元的价格收购了以色列传感器公司 PrimeSense。这项收购是苹果公司史上最大手笔的收购之一。上文中提到了,Kinect一代中应用过的结构光技术就出自Primesense,早在2010年PrimeSense就和微软有过合作研究,对这一领域也是轻车熟路。

      2012 年,PrimeSense 推出了当时世界上体积最小的 3D 传感器 Capri,其分辨率是前代产品的 3 倍,而体型仅为前代的十分之一,环境光的检测性能则是前代的 50 倍。自从收购 PrimeSense 后,苹果一直在推动 PrimeSense 的 3D 体感控制器向小型化发展,不出所料的是,其小型化的终极目标之一是将之用到 iPhone 上,提供更好的人机交互。结构光虽然在体感游戏的精度方面不如TOF方案,但是好在结构光功耗相对较低,短距离精度较高,比TOF器件能做的更小。


      除了硬件,在软件方面苹果还收购了Metaio,该公司是一家2003年由大众的一个项目衍生出来的一家虚拟现实初创公司,专门从事增强现实和机器视觉解决方案。Metaio的Metaio Creator让用户使用iPad等现有的设备能够获得沉浸式互动体验。

      谷歌Project Tango

      Tango在谷歌已存在4年时间,2013年初谷歌的ATAP(先进科技与计划)团队就已开始着手相关的研发。Project Tango的技术主要是利用传感器和摄像头对室内进行3D建模,除此之外还能有更多方面的的应用比如绘制3D地图,为盲人导航等。


      在手机3D成像应用领域谷歌也是走在最前列的,早在2014年2月,Project Tango的原型机就已经亮相。其3D感知基于Primesense的结构光方案,但是由于种种技术限制导致系统的尺寸、重量和散热都无法做到一个真正的手机中去。


      第二代手机就是跟联想一起发布的Phab2 Pro智能手机,Tango部分的整体构架弃用结构光,采用了英飞凌的REAL3?传感器。第一次采用了TOF深度检测技术,在整体的功耗、整机尺寸和Tango Core上都做了深度的优化。这款6.4英寸的平板手机拥有三颗摄像头,包括一颗鱼眼镜头和一颗红外传感器,从而实现大量的增强现实应用。


      索尼Softkinetic Systems SA

      2015年10月9日,索尼宣布收购Softkinetic Systems SA,这家公司成立于2007年,是一家专注通过图像传感器呈现3D视觉效果的技术公司。该公司拥有成熟的TOF技术,可通过图形传感器测量与一个指定物体之间的距离。

      Softkinetic Systems SA拥有全世界最小带精细化手势识别功能的 3D深度摄像头,除了手机外索尼也会将3D深度感知技术应用于体感游戏中。


      英特尔RealSense

      RealSense 3D是一套感知计算解决方案,包括世界上最小的3D摄像头,模块比两个硬币摞起来还薄,除了硬件外,英特尔还将提供驱动及软件等全套开发工具,开发者可以自由开发应用。Real Sense 3D配有深度传感器和全1080p彩色镜头,能够精确识别手势动作、面部特征、前景和背景,进而让设备理解人的动作和情感。

      虽然英特尔没有做手机的计划,但是通过收购Movidus,他们已经有了和谷歌Project Tango在手机深度传感器方面的合作经验。并且他们还投资了Occipital。原理上和微软的 Kinect类似,但是不同于Kinect 的全身骨骼跟踪,realsense 更注重近距离的脸部、手部跟踪。

      目前来看其特性是体积小,功能简单,但是精度也相对较差。


      至此,比较有名的3D传感器公司已经被巨头们抢购得差不多了。

      国内厂商

      奥比中光,图漾还有乐行天下是国内少数在进行深度传感器研发的公司。2015年7月,奥比中光自主研发的3D芯片流片成功量产。这也使得奥比中光成为国内不多的已经开始同类设备量产的高新技术企业。但目前国内厂商的产品仍然体积较大,能够用于手机的现成产品似乎还没有看到


      传感器技术的研究需要比较长时间的投入,一款传感器的研发,要6年-8年才能成熟,一般中国企业都承受不了这么长的周期。中国企业更难以承受失败,而传感器的研究失败的风险很高。所以没有雄厚财力支撑,没有科研人员长期投入在3D传感器方面是很难有所作为的。目前国内厂商大都抱着直接引进国外先进技术的想法,故而在技术研发上面没有更多进展。

      总结

      科技界的大佬们已经在手机3D成像领域做好了行军的准备。联想Phab2 Pro已经发布了手机。今年即将发布的iPhone 8似乎也吹响了其他手机巨头进军混战的号角。而目前任然保持独立的深度传感器公司似乎却已称为了稀缺资源。可以预见的是,手机AR时代即将到来。


    展开全文
  • 来源:仪商网以前,我们一直认为传统相机将3D世界转换为2D图像,已可以满足我们对于图像的应用,而2D图像中丢失的三维似乎并不重要。但随着计算机视觉(CV)的飞速发展以及与深度学习的结合,...
  • 为了检测工人跌倒行为,提出了一种基于Kinect传感器的人体跌倒检测方法。利用Kinect获取深度图像,提取关节点信息,通过计算关节点相对位置熵和速度的变化,判断人体是否发生跌倒。通过对比实验,确定了一组跌倒识别率...
  • OpenCV深度传感器depth sensors的实例OpenCV深度传感器depth sensors的实例 OpenCV深度传感器depth sensors的实例 #include "opencv2/videoio/videoio.hpp" #include "opencv2/highgui.hpp" #include "opencv2/...
  • 坚固的深度过滤器利用COTS水下压力传感器的智能水下深度估计器。 该过滤器从传感器接收压力和温度(以及RTC的时间戳),并使用alpha-beta过滤器来计算物体的深度,并具有内置的热跃线,噪声和时间戳误差补偿。 可以...
  • 使用Kinect和其他OpenNI兼容的深度传感器使用Kinect和其他OpenNI兼容的深度传感器 使用Kinect和其他OpenNI兼容的深度传感器 通过VideoCapture类支持与OpenNI兼容的深度传感器(Kinect,XtionPRO等)。可以使用...
  • Kinect 深度传感器特性分析

    千次阅读 2012-08-10 17:39:09
    最近在公司做深度数据处理,申购了一台KINECT传感器。首先来看看这个传感器有什么特点。 微软官方的说明文档提到,该传感器有两种模式,一种是缺省模式,另一种是近距离模式。二者的区别见下图: 缺省模式下,...
  • 线结构光视觉传感器/线激光深度传感器标定工具

    万次阅读 热门讨论 2016-06-11 13:33:16
    续集:线结构光视觉传感器/线激光深度传感器标定工具(续) https://jah10527.github.io/articles/lineLaser.html 线结构光视觉系统有着结构简单、使用灵活、受周围光照环境影响小等一系列特点,在实际中得到...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 50,115
精华内容 20,046
关键字:

深度传感器