精华内容
下载资源
问答
  • 提出一种基于网格点投影灰度相似性的双目立体视觉的三维重建新方法。首先将被测物体所在的世界坐标系划分成间距相等的矩形网格, 将网格节点作为潜在的物点投影到左右图像坐标系上, 然后根据不同深度的空间点在两幅...
  • 提出一种基于光流反馈的单目视觉三维(3D)重建方法,实现对场景快速、准确的3D 立体化建模。由帧间光流场建立更为稳健的同名像点匹配关系,同时运用五点算法估计摄像机的相对位姿,以构建稀疏点云和初始网格。从运动...
  • 提出一种形状不规则物体表面数据的测量和重建方法,利用立体摄影的非接触和高分辨率以及线式激光源良好的方向性和精确的图像匹配等优点实现表面数据的获取,再利用简单几何模型的自适应变形法进行表面的三维重建,并...
  • 图1:个苹果的网格结果(从图2中放大)。由于不依赖过多的重叠的surfels来实现一个紧密的表面模型,网格(mesh)重建可以更精确、更有效地描述表面。 摘要: Dense 3D reconstructions generate globally consisent...
    图1:三个苹果的网格结果(从图2中放大)。由于不依赖过多的重叠的surfels来实现一个紧密的表面模型,网格(mesh)重建可以更精确、更有效地描述表面。

    译者按:

    本文为了充分利用RGB-D传感器中比depth分辨率更高的color信息,用mesh做reconstruction,更详细地,其借鉴了ElasticFusion中的权重方法,并且利用了GPU、CPU内存的协同来实现较大规模的重建,可以对surfel-based,TSDF-based和mesh-based的方法获得一定的了解。

    摘要:

    Dense 3D reconstructions generate globally consisent data of the environment suitable for many robot applications. Current RGB-D based reconstructions, however, only maintain the color resolution equal to the depth resolution of the used sensor. This firmly limits the precision and realism of the generated reconstructions. In this paper we present a real-time approach for creating and maintaining a surface reconstruction in as high as possible geometrical fidelity with full sensor resolution for its colorization (or surface texture). A multi-scale memory management process and a Level of Detail scheme enable equally detailed reconstructions to be generated at small scales, such as objects, as well as large scales, such as rooms or buildings. We showcase the benefit of this novel pipeline with a PrimeSense RGB-D camera as well as combining the depth channel of this camera with a high resolution global shutter camera. Further experiments show that our memory management approach allows us to scale up to larger domains that are not achievable with current state-of-the-art methods.

           三维稠密重建可以为机器人的许多应用生成全局一致的环境数据。然而,当前基于RGB-D的重建工作只能保持和深度信息相同的颜色分辨率,这制约了重建结果的精度和现实感。本文展现了一种可以实时实现高几何精度和完整着色分辨率的表面重建方法。借由一个多尺度的内存管理过程和一个多层次的细节级别方案,不管是小尺度的房间、建筑物还是小尺度的物体,其可以生成同样详细的重构。我们利用PrimeSense RGB-D摄像头,组合利用这款相机的深度通道和高分辨率的全局性快门的相机,展示了这一新颖的流程。进一步的实验表明,我们的内存管理方法允许其扩展到更大的规模,这是目前最先进的方法无法实现的。

    现状和贡献:

    现状:

    主要流派:KinectFusion(TSDF-based),ElasticFusion(Surfel-based)

    存在问题:认为颜色和深度一一对应,用平均的方式处理多视角的几何和颜色信息,对内存的管理不好。

    贡献:

    本文方法基于mesh,其的优势:

    1 相比于TSDF,mesh的密度不必均匀分布

    2 对不连接的面元,不同于进行平均的方法,可以选择适合整个表面区域的关键帧

    本文的另一个贡献是

    3 设计的框架可以将GPU的几何移到CPU中,便于较大规模的重建。

    图2:详细系统的层次展示。重建的新增部分(右)处于正在处理的内存中,并以完整的细节显示,而较老的部分(左)被下载到系统内存中,并以较低的细节替换显示。图1所示的苹果是从这个重建(红色圆圈)中取出的,用来展示细节的动态范围。

     

    方法:

    首先,利用点云的有序性直接生成三角网格,对网格的边缘进行缝合,随后在分块(patch)上附着纹理。为了实时更新,选择关键帧代表分块的纹理。通过曝光时间感知和晕动校正处理捕捉到的图像,可以最大限度地减少拼接前分块之间可能的偏差(由于没有耗时的全局优化步骤)。

    A 几何细化更新

    深度传感器的噪声特性使其在积累多次测量数据的情况下,在较大的距离内不可能获得精确的几何形状,只有将传感器更靠近表面才能得到高质量的结果。所以无论在远程采集了多少样本,要允许近距离测量覆盖掉远程测量。

    ElasticFusion中使用权重来处理这一问题。我们的方法从这些权重中获得灵感,但当传感器接近一个表面时,我们只在有利于重建的情况下才这样做,而不是生成新的几何图形。例如,当接近一个平面时,ElasticFusion会生成新的surfels来容纳额外的颜色信息,而我们的方法直接更新纹理和现有的网格。为此,需要存储每个采样的额外的纹理值。对于每个纹理像素(texel),包含的值有:

    µk:测量值与实际表面的平均偏差。用来表明网格表面偏离传感器测量的程度。

    σk:估计的噪声水平,其随着测量的增加而降低。值越小,新测量对几何形状的影响就越小。此外,σs, k定义了估计的传感器投射到表面的点p上的噪声水平 .

    σm,k:到步骤k估计的最小噪声水平。这个假设量子化是唯一的限制因素。σm,s,k指的是传感器的投影值。

    估计的噪声水平和最小噪声水平更新方式如下:

     

    其中:

     

    注意σ‘k+1小于σk’和σ’s, k,这意味着每此量测都可以进一步提高结果的假设。该系统保证了随着迭代数k的增长,σk逼近但始终高于σm,k。结果值σ’s; 和σk’ k + 1是用来更新µ:

    B 扩展更新

    一旦传感器从一个新的位置生成一个新的帧,先前建图的表面元素就被用来渲染当前传感器位置的深度图。将人工深度图与传感器当前感知到的深度值进行比较。接近于地图值的深度值会更新到已经存在的表面。如果捕捉到的表面离相机很近,它就会被加入到当前的重建中。这些操作的阈值以及σs,k取决于深度、像素位置和传感器本身。

    C. 建立网格

    在识别出捕获深度图的新增部分后,应用针孔模型投影深度像素,生成三维点。这些点根据彼此之间的距离和估计的法向量被分割成更小的块。从有组织的点云得到的邻域信息可以直接完成此操作,以及在每个相邻的3个点之间生成三角形。在此过程中,要小心确保没有在相邻深度值低于第IIIB节中提到的阈值的情况下创建三角形。这种分割和网格划分过程的输出示例如图3所示

    图3:应用于单帧的三角形创建过程。(a)将点云粗分割成分块,(b)分块网格后形成规则的三角形图案。

     

    D. 缝合

    由于在二维图像平面中存在邻域信息,在单个深度图上生成网格可以很快完成。然而,一旦将新的传感器数据集成到现有的重建中,情况就会发生变化。为了解决这个问题,所有在当前帧之前捕获的可见三角形都将被搜索为开口边。这是指三角形不与另一条边相交的每一条边。打开的边被投射到当前帧的深度映射的像素空间。在这个过程之后,在新的三角形集合中为一个重建的三角形寻找一个潜在的邻居就是在当前的图像平面中进行简单的查找。这一扩展重构过程如图4所示。

    图4:将新增数据链接到已有的几何图形:白色轮廓的开边(a)连接到粗分割(c),结果(d)显示分割模式中新旧几何图形之间有明显的连线。

     

    结果:

    实施:

    现代桌面硬件区分了与GPU对应的内存和与CPU对应的系统内存。如果不通过PCI-E总线执行昂贵的数据传输,就不能跨内存空间进行访问。因此,我们的数据结构被设计成可以在CPU和GPU之间镜像的信息,并且只有在必要的时候才会同步。我们引入一个线程系统来同时处理不完全相互依赖的任务。例如,当一个帧的几何图形更新网格时,不需要的数据可以同时从GPU传输到系统内存(下载)。里程测量同样不明确地依赖于最新的几何信息。因此,当最后一帧仍在整合时,可以对新帧进行位姿估计。此系统的示例时间线如图5所示。

    图5:所采用的线程系统。黑色箭头表示数据流。彩色条纹表示实际的处理

     

    实验:

    传统的三维重建流程比较方法是将重建点云与地面真值网格进行比较,或者将测程法与地面真值轨迹进行比较。这些基准主要反映里程计的质量,而不是感知质量。为了展示光度质量,而不是跟踪质量,我们捕捉选定的场景与Xtion Live Pro和一个刚性连接的IDS全球快门相机,提供1600×1200像素的分辨率相结合。在从Xtion传感器记录30Hz的深度和颜色的同时,我们还从IDS传感器捕获60Hz的高分辨率数据。我们评估了纹理算法相对于ElasticFusion输出的质量。

    A 几何对比

    ElasticFusion使用的加权方案与我们基于标准差的方法相似。从图6的图像可以看出,结果并没有太大的差异。然而,我们可以看到,在我们的重建中,ElasticFusion表面的密度比三角形的密度要低。此外,这些surfels的目的是重叠,形成一个光滑的表面。缺点是重叠的surfels经常创建表面的冗余(重复),见图7。

    图7: ElasticFusion和ScalableFusion重建。(a)显示较新的surfel(蓝色)部分如何层叠在较老的surfel(红色)表面上。另一方面,我们的重构(b)保持了光滑的非冗余曲面

     

    直接作用于表面的方法对跟踪误差很敏感。如果无法将捕获的曲面识别为重构曲面,则将建出一个副本。体积(Volumetric)方法,如KinectFusion,是处理这些情况的最佳方法,因为它们更新了重建体积,使它们能够获得正确的表面模型。我们通过我们的噪声相关阈值方案减轻了这个问题,实现比传统的基于表面的方法更一致的映射。尽管如此,当深度和跟踪错误超过给定的阈值时,这些工件有时仍然会出现。

    B 纹理对比

    从图8可以看出,我们的方法比ElasticFusion更好的利用了RGB传感器,而ElasticFusion和其他方法一样,每个几何基元只有一种颜色。如图10所示,考虑到只有900万像素的空间,整个重建只能存储相当于900万像素图像的颜色细节。此外,平均方案的颜色,加上跟踪不准确和不考虑光度传感器的特点,导致冲刷和斑点重建。我们的纹理方法克服了许多不足:纹理密度不再与顶点密度耦合,而是从最优的摄像机帧中提取,以分批推进重建。这使得高分辨率相机的使用,如图8c所示。我们还考虑曝光时间和光晕,以减少沿线段边缘的接缝。

    图8:大多数方法对颜色观测进行平均,导致褪色和斑点的结果(a).我们基于纹理的方法((b), (c))采样颜色拼接,因此,保留更清晰的细节。这使得使用高分辨率相机(c)成为可能。

    C,内存消耗对比

    我们在两个大型场景中进行测试。基于TSDF和surfel方法实现重构大型场景时存在困难。第一个实验是对一个由多个房间组成的大型办公空间进行实时连续重构(图9),数据被下载到CPU内存中,在GPU上只保留当前观察到的区域进行即时处理。这可以从图9b中重建右下角的不同LOD看出。驻留在GPU上的顶点数平均是恒定的,仅随重构帧的复杂性而波动(图10)。与ElasticFusion相比,surfel计数的增长与捕获场景的总体大小相关。

    第二个实验是两个系统的极端压力测试。我们重复地重建一个房间的数据集,同时通过5米的偏移来人为地创建一个大的环境。在这个测试中,ElasticFusion在积累了900万surfels之后,会在2200帧停止,因为GPU内存的容量已经达到。另一方面,我们的系统继续无缝地在对相同内存的持续需求下运行。在我们的系统(Intel Core i7-7700K, Geforce GTX 1070)上,我们实现了30hz的恒定帧率来完成纹理和几何图形细化任务,同时仍然允许几何图形在5hz下进行扩展、网格划分和缝合。这与整体重建大小无关。

    图9:大型办公空间的局部重构。(a)ElasticFusion 渲染所有面元,(b)我们的系统对此环境进行了更高效的渲染
    图10:当前驻留在GPU上的顶点数。上图:图9中办公室的重建。底部: 带有位姿漂移的重复相同房间的数据集。ScalableFusion保持在100万个活动顶点以下,而ElasticFusion则积累与环境大小相关的数据。

    结论

    在这篇文章中,我们介绍了ScalableFusion,一种新的重建方法,直接网格化三角形和顶点,大大提高了三维重建的质量。虽然三角网格的使用在数据管理方面增加了开销,但其好处远远超过了增加计算工作量带来的负面影响。这特别适用于以非常小的对象为特征的真实环境。基于网格的方法以出色的细节描述了这些元素。的整个网格划分过程摄像机帧的像素空间消除了昂贵的邻域搜索。该方法充分利用了相机分辨率的优势,优于彩色几何元。我们还提供了一个复杂的内存管理方案,以支持使用细节级别的实时操作。一个详细的比较表明ScalableFusion为机器人应用创造了更好的重构。它创建了更清晰的特征(图8),克服了生成双平面的问题(图7),保持了彩色相机的全分辨率(图8)。并克服了现有方法的内存限制(图2)。10)

    实际经验表明,目前基于ScalableFusion的里程计方法是不够的。我们目前正在考虑更精细的方法,如ORB SLAM和直接稀疏里程计来改善这个问题。其他未来的工作将包括简化和镶嵌几何图形的任务,这是在机器人应用程序中不断变化的环境中应用该系统所必需的

    展开全文
  • 《A 3D reconstruction method based on grid laser and gray scale photo for...提出了一种新的三维重建算法,该算法通过对网格激光照射下的焊缝图像进行融合分析,不需要附加光源。采用栅极激光在焊缝表面形成9×...

    《A 3D reconstruction method based on grid laser and gray scale photo forvisual inspection of weld》 (SCI 2019 一区)

    摘要

    焊缝表面三维重建是焊缝在线可视化检测的关键。提出了一种新的三维重建算法,该算法通过对网格激光照射下的焊缝图像进行融合分析,不需要附加光源。采用栅极激光在焊缝表面形成9×9的正交光束栅极,采用单摄像机在同一坐标系下拍摄。对每一个网格,用网格激光束计算各点的高度值。然后将高度值与图像的灰度值相结合,通过非线性拟合算法重建焊缝的三维轮廓。 所提出的激光-光混合方法不采用直线激光传感器连续采集焊缝表面信息的方法,而是通过一张照片获取焊缝表面的三维信息。设计的激光光电测量系统能够满足焊缝测量的精度和可靠性要求,消除了测量系统与工件之间的偏转误差。

    1. Introduction

    异型性差的焊道会降低焊接接头的力学性能,缩短产品的使用寿命,甚至导致结构的倒塌[1]。因此,不同组织已经制定了关于几何缺陷和缺陷存在的焊缝质量评估标准[2–4]。目视检查对于检测经常出现的焊缝缺陷(如表面缺陷和缺陷)非常重要[5]。传统上,目视检查是由合格的检查员执行的[6],而且这一过程非常耗时。此外,由于检查员的主观性和工具的精确性,会出现不准确的情况。

    随着现代工业的发展,采用图像识别方法[7,8]和三维重建方法[9–11]等先进技术对焊缝进行自动视觉检测。根据获得的信息,用于检测的传感器可分为二维方法[12,13]和三维方法[14,15]。

    该方法在不附加结构光照明的情况下获取图像,经过一定的图像处理后从图像中提取特征信息。Li等人使用数码相机对管道焊缝进行了反向传播神经网络算法的质量评价。Leo等人设计了一种自动化系统,在不使用结构光的情况下,基于视觉方法监控不锈钢桶的焊接。二维方法为焊缝的目视检测提供了一种简便易行的方法。然而,该方法仅通过受环境光源影响的图像灰度值来获得焊缝的特征信息。此外,二维方法不能测量焊缝的高度。三维方法是通过在物体表面投射额外的结构光源,如激光,来测量具有扭曲条纹的表面的凹凸度。Shao等人提出了一种用三道激光条纹获取窄对接焊缝宽度、中心位置和法向量的传感器。他等人利用激光照射下的焊缝图像,通过视觉注意模型检测焊缝轮廓。yan飚等人设计了一种基于形态图像处理方法和CCOT算法的结构激光焊缝检测系统,解决了强电弧和飞溅的干扰。Zhang等人[21]提出了一种通过扫描获取焊缝三维信息的交叉结构光,其均方根误差在0.407 mm以内。上述传感器利用线激光检测焊缝的三维信息,具有通用性强、抗干扰能力强的优点。然而,为了获得焊缝的全貌,线激光必须以相对较慢的速度扫描焊缝表面,这降低了检测速度,使其对物体运动[22]引起的振动敏感。

    结构光栅光法通过在物体上投射具有编码图案的结构光栅光来捕捉物体的全貌[23]。Wang等人[24]通过计算单次拍摄得到的畸变图像的相位图得到物体的三维形状。Le等人[25]利用结构光照成像和数据融合技术重建了具有精确形状边缘的三维曲面。因此,结构光栅光法可以通过单一图像获得物体的三维轮廓,提高了测量的精度和速度。然而,数据处理的复杂性和耗时性给工业应用带来了困难。

    因此,本文提出了一种新的三维重建方法,该方法能够以可接受的交流速度和检测速度获取目标的三维信息。三维重建的方法是基于融合分析的图像的焊缝没有额外的光源和正交结构网格激光照明使用一个单一的相机。利用正交结构网格激光对每个微小网格的高度值进行计算,并与灰度值进行非线性拟合,提高了测量的速度和精度。实验结果表明,该方法能够有效地获得焊缝的三维轮廓。

    5. Conclusion

    1. 提出了一种新的三维重建方法,即在不增加光源的情况下,对正交结构网格激光照射下的目标图像进行傅里叶变换分析。在探测系统中使用的正交结构网格激光器通过一次拍摄就能获得物体的全景。
    2. 通过图像处理、高度计算和三维重建算法实现了三维重建过程。采用双边滤波算法对焊缝进行三维重建,得到的焊缝轮廓与实际焊缝轮廓相吻合。
    3. 对曲面和工业焊缝进行了三维重建。基于系统校准,曲面测量误差小于±0.06mm,焊缝测量误差小于±0.09mm。低成本的测量系统可以提供一个可接受的测量精度,使其易于在工业上使用。在未来的工作中,我们将使用更精确的点云设备来实现准确的地面真值来校准系统。
    4. 本文提出的三维重建算法得到的高度值对检测缺陷具有重要的意义,如未融合、填充不完全等。然而,传统的目视检测方法仍然需要检测表面裂纹和表面断裂孔隙率等缺陷。
    展开全文
  • 基于点云数据的三维重建

    热门讨论 2010-04-13 00:13:52
    第三章主要研究了基于塑像三维点云数据进行模型重建的技术。针对塑像 面不规则的特点,对塑像点云的建模选择了逐点插入法构建空间三维网格, 细介绍了该算法和流程;针对三维激光扫描数据量大的特点,提出了基于构 ...
  • 基于八叉树分解的三维重建,原始数据需要有法向量.
  • 基于深度学习的三维重建算法综述

    千次阅读 2020-02-21 08:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达00 前言目前,三维重建技术已在游戏、电影、测绘、定位、导航、自动驾驶、VR/AR、工业制造以及消费品领域等方面得到了广泛的应用。方...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    00 前言

    目前,三维重建技术已在游戏、电影、测绘、定位、导航、自动驾驶、VR/AR、工业制造以及消费品领域等方面得到了广泛的应用。方法同样也层出不穷,我们将这些方法依据原理分为两类:

    • 基于传统多视图几何的三维重建算法

    • 基于深度学习的三维重建算法

    总地来说,尽管目前传统的三维重建算法依旧占据研究的主要部分,但是越来越多的研究者开始关注于用CNN探索三维重建,或者说,两者之间的交叉与融合。

    有人问,在三维重建中引入深度学习方法有什么意义?我将意义概括为三部分:

    • 为传统重建算法性能优化提供新的思路

     一项名为 Code SLAM1 的工作,这项研究获得了CVPR 2018年的best paper提名奖,研究利用神经网络框架,并结合图像几何信息实现了单目相机的稠密SLAM。主要贡献在于使

    展开全文
  • “近年来,随着AR,VR,虚拟试衣,自动驾驶等领域的兴起,三维重建技术得到了广泛的应用。今天分享一篇来自三维匠心的关于三维重建的综述文章。文章较长,建议收藏。”三维匠心(已授权)丨来源三维...

    近年来,随着AR,VR,虚拟试衣,自动驾驶等领域的兴起,三维重建技术得到了广泛的应用。今天分享一篇来自三维匠心的关于三维重建的综述文章。文章较长,建议收藏。

    三维匠心(已授权)丨来源

    三维匠/Realcat丨编辑


    三维匠自接触三维重建以来,一直为基于RGB-D相机的三维重建所惊艳同时,心头一直盘旋着写个总结的想法,相信大家也能体会三维匠的感受,空中阁楼,如鲠在喉

    最后亲身实践一番后,终于可以了却心愿。故先写个总览作为备忘,也可给各位小伙伴提供按图索骥的便利。后续还会写具体文章的分析,分享下对相关论文的理解,希望各位小伙伴也不吝赐教。(PS:温馨提示,由于本篇文章包含大量有趣的GIF,故可能加载会花点时间,请各位小伙伴耐心等待)

    到这里,很多小伙伴可能会问“基于RGB-D相机的三维重建"和传统的SFM和SLAM算法有什么区别?

    首先,输入数据流不同。在基于RGB-D相机的三维重建中,输入有深度信息和彩色信息,并且深度信息起主导作用,而在SLAM和SFM算法中输入的是主要是彩色信息,个别工作也有结合深度信息。

    其次,侧重点不同。SLAM框架类算法中,定位还是主体。我们通常需要定位能实时响应,而稠密地图的构建通常规模和计算量都较大,因此地图的构建却不一定需要实时。当然,地图比较稀疏时,也能实时建图,但并不满足实际需求。另一种思路是以建图为主体,定位次之,旨在构建稠密准确的高质量地图,这种高质量地图可以提供给SLAM算法定位使用,而基于RGB-D相机的三维重建”便是满足上述需求的一种方法。

    “基于RGB-D相机的三维重建”以及“基于深度相机的三维重建“和“基于fusion系列方法的三维重建”其实是三种等价的说法。由于该领域发表的大多数工作都在标题里带有“fusion”,业内也简称这些相关工作为“基于fusion系列方法”,所以本文中也使用“基于fusion系列方法”来描述

    基于fusion系列的三维重建其实可以大体分为两种,一种是对于静态场景的三维重建,以KinectFusion为典型代表,一种是对于动态场景的三维重建,以DynamicFusion为典型代表。而不论是静态场景亦或是动态场景的fusion系列重建,最大特点就是使用了TSDF模型(截断符号距离函数模型),当然也有个别工作使用了面元(Surfel)的表示方法(面元简单来讲就是点,法线,颜色,权重,半径以及时间戳等属性的集合)。值得一提的是,基于动态场景的三维重建的难度远大于基于静态场景的三维重建,当然,对于拓扑不会发生变化的重建(比如驱动一个三维网格模板模型),难度会下降很多。

    为了更好的理解fusion系列方法,这里在介绍下TSDF模型。TSDF全称是Truncated Signed Distance Function缩写,译为截断符号距离函数。通常我们先选定要建模的三维空间,比如2m×2m×2m那么大,然后将这个三维空间分割成许多小块,分辨率通常为256×256×256或是128×128×128,每一个小块被称为体素

    TSDF模型中每个体素存储的是该小块与其最近的物体表面的距离。如果该小块在该物体表面的的前面,则它存储一个正值;如果该小块位于物体表面之后,那么就存储一个负值。进一步,通常认为物体表面是有厚度的,所以把值太大和值太小的都置为1或是-1,这样就得到了截断之后的距离,也就是所谓的TSDF模型。最后按照定义,TSDF为0的地方就是重建表面所在。换种说法就是TSDF数值由负数过渡到正数的地方。如下图中人脸就出现在TSDF值改变符号,即TSDF值为0的地方,如下图。

    再来说说Surfel,如下图。

    Surfel这种表示方法最早于2000年提出用于模型渲染,如下图所示,每一个Surfel可以理解成一个小面片,包含以下要素:

    • 空间点坐标,即面片位置;

    • 空间法向量,即面片方向;

    • 颜色;

    • 权重,即根据当前点到相机的距离进行初始化,距离越远,权重越小;

    • 半径,即由当前表面到相机光心的距离决定,距离越大,半径越大;

    • 时间戳;

    下面分别介绍下代表性工作。

     

    1

    基于静态场景的三维重建

    1.KinectFusion

    KinectFusion是Richard A. Newcombe的经典之作。该系统仅需要一个移动的低成本深度相机,便可以重建任意并且较为复杂的室内场景。其核心思想将Kinect传感器采集的深度数据流实时融入到(fusion into)一个当前场景对应的全局的隐式表面模型(TSDF模型)中,并使用一个由粗到精的迭代最近点(ICP)算法跟踪当前采集的深度帧数据与上文的全局的隐式表面模型之间的相对关系,从而获得Kinect传感器的位姿变化。

    同时这个系统也有着不足之处,该系统只能重建小于7立方米的体空间。主要原因有两点:由于该系统采用稠密的体积表示方式,因此需要消耗大量内存;另外在重建较大建筑时不断累积的误差会造成“飘移”现象。以上两点原因使得Kinectfusion无法重建较大建筑。

    论文链接:https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ismar2011.pdf    

    代码链接:https://github.com/ParikaGoel/KinectFusion

    演示:

    2.Kintinuous

    上述 KinectFusion 算法使用固定体积的网格模型(如256×256×256)表示重建的三维场景,从而只能重建固定大小的场景;另外当重建体积较大,或者网格的空间分辨率较高时很消耗显存。而且 KinectFusion 算法没有回环检测和回环优化,这也造成当相机移动距离大时,不可避免的会有累积误差。Kintinuous算法是比较完善的三维重建系统,融合了回环检测回环优化,还在实时三维刚体重建中使用了deformation graph做非刚体变换,根据回环优化的结果,更新点的坐标,使得回环的地方两次重建的可以对齐。该算法适合大场景的三维重建。

    论文链接:http://www.thomaswhelan.ie/Whelan12rssw.pdf

    代码链接:https://github.com/mp3guy/Kintinuous

    演示:

    3.ElasticFusion

    该算法的作者同时也是Kintinuous的作者,不同于Kintinuous的是,ElasticFusion使用了面元(Surfel)的表示方法,并且是用于小场景重建。该工作的主要贡献有两点:将许多“model-to-model”的局部闭环和较大规模的全局闭环结合在一起。因此可以保证重建地图的分布的尽可能相近,并且保证了重建结果的全局一致性;另外该算法对探测离散的多点光源环境比较高效,也能在该条件下获得较好的重建结果。

    另外该算法也面临巨大的挑战,如何解决整个房间以外的地图可扩展性问题以及如何随着时间变化,保证重建地图的全局一致的稳定性。

    论文链接:http://www.thomaswhelan.ie/Whelan16ijrr.pdf

                     http://roboticsproceedings.org/rss11/p01.pdf

    代码链接:https://github.com/mp3guy/ElasticFusion

    演示:

    4.ElasticReconstruction

    该工作提供一种从RGB-D视频重建室内场景重建的方法,其核心思想在于将场景片段的几何配准全局优化相结合。场景片段是通过将输入RGB-D视频流分割成若干帧为一组的场景片段得到的。这种以场景片段为单位进行深度信息的融合可以有效地去除深度图的噪声,从而获得更加准确的表面法向信息以及重建结果。

    论文链http://vladlen.info/papers/indoor.pdf

    代码:https://link.zhihu.com/?target=https%3A//github.com/qianyizh/ElasticReconstruction

    演示:

    5.InfiniTAM

    InfiniTAM是一个开源、跨平台、实时的大范围深度信息融合与跟踪技术框架。该算法有好几个版本,有很大的借鉴意义。值得一提的是,InfiniTAM能够比KinectFusion重建更加大范围的3D环境,其关键因素在于InfiniTAM采用了哈希表的方式来存储隐式的体积表示,极大地节省了内存空间的消耗。

    论文链接https://arxiv.org/pdf/1708.00783.pdf

    代码链接:https://github.com/victorprad/InfiniTAM

    演示:

    6.BundleFusion

    Bundlefusion应该是目前静态场景重建效果最佳的方案了。该方法提出一个并行化的优化框架,充分利用了基于稀疏特征以及稠密几何光度匹配提取的对应关系,实时地估计了BA优化的姿态,并具有从追踪失败中恢复(即重定位)的鲁棒追踪能力。

    论文链接:https://arxiv.org/pdf/1604.01093.pdf

    代码链接:https://github.com/niessner/BundleFusion‍

    演示:

    2

    基于动态场景的三维重建

    1.DynamicFusion

    DynamicFusion获得了2015年CVPR的Best Paper Award,其作者是Newcombe,和KinectFusion是一个作者。DynamicFusion是不基于任何模板先验信息的动态重建算法,可是说是实时动态重建的开山之作。DynamicFusion系统在重建场景的几何的同时也在估计稠密体积表示的6D形变域。类似KinectFusion,该系统能随着深度数据的采集,而获得一个逐渐去噪,保留细节并且较为完整的重建结果。

    但同时由于DynamicFusion没有采用任何先验信息使得该算法对于帧间较大的运动以及遮挡区域的运动都不具备鲁棒性;此外DynamicFusion可以较好的处理封闭拓扑的表面重建,对于拓扑发生变化就无能为力了。例如我们嘴一开始闭着,后面再打开的情况就没法处理;另外由于追踪的累积误差,使得环闭合失败。      

    论文链接:

    https://rse-lab.cs.washington.edu/papers/dynamic-fusion-cvpr-2015.pdf

    演示:

    2.volumeDeform

    volumeDeform算法和dynamicFusion类似,都无需预先定义的模板,同样采用体积表示(volumetric representation)的方法来参数化重建模型的几何以及运动。该算法的运动追踪基于提取的全局稀疏彩色特征(如SIFT算子)以及稠密的深度图两者的结合,增强了特征匹配点寻找准确的鲁棒性,进而极大地减小了重建模型的累积误差以及漂移现象 。

    该算法的不足之处在于尽管全局SITF特征算子的匹配提高了系统的鲁棒性,减小了对齐的误差,但漂移现象仍然不能完全消除;另外由于正则项的设置使得极度弯曲的物体的重建结果在运动上会显得平滑,变得不那么弯曲。

    论文链接:https://graphics.stanford.edu/~niessner/papers/2016/5volumeDeform/innmann2016deform.pdf

    演示:

    3.BodyFusion

    从BodyFusion开始就变得更有意思了。BodyFusion使用人体骨架作为先验信息,实现鲁棒了的人体动态重建。人体骨架的引入减少了重建表面图节点的非刚性形变参数化的歧义性,也是在一定程度上缩小了解空间。

    不足之处在于所使用的人体骨骼所包含的关节点太过稀疏,并且运动较快时,会在深度图上出现运动模糊的情况,从而造成重建方法受限。

    论文链接:http://www.liuyebin.com/bodyfusion/bodyfusion_files/BdyFu_ICCV17.pdf

    演示:

    4.DoubleFusion

    DoubleFusion非常惊艳,该系统将数字驱动的模板(SMPL模型)以及实时重建的稠密几何非刚性运动以及内层人体形状充分结合在一起。该系统的关键贡献之一在于提出了双层表面的表示,这里的两层主要是指里层的参数化模型表面(inner body),也就是SMPL模型的shape,以及外层通过深度融合得到的表面(outer surface)。该算法的另一个关键贡献在于提出了一个基于双层表面表示的联合运动追踪,使得整个系统可以在快速运动的情况下仍然具有鲁棒性。

    不足之处在于当用户穿着比较肥大的时候,估计的人体也偏胖;并且无法处理外层表面发生分离的情况,以及无法处理人和物体交互的情况。

    论文链接:http://www.liuyebin.com/doublefusion/doublefusion_files/doublefusion.pdf

    演示:

    5.UnstructuredFusion‍

    通常多相机系统需要一些特殊设计的相机以及预先精细的相机标定操作,但UnstructuredFusion算法可以使用未经预先标定以及同步的三个深度相机以一种互补并灵活的方式覆盖整个人体,从而实现实时,高质量,完整的动态人体重建。

    该算法也有不足之处。由于输入深度图分辨率受限,该算法无法重建目标非常细小的部分,比如人的脸部区域;该算法也无法处理网格拓扑分离的情况;该算法也无法处理人-物交互情况。

    论文链接:https://ieeexplore.ieee.org/document/8708933

    演示:

    6.RobustFusion

    诚如算法名字RobustFusion所示,该算法使用了各种数据驱动的视觉线索提高动态重建算法的鲁棒性。这些数据驱动的视觉线索具体包括Occupancy Network,Pose&Shape Network以及Semantic Network。 该算法充分利用了上述数据驱动的视觉线索,避免了预先扫描模板的使用,具备了重新初始化的能力,使得该系统能够处理极具挑战性的运动和几何的重建。

    该系统的不足之处有:该系统无法实时运行;不能处理重建网格拓扑发生分离的情况,比如脱掉衣服;不能实现人和物的交互;当一些极端运动姿态在上述网络训练时没有出现过,那上述数据驱动的视觉线索就不能很好地提供先验信息。

    论文链接:https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123490239.pdf

    7.KillingFusion

    KillFusion是基于Killing Vector Fields提出的实时三维重建方法,也是不需要任何预先扫描的模板信息以或是形状先验。KillingFusion不需要显式地进行对应匹配点的搜索,当给定感兴趣区域的一对SDF(signed distance fields),该算法可以估计出一个稠密形变域来对齐给定的SDF。具体的,该算法定义一个和SDF相同分辨率的位移向量域(displacement vector field),并通过最优化迭代求解。

    该算法的不足之处也是由于其优点造成,不显式地寻找对应点也使得该算法在某些需要显式的对应点的操作上无法应用,比如纹理映射就需要显式的对应点。

    论文链接:http://campar.in.tum.de/pub/slavcheva2017cvpr/slavcheva2017cvpr.pdf

    演示:

    8.SurfelWarp

    SurfelWarp是三维动态重建方案中为数不多的基于面元的算法。类似的,该算法输入一个深度图序列,对非刚性场景进行实时重建,无需任何模板或是先验信息。与现有的方法相比,该算法无需维持体积数据结构,比如TSDF模型,该系统采用面元(surfel)的几何表示,极大地增强了拓扑发生改变时的追踪能力,从而获得一致的重建结果。

    该算法的不足之处在于,模型重初始化可以极大地提高系统的鲁棒性,然而清除错误的面元会破坏模型的完整性

    论文链接:

    https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1904.13073.pdf

    演示:

    9.Fusion4D

    Fusion4D的重建结果也非常惊艳。该算法是基于多视角方案,没有使用任何先验信息,因此理论上可以重建任何场景或是物体。如视频所示,除了对人体动态重建,还能对狗子动态重建。该算法很重要的一点贡献是引入了key volume,因此对于较大的帧间运动以及网格拓扑发生改变时都有很强的鲁棒性;另外Fusion4D还引入了体素碰撞检测,从而得到正确的TSDF模型。

    该系统不足之处在于当RGBD输入流帧率过低或者帧间运动过大时,会使帧间对应匹配点估计不准确,造成非刚性对齐过程无法收敛。

    论文链接https://www.microsoft.com/en-us/research/wp-content/uploads/2016/11/a114-dou.pdf

                     

    如果各位小伙伴想观看完整的演示效果,可以点击这里:

    https://zhuanlan.zhihu.com/p/296509722

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 基于图像的单目三维网格重建

    千次阅读 2020-05-02 21:26:20
    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地...
  • 基于图像的目标三维重建技术是计算机视觉领域中研究的热点,近些年来,涌现了大量的优秀算法,对于目标重建的完整性,准确性,实时性不断提高。本文今天向大家介绍几款可以在window平台下,运行的软件,用户只需根据...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达编辑丨三维匠心近年来,随着AR,VR,虚拟试衣,自动驾驶等领域的兴起,三维重建技术得到了广泛的应用。三维匠自接触三维重建以来,一直为基...
  • 谈谈基于深度相机的三维重建

    千次阅读 2021-03-25 16:44:34
    三维重建(3D Reconstruction)技术一直是计算机图形学和计算机视觉领域的一个热点课题。早期的三维重建技术通常以二维图像作为输入,重建出场景中的三维模型。但是,受限于输入的数据,重建出的三维模型通常不够...
  • 大场景图像三维建模的应用 总体分类 典型应用 几何视觉的核心问题 图像三维建模基本流程​ 稀疏重建(Structure from Motion) 特征点匹配难点-误匹配 增量式的优势与不足 全局式的优势与不足 混合式的优势和...
  • 侧影轮廓线三维重建 此类方法是使用一系列物体的轮廓线条构成三维形体。当物体的部分表面无法在轮廓联机展现时,重建后将丢失三维信息。常见的方式是将待测物放置于电动转盘上,每次旋转一小角度后拍摄其图像,再...
  • 基于深度学习的视觉三维重建研究总结 1.三维重建意义 三维重建作为环境感知的关键技术之一,可用于自动驾驶、虚拟现实、运动目标监测、行为分析、安防监控和重点人群监护等。现在每个人都在研究识别,但识别只是...
  • 基于图片的三维重建

    千次阅读 2018-10-09 11:12:14
    之前的博客提及了计算机视觉中的三维重建有多种方法,详情见https://blog.csdn.net/m0_37824471/article/details/82849529,因成本问题,我是直接拍摄的RGB彩色图片,故而选用基于图片的三维重建方法,利用的是...
  • 提出了采用傅里叶分析和改进的多重网格法恢复多方向干涉波前的技术,得到待测场在不同方向上的二维投影数据,从而实现了任意截面的场重建,即真正的三维重建。并实验利用了一种旋转F-P干涉仪,实时捕获非对称温度场的多...
  • 该算法使用Power Crust对三维点云进行曲面重建,接着对得到的网格进行线性调整、简化和平滑,最后引入VTK进行渲染、绘制、显示,并实时交互。实验结果表明,该算法可以加快散乱点云数据的重建速度,较好地保持了点云...
  • 相比而言,基于图像特征点的三维重建方法没有上述建模方法的诸多限制,只需要输入图像,成本低廉,不需要其他特殊的先验信息,通过优秀先进的算法,就能恢复出图像中物体及场景的三维信息。不仅所需设备简单,对场景...
  • 三维重建开源代码汇总【保持更新】

    千次阅读 多人点赞 2021-05-22 22:43:29
    三维重建开源代码汇总,不定期更新。SFM、MVS、SLAM、Mesh
  • 三维重建三维重建技术概述

    千次阅读 2019-04-10 13:58:06
    基于视觉的三维重建,指的是通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推导出现实环境中物体的三维信息。 1. 相关概念 (1)彩色图像与深度图像 彩色图像也叫作RGB图像,R...
  • 三维点云的滤波处理  在获取点云数据时 ,由于设备精度,操作者经验环境因素带来的影响,以及电磁波的衍射特性,被测物体表面性质变化和数据拼接配准操作过程的影响,点云数据中讲不可避免的出现一些噪声。在...
  • 基于传统多视图几何的三维重建算法 基于深度学习的三维重建算法 总地来说,尽管目前传统的三维重建算法依旧占据研究的主要部分,但是越来越多的研究者开始关注于用CNN探索三维重建,或者说...
  • 三维重建算法综述|传统+深度学习

    千次阅读 多人点赞 2020-02-22 13:14:08
    来源:基于深度学习的三维重建算法综述 00 前言 01 基于传统多视图几何的三维重建算法 1.1 主动式 (1)结构光 (2)TOF 激光飞行时间法 (3)三角测距法 1.2 被动式 (1)单目视觉 (2)双目/多目视觉 1.3 基于...
  • 基于边界采样和投影方法建立代理曲面,实现了内环三角化细分和三维网格表面的自由变形。通过合并环间区域和引入边缘约束的平滑过程,得到缺失实体孔洞的上缝合面。在此基础上向内扩展,获取孔洞下表面边界轮廓,搜索出...
  • 基于Python的三维重建开源代码 包含SFM,MVS,PMVS以及CMVS等相关功能! 【核心代码文件表】 sfm-bundler(python) └── sfm-bundler(python) ├── osm-bundlerWin32 │ ├── icons │ │ ├── info_icon.png ...
  • 基于图像点特征的多视图三维重建

    千次阅读 2017-12-25 17:02:34
    基于图像点特征的多视图三维重建大致分成四步:一.图像特征点描述 ;二.图像特征点匹配; 三.基于图像的稀疏三维重建;四.多视图稠密匹配与三维重建 一.图像特征点描述: 为描述所检测到的图像特征点,通常提取特征...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,883
精华内容 1,553
关键字:

基于网格的三维重建