精华内容
下载资源
问答
  • 为了提取点云的特征和补全目标点云,提出了一种基于多分支结构的点云补全网络。编码器从输入信息中提取局部特征和全局特征,解码器中的多分支结构将提取的特征转换成点云,以得到目标物体完整的点云形状。在ShapeNet和...
  • 在右上方 ··· 设为星标 ★,第一时间获取资源 仅做学术分享,如有侵权,联系删除 转载于 :商汤学术 在 CVPR 2021 上,南洋理工大学 S-Lab 与商汤 IRDC 团队合作提出变分关联点云补全网络 (VRCNet)。如 Fig.1...

    点上方人工智能算法与Python大数据获取更多干货

    在右上方 ··· 设为星标 ★,第一时间获取资源

    仅做学术分享,如有侵权,联系删除

    转载于 :商汤学术

    在 CVPR 2021 上,南洋理工大学 S-Lab 与商汤 IRDC 团队合作提出变分关联点云补全网络 (VRCNet)。如 Fig.1(a) 所示,VRCNet 首先预测出粗略形状框架 (PMNet),再增强关联性形状细节生成 (RENet)。对比之前方法,VRCNet 生成的完整点云有显著的质量提升 (见Fig.1(b))。更进一步地,Fig.1(c) 中的补全结果显示,VRCNet 可以基于观测到的不同的残缺点云,结合关系性架构推测生成合理而不同的完整点云。此外,本文还建立了一个大规模多视角的残缺点云 (MVP) 数据集,可以应用于包括残缺点云分类、分割和配准等多个点云学习任务的研究。

    Figure 1 VRCNet 点云补全方法框架和主要优点总览

    ⚠️插播一条广告:在本周四(6月10日)的商汤学术公开课上,论文一作将对本篇论文进行详细分享(详细内容戳课程介绍⬅️),不容错过!

    Part 1 问题和挑战

    点云补全是 3D 感知中的一个重要并且基础的任务,它旨在基于扫描得到的片面且不完全的点云形状预测和恢复完整的3D模型。现实生活中,由于遮挡等问题造成只能观察到残缺的点云形状,而很多任务很依赖感知到完整的 3D 形状。比如,抓取机器人需要了解完整的物体形状以稳妥地抓取物体。此外,完整的点云形状还有助于深度学习对 3D 物体的语义感知和检测。点云补全问题大约可以分为以下三个层次:

    1. 点云补全需要能感知并区别不同但类似的点云形状 (辨识

    2. 点云补全需要能从结构关系上分析和理解点云形状 (推断

    3. 点云补全需要对完整点云形状有一定的先验知识 (生成

    3D 深度学习的发展使得点云补全也取得了显著的进展。然而,很多现有的方法都只停留在“辨识”层面上,也就是可以从已知的形状中获取与片面观测最相似的形状。可是,新补全的部分和观测到的部分之间缺少关系约束,并且对学习中未见过的新形状缺少推理和生成的能力,甚至难以保留已观测到的形状细节特征。 

    Part 2 方法介绍

    鉴于此,我们提出了一个新颖并且综合性的点云补全网络(VRCNet,如Fig. 2所示)。它由概率模型网络PMNet和关系增强网络RENet两个子网络级联构成。首先,PMNet基于残缺点云生成一个粗略的点云形状框架,然后再由RENet结合前阶段生成的粗略框架和残缺点云观测,推测具有相关性的结构,以实现最后生成点云细节特征的增强。

    Figure 2 VRCNet网络架构:PMNet(浅蓝色)和RENet(浅黄色,细节见Figure 4)

    1. 概率模型网络(PMNet)

    动机:

    由于点云的形状残缺,也导致了其空间分布上的网格缺失,从而影响了全局意义上局部形状细节的生成。为了缓解和避免这个问题,我么提出并设计了 PMNet,旨在先从点云的全局特征和分布出发,先生成一个粗略的全局点云框架结构,再以此辅助其形状细节增强。

    方法:

    PMNet(如Fig. 2浅蓝色框所示) 是一个双通道的网络架构,包含一个重建通道和一个补全通道。重建通道对完整的点云形状做自编码和解码以恢复完整形状,而补全通道通过相似的网络做编码和解码以补全完整形状。两个通道间有多个共享模块。在训练时,重建通道在网络梯度和形状分布两个层面上引导补全通道的学习和收敛。在测试时,重建通道不再使用,网络只输入残缺点云。

    训练时使用到的损失函数如下:

    其中表示重建通道的损失函数,而代表的是补全通道的损失函数。这里代表对应函数的期望,是对应数据的真实分布,X 是残缺点云,Y 是完整点云,KL 代表 Kullback–Leibler 散度。重建通道和补全通道的损失函数都包含有两个部分:1)分布之间的散度比较;2)生成的形状与真实数据形状的比较。不同的是,重建通道的编码分布向先验的高斯分布靠近,而补全通道的编码分布向重建通道的编码分布靠近。

    2. 关系增强网络(RENet)

    动机:

    通过 PMNet,我们编码生成了粗略的点云形状框架,但是缺少了很多细节信息。理想的点云补全不仅应当能保留观测到的点云细节信息,还应当根据关联性的结构(比如,人造物体的对称,阵列,以及光滑表面)推测未知的点云的细部特征。于是,我们综合考虑生成的粗略点云形状框架和残缺点云,以进一步增强生成完整点云的细节特征。启发于 2D 图像中基于自注意力的操作可以有效学习图像特征的关联,我们也致力于探索各种基于自注意力的操作对于点云特征的学习。

    方法:

    基于提出的多个新颖且强力的点云学习模块,诸如 PSAPSK 和 R-PSK 模块(见Fig. 3),我们构建了 RENet(Fig. 4)网络架构。PSA 模块利用点云的自注意力机制,自适应地学习点云局部邻近点之间的关联。PSK 模块通过并联多个不同尺度的 PSA 模块,可以自适应地选取由不同尺度感受野编码得到的特征。此外,通过额外添加的残差链接,我们得到最终的 R-PSK 模块,而它是 RENet 的基本运算块。

    Figure 3 RENet 中使用到的各个基于关系的点云特征学习模块

    各个点云模块的具体运算:

    ● PSA 模块的具体运算展示于公式(3)和公式(4)中。其中,代表点所有搜寻到的 K-NN 临近点的特征,都代表了线性变换运算,而代表了特征向量的链接操作(concatenation)。

    ● PSK 模块的运算可以用公式(5)表述。其中是由两个不同尺度的 PSA 模块编码得到的点云特征;W,A 和 B,是预测的权重矩阵;是全连接层;V 是最后融合得到的点云特征。

    Figure 4 RENet 的具体网络架构

    基于我们构建的多种模块,我们沿用 U-Net[1] 的思路搭建起多层级的 RENet 网络。 此外,RENet 还使用了 EFE[2] 模块以支持多种分辨率的完整点云生成。

    3. 损失函数

    损失函数主要有三个部分:重建通道损失函数 ,补全通道损失函数和关系增强网络的损失函数都包含两个损失函数项:公式(6)中的Kullback–Leibler(KL)散度项和公式(7)中的 Chamfer Distance (CD)损失函数只包含CD损失函数。于是,整体的损失函数定义如公式(8)所示,其中 是对应的权重参数。

    Part 3 MVP 数据集

    动机:

    为了建立一个更统一并且综合性的残缺点云数据集,我们生成了 MVP 数据集。对比之前的残缺点云数据集,比如 PCN[3] 和 C3D[4],MVP 有很多吸引人的特性(见Table 1)。

    Figure 5 MVP 数据集数据生成和质量对比

    主要优点:

    MVP 主要的优点有:1)均匀分布的虚拟相机视角产生了多样化的残缺点云; 2)更大数量和更高质量的点云数据; 3)丰富的点云种类。 由 Fig. 5(a) 和 Fig. 5(b) 可以看出,对于同一个完整 CAD 飞机模型,我们使用了26个均匀分布的虚拟相机,从而采集到丰富且各异的高质量残缺飞机点云。Fig. 5(c) 对比了不同分辨率下生成的残缺点云质量,MVP 使用高分辨率也获得了更高质量的残缺点云。 不同采样方法生成的完整点云质量对比展示在 Fig. 5(d)中。 相比较之前方法使用的均匀采样(US),MVP 使用的泊松采样(PDS)生成了更高质量的完整点云。

    Part 4 实验结果

    1. 点云补全结果质量对比

    Fig. 6是在 MVP 数据集上的不同方法点云补全的效果图对比。VRCNet 的结果相比较之前的点云补全方法主要有两方面的优势:1)可以生成更均匀和光滑分布的高质量完整点云;2)可以有效地捕捉到关联性结构并对缺失部分实现合理的生成和补全。

    Figure 6 不同方法在MVP数据集上的点云补全结果展示

    2. 真实点云补全结果展示

    我们进一步在现实采集到的残缺点云上检验 VRCNet 的补全能力。 在 Fig. 7 中,残缺的汽车点云源于 Kitti 数据集(激光雷达采集),而残缺的桌子和椅子点云源于 ScanNet 数据集(深度相机采集),它们都没有对应的完整的点云。 VRCNet 通过学习和预测多种对称性,可以较好地生成高质量的完整点云。

    Figure 7 在实际采集的残缺点云的补全效果对比

    3. 点云补全结果数值对比

    与之前提出的方法对比,VRCNet 在 MVP (见 Table 4)和 C3D (见 Table 3)数据集上取得更优的表现,并有着明显的提升。不同的分辨率下的点云补全实验(见 Table 2) 进一步彰显出 VRCNet 的优越性。

    Part 5 结语

     在本文中,我们提出了 VRCNet,一个变分关联性点云补全网络。VRCNet 可以通过学习关联性结构来预测完整点云。此外,我们还提出了多个新颖并且强力的基于自注意力的点云学习模块,如 PSA 和 PSK,它们也可以很便捷地被运用到其他的点云学习任务中。特别地,我们贡献了一个大规模的点云数据集 MVP,可以应用于多个点云学习任务,比如残缺点云分类和配准。我们强烈推荐研究人员在后续的点云研究中尝试我们提出的点云学习模块和数据集。

    项目主页

    https://paul007pl.github.io/projects/VRCNet 

    论文地址

    https://arxiv.org/abs/2104.10154 

    代码地址

    https://github.com/paul007pl/VRCNet

    实验室主页

    https://www.mmlab-ntu.com/

    欢迎有兴趣实习/深造的学生关注官网,联系NTU@MMLab~

    Reference

    [1] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.

    [2] Pan, L. (2020). ECG: Edge-aware Point Cloud Completion with Graph Convolution. IEEE Robotics and Automation Letters, 5(3), 4392-4398.

    [3] Yuan, W., Khot, T., Held, D., Mertz, C., & Hebert, M. (2018, September). Pcn: Point completion network. In 2018 International Conference on 3D Vision (3DV) (pp. 728-737). IEEE.

    [4] Tchapmi, L. P., Kosaraju, V., Rezatofighi, H., Reid, I., & Savarese, S. (2019). Topnet: Structural point cloud decoder. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 383-392).

    ---------♥---------

    声明:本内容来源网络,版权属于原作者

    图片来源网络,不代表本公众号立场。如有侵权,联系删除

    AI博士私人微信,还有少量空位

    如何画出漂亮的深度学习模型图?

    如何画出漂亮的神经网络图?

    一文读懂深度学习中的各种卷积

    点个在看支持一下吧

    展开全文
  • 在 CVPR 2021 上,南洋理工大学 S-Lab 与商汤 IRDC 团队合作提出变分关联点云补全网络 (VRCNet)。如 Fig.1(a) 所示,VRCNet 首先预测出粗略形状框...

    在 CVPR 2021 上,南洋理工大学 S-Lab 与商汤 IRDC 团队合作提出变分关联点云补全网络 (VRCNet)。如 Fig.1(a) 所示,VRCNet 首先预测出粗略形状框架 (PMNet),再增强关联性形状细节生成 (RENet)。对比之前方法,VRCNet 生成的完整点云有显著的质量提升 (见Fig.1(b))。更进一步地,Fig.1(c) 中的补全结果显示,VRCNet 可以基于观测到的不同的残缺点云,结合关系性架构推测生成合理而不同的完整点云。此外,本文还建立了一个大规模多视角的残缺点云 (MVP) 数据集,可以应用于包括残缺点云分类、分割和配准等多个点云学习任务的研究。

    Figure 1 VRCNet 点云补全方法框架和主要优点总览

    Part 1 问题和挑战

    点云补全是 3D 感知中的一个重要并且基础的任务,它旨在基于扫描得到的片面且不完全的点云形状预测和恢复完整的3D模型。现实生活中,由于遮挡等问题造成只能观察到残缺的点云形状,而很多任务很依赖感知到完整的 3D 形状。比如,抓取机器人需要了解完整的物体形状以稳妥地抓取物体。此外,完整的点云形状还有助于深度学习对 3D 物体的语义感知和检测。点云补全问题大约可以分为以下三个层次:

    1. 点云补全需要能感知并区别不同但类似的点云形状 (辨识

    2. 点云补全需要能从结构关系上分析和理解点云形状 (推断

    3. 点云补全需要对完整点云形状有一定的先验知识 (生成

    3D 深度学习的发展使得点云补全也取得了显著的进展。然而,很多现有的方法都只停留在“辨识”层面上,也就是可以从已知的形状中获取与片面观测最相似的形状。可是,新补全的部分和观测到的部分之间缺少关系约束,并且对学习中未见过的新形状缺少推理和生成的能力,甚至难以保留已观测到的形状细节特征。 

    Part 2 方法介绍

    鉴于此,我们提出了一个新颖并且综合性的点云补全网络(VRCNet,如Fig. 2所示)。它由概率模型网络PMNet和关系增强网络RENet两个子网络级联构成。首先,PMNet基于残缺点云生成一个粗略的点云形状框架,然后再由RENet结合前阶段生成的粗略框架和残缺点云观测,推测具有相关性的结构,以实现最后生成点云细节特征的增强。

    Figure 2 VRCNet网络架构:PMNet(浅蓝色)和RENet(浅黄色,细节见Figure 4)

    1. 概率模型网络(PMNet)

    动机:

    由于点云的形状残缺,也导致了其空间分布上的网格缺失,从而影响了全局意义上局部形状细节的生成。为了缓解和避免这个问题,我么提出并设计了 PMNet,旨在先从点云的全局特征和分布出发,先生成一个粗略的全局点云框架结构,再以此辅助其形状细节增强。

    方法:

    PMNet(如Fig. 2浅蓝色框所示) 是一个双通道的网络架构,包含一个重建通道和一个补全通道。重建通道对完整的点云形状做自编码和解码以恢复完整形状,而补全通道通过相似的网络做编码和解码以补全完整形状。两个通道间有多个共享模块。在训练时,重建通道在网络梯度和形状分布两个层面上引导补全通道的学习和收敛。在测试时,重建通道不再使用,网络只输入残缺点云。

    训练时使用到的损失函数如下:

    其中表示重建通道的损失函数,而代表的是补全通道的损失函数。这里代表对应函数的期望,是对应数据的真实分布,X 是残缺点云,Y 是完整点云,KL 代表 Kullback–Leibler 散度。重建通道和补全通道的损失函数都包含有两个部分:1)分布之间的散度比较;2)生成的形状与真实数据形状的比较。不同的是,重建通道的编码分布向先验的高斯分布靠近,而补全通道的编码分布向重建通道的编码分布靠近。

    2. 关系增强网络(RENet)

    动机:

    通过 PMNet,我们编码生成了粗略的点云形状框架,但是缺少了很多细节信息。理想的点云补全不仅应当能保留观测到的点云细节信息,还应当根据关联性的结构(比如,人造物体的对称,阵列,以及光滑表面)推测未知的点云的细部特征。于是,我们综合考虑生成的粗略点云形状框架和残缺点云,以进一步增强生成完整点云的细节特征。启发于 2D 图像中基于自注意力的操作可以有效学习图像特征的关联,我们也致力于探索各种基于自注意力的操作对于点云特征的学习。

    方法:

    基于提出的多个新颖且强力的点云学习模块,诸如 PSAPSK 和 R-PSK 模块(见Fig. 3),我们构建了 RENet(Fig. 4)网络架构。PSA 模块利用点云的自注意力机制,自适应地学习点云局部邻近点之间的关联。PSK 模块通过并联多个不同尺度的 PSA 模块,可以自适应地选取由不同尺度感受野编码得到的特征。此外,通过额外添加的残差链接,我们得到最终的 R-PSK 模块,而它是 RENet 的基本运算块。

    Figure 3 RENet 中使用到的各个基于关系的点云特征学习模块

    各个点云模块的具体运算:

    ● PSA 模块的具体运算展示于公式(3)和公式(4)中。其中,代表点所有搜寻到的 K-NN 临近点的特征,都代表了线性变换运算,而代表了特征向量的链接操作(concatenation)。

    ● PSK 模块的运算可以用公式(5)表述。其中是由两个不同尺度的 PSA 模块编码得到的点云特征;W,A 和 B,是预测的权重矩阵;是全连接层;V 是最后融合得到的点云特征。

    Figure 4 RENet 的具体网络架构

    基于我们构建的多种模块,我们沿用 U-Net[1] 的思路搭建起多层级的 RENet 网络。 此外,RENet 还使用了 EFE[2] 模块以支持多种分辨率的完整点云生成。

    3. 损失函数

    损失函数主要有三个部分:重建通道损失函数 ,补全通道损失函数和关系增强网络的损失函数都包含两个损失函数项:公式(6)中的Kullback–Leibler(KL)散度项和公式(7)中的 Chamfer Distance (CD)损失函数只包含CD损失函数。于是,整体的损失函数定义如公式(8)所示,其中 是对应的权重参数。

    Part 3 MVP 数据集

    动机:

    为了建立一个更统一并且综合性的残缺点云数据集,我们生成了 MVP 数据集。对比之前的残缺点云数据集,比如 PCN[3] 和 C3D[4],MVP 有很多吸引人的特性(见Table 1)。

    Figure 5 MVP 数据集数据生成和质量对比

    主要优点:

    MVP 主要的优点有:1)均匀分布的虚拟相机视角产生了多样化的残缺点云; 2)更大数量和更高质量的点云数据; 3)丰富的点云种类。 由 Fig. 5(a) 和 Fig. 5(b) 可以看出,对于同一个完整 CAD 飞机模型,我们使用了26个均匀分布的虚拟相机,从而采集到丰富且各异的高质量残缺飞机点云。Fig. 5(c) 对比了不同分辨率下生成的残缺点云质量,MVP 使用高分辨率也获得了更高质量的残缺点云。 不同采样方法生成的完整点云质量对比展示在 Fig. 5(d)中。 相比较之前方法使用的均匀采样(US),MVP 使用的泊松采样(PDS)生成了更高质量的完整点云。

    Part 4 实验结果

    1. 点云补全结果质量对比

    Fig. 6是在 MVP 数据集上的不同方法点云补全的效果图对比。VRCNet 的结果相比较之前的点云补全方法主要有两方面的优势:1)可以生成更均匀和光滑分布的高质量完整点云;2)可以有效地捕捉到关联性结构并对缺失部分实现合理的生成和补全。

    Figure 6 不同方法在MVP数据集上的点云补全结果展示

    2. 真实点云补全结果展示

    我们进一步在现实采集到的残缺点云上检验 VRCNet 的补全能力。 在 Fig. 7 中,残缺的汽车点云源于 Kitti 数据集(激光雷达采集),而残缺的桌子和椅子点云源于 ScanNet 数据集(深度相机采集),它们都没有对应的完整的点云。 VRCNet 通过学习和预测多种对称性,可以较好地生成高质量的完整点云。

    Figure 7 在实际采集的残缺点云的补全效果对比

    3. 点云补全结果数值对比

    与之前提出的方法对比,VRCNet 在 MVP (见 Table 4)和 C3D (见 Table 3)数据集上取得更优的表现,并有着明显的提升。不同的分辨率下的点云补全实验(见 Table 2) 进一步彰显出 VRCNet 的优越性。

    Part 5 结语

    在本文中,我们提出了 VRCNet,一个变分关联性点云补全网络。VRCNet 可以通过学习关联性结构来预测完整点云。此外,我们还提出了多个新颖并且强力的基于自注意力的点云学习模块,如 PSA 和 PSK,它们也可以很便捷地被运用到其他的点云学习任务中。特别地,我们贡献了一个大规模的点云数据集 MVP,可以应用于多个点云学习任务,比如残缺点云分类和配准。我们强烈推荐研究人员在后续的点云研究中尝试我们提出的点云学习模块和数据集。

    项目主页

    https://paul007pl.github.io/projects/VRCNet 

    论文地址

    https://arxiv.org/abs/2104.10154 

    代码地址

    https://github.com/paul007pl/VRCNet

    实验室主页

    https://www.mmlab-ntu.com/

    欢迎有兴趣实习/深造的学生关注官网,联系NTU@MMLab~

    Reference

    [1] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.

    [2] Pan, L. (2020). ECG: Edge-aware Point Cloud Completion with Graph Convolution. IEEE Robotics and Automation Letters, 5(3), 4392-4398.

    [3] Yuan, W., Khot, T., Held, D., Mertz, C., & Hebert, M. (2018, September). Pcn: Point completion network. In 2018 International Conference on 3D Vision (3DV) (pp. 728-737). IEEE.

    [4] Tchapmi, L. P., Kosaraju, V., Rezatofighi, H., Reid, I., & Savarese, S. (2019). Topnet: Structural point cloud decoder. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 383-392).

    来源:商汤学术(ID:SenseTime_Academic)

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达摘要 ·看点在CVPR 2021上,商汤科技-南洋理工大学联合 AI 研究中心 S-Lab 提出了基于GAN逆映射的无监督点云补全方...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    摘要 · 看点

    在CVPR 2021上,商汤科技-南洋理工大学联合 AI 研究中心 S-Lab 提出了基于GAN逆映射的无监督点云补全方法:ShapeInversion。与已有的全监督方法相比,ShapeInversion首次将生成对抗网络(GAN)逆映射引入到点云补全中。利用GAN提供的先验知识,ShapeInversion不仅在已有的基线上媲美众多有监督方法,还展示了显著的泛化能力,对真实世界的残缺扫描和各种形式的残缺输入以及不完整程度给出了鲁棒的结果。同时,ShapeInversion提供一系列额外的功能,例如对有歧义的残缺点云提供合理的多解,以及对给定完整点云的编辑。

    论文名称: Unsupervised 3D Shape Completion through GAN Inversion

    Part 1 问题和挑战

    点云补全任务是基于一个物体的残缺点云估计物体的完整形状。点云补全对诸多下游任务至关重要,例如三维场景理解,机器人导航等。大多数点云补全方法在很大程度上依赖于成对的残缺-完整点云,并以全监督方式进行学习。尽管它们在域内数据上的表现令人印象深刻,但泛化到其他形式的残缺点云或现实世界的残缺扫描时,由于域的差距(如下图a-d),往往无法获得令人满意的结果。另外,给定一个残缺点云,这些训练方法往往只输出唯一的完整点云,即使该残缺点云可能对应多个合理的完整形状(如下图e)。

     

    Part 2 方法介绍

    针对以上提出的问题,我们提出了一个新颖的框架ShapeInversion, 首次在点云补全任务中引入GAN逆映射。该方法充分利用预训练的GAN中的先验知识,并且不受残缺点云的域影响。如下图所示,一个潜码通过预训练的GAN生成一个完整点云,再通过一个三维降采样模块M转化为一个残缺点云,进而与输入的残缺点云计算损失函数。该框架利用梯度下降的方法反传损失函数来更新潜码并且微调预训练的GAN,从而使生成的完整点云与输入的残缺点云在课间部分最接近。

     

    该框架成功点关键在于如何应对3D数据固有的特性所带来的挑战:

    1. 提高点云均匀度- PatchVariance

    动机:

    不同于2D图片里固定的像素位置,3D点云数据具有极其非结构化的特性。因此,GAN生成的点云往往具有很差的均匀度,即点云不能均匀的分布在物体表面上。这种不均匀性可能引起一些空洞,进而影响点云的完整性。

     

    方法:

    我们提出一个新的均匀度损失函数,PatchVariance,用来GAN 预训练阶段提高点云的均匀度:我们在物体表面上随机选取n个点,利用k临近形成n个patch,再计算这n个patch密度的方差作为损失函数。

    以tree-GAN为例,如下图所示,PatchVariance可以有效的提高生成点云的均匀度,从而得到更高质量的点云。

     

    2. k-Mask – 三维的降采样模块

    动机:类比GAN逆映射在2D 图像修复任务中的应用,我们需要一个降采样的mask把生成的完整点云转化成与输入点云对应的残缺点云。然而,点云不规则和无序的特性使得点云补全任务与图像修复有显著区别。在2D 图片修复中,图片之间的像素对应关系显而易见,所以我们可以很容易计算出可见部分的损失函数。而在点云补全任务中,得到两个点云的之间点的对应关系通常比较困难,因为两个物体的对应区域很有可能处在三维空间中的不同位置,这给三维中的降采样模块增加了挑战。另外,这种对应关系往往比较模糊,并且因不同点云而异。

     

    方法:

    我们因此提出了k-Mask来动态的获得输入的残缺点云和任意输出的完整点云的对应关系。具体而言,对于残缺点云中的每一个点,我们利用欧几里得距离找到该点在给定完整点云中的k个对应点—来解决点对应关系模糊的问题。由此,残缺点云中所有点的k个对应点的合集就构成了与输入残缺点云对应的输出残缺点云:

             

    如下图所示,对比基于预设阈值的基线方法, 如voxel-Mask和 t-mask, k-Mask可以提供精确而鲁棒的三维降采样。

    Part 3 实验结果

    ShapeInversion在众多场景下却的了出色的表现。

     

    首先,在ShapeNet基准上,ShapeInversion优于SOTA无监督方法,并可与用配对数据学习的有监督方法相媲美,如下表所示:

    第二, ShapeInversion在真实世界的数据和多种残缺的形式下表现了很好的泛化能力。如下图表示的真实世界下的结果:

    第三,当输入物体太过残缺因而产生不确定性,ShapeInversion可以提供多解,并且保证每个解都合理的反应残缺物体的可见部分:

    第四,由于GAN的引入,ShapeInversion 能够很好的实现对已知点云形状的编辑,如下面两图的扰动和差值:

     


    Part 4 总结

    在本文中,我们提供了点云补全的无监督新框架ShapeInversion。该框架能够充分利用预训练中GAN的先验知识,并在多种残缺点云的域,包括真实残缺点云下取得令人满意的效果和泛化能力。由于预训练GAN的参与,ShapeInversion自然地实现了一系列额外的能力,例如为一个歧义的残缺输入产生多个合理的完整点云,以及对给定完整点云的编辑。

    Part 5 作者介绍

    张俊哲,新加坡南洋理工大学 S-Lab 和 MMLab@NTU 三年级博士生。师从吕健勤 (Chen Change Loy) 副教授和 Chai Kiat Yeo 副教授。当前主要研究兴趣包括三维重建和生成,点云补全等。

    个人主页:https://junzhezhang.github.io/

    项目主页

    https://paul007pl.github.io/projects/VRCNet 

    论文地址

    https://arxiv.org/abs/2104.10154 

    代码地址

    https://github.com/paul007pl/VRCNet

    实验室主页

    https://www.mmlab-ntu.com/

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 点击下方卡片,关注“CVer”公众号AI/CV重磅干货,第一时间送达本文转载自:AI科技评论作者 |于旭敏 编辑 |王晔我们提出了一种几何敏感的点云补全Transformer,通...

    点击下方卡片,关注“CVer”公众号

    AI/CV重磅干货,第一时间送达

    本文转载自:AI科技评论

    作者 | 于旭敏    编辑 | 王晔

    我们提出了一种几何敏感的点云补全Transformer,通过将点云表示成为一组无序的点代理,并采用TransformerEncoder-Decoder结构进行缺失点云生成。除此以外,我们提出了两个更具有挑战性的点云补全Benchmark——ShapeNet-55/34。我们的论文已被ICCV接收为Oral Presentation,代码、数据集与模型均以开源。

    PoinTr: Diverse Point Cloud Completion with Geometry-Aware Transformers

    代码仓库:https://github.com/yuxumin/PoinTr

    论文链接:https://arxiv.org/abs/2108.08839

    视频:https://youtu.be/mSGphas0p8g

    1

    简介

    在现实场景下,现有的3D传感器由于物体自遮挡等问题只能采集到缺失且稀疏的点云数据,所以如何将这样缺失且稀疏的点云进行补全以得到高品质的点云,具有重大意义。

    想要借助无序且缺乏结构的点云数据进行3D物体形状的补全,我们需要充分挖掘已知点云中的结构信息与长程关系。为此,我们将点云补全问题建模为一个集合到集合的翻译问题,即通过已知的点云的信息翻译得到缺失部分的点云。我们提出了PoinTr模型,其核心在于通过Transformer-Encoder充分建模已知点云的结构信息与点间关系,再通过Transformer-Decoder学习缺失部分与存在部分的相互关系并以此重建缺失点云。

    同时我们提出两个更具挑战性的点云补全Benchmark,用以检验点云补全模型在更贴近真实条件下的补全表现。其中ShapeNet-55相比于PCN数据集考虑了更多样的任务(点云补全与点云上采样)、更多样的种类(从原本的8类到55类)、更多样的缺失视角(从原本的8视角到任意可能视角)以及更多样级别的缺失(缺失25%到75%的点云);ShapeNet-34则可以测试模型在训练集中不存在的类别的物体上的补全表现。

    (ShapeNet-55/34数据集)

    2

    方法

    下面介绍我们的整体框架,我们提出的PoinTr主体由Transformance Encoder-Decoder构成:

    简单来说,在对点云进行补全时,我们会先将点云处理成为固定数目的点代理,方便作为Transformer的输入;然后我们通过Encoder对现有点云进行编码,通过Query Generator后生成第一阶段的点云中心和对应的动态Queries;最后这些Queries通过Decoder被翻译成点代理,点代理经过一个FoldingNet得到相对于特定中心点的偏移量,通过将对应中心进行移动,我们可以得到某个点代理对应的局部点云。

    • 点代理生成:

    想要将点云作为Transformer的输入,首先我们需要将点云处理成一个序列。最简单的想法是将每一个点作为序列的一个元素作为输入,但是这样会带来非常大的计算资源负担。所以我们提出可以将点云处理成一系列的点代理,用来代表点云上的一个局部区域特征。首先,我们对点云进行最远点采样(FPS),得到固定的N个中心点;然后,我们使用一个轻量的DGCNN对局部区域进行特征提取,这样我们可以得到N个局部区域的特征,其中对应了以为中心点的区域的特征。最后,我们利用一个MLP网络,提取每一个局部特征的位置嵌入(positional embedding),相加后得到点代理,即,作为Encoder的输入。

    • Encoder-Decoder结构:

    如上图所示,Encoder由多头自注意力层(multi-headself-attention layer)与前馈神经网络(feed-forward network)组成,Decoder则由多头自注意力层、编码器解码器交叉注意力层和前馈神经网络构成。

    • 几何敏感的Transformer:

    我们针对点云输入设计了一种即插即用的新型transformer block。在原本的transformer 模块中,网络只利用自注意力机制挖掘不同部分之间的关系,这其实是一种基于特征相似度的长程语义关系,为了利用点云数据的归纳偏置,我们将局部几何关系补充到自注意力模块。

    我们根据点代理对应的三维点坐标,使用kNN将空间中相邻的点代理拼接在一起,使用一层线性层进行局部几何信息学习,通过将该结果和自注意力机制的结果进行融合,我们可以同时挖掘长程语义相关性,也同时保留了有效的局部几何关系,有效的提高了模型的性能。

    • Query生成器:

    Queries是待预测点代理的初始状态,用于指导缺失点云的重建。我们首先通过Encoder的输出特征得到全局特征,如最大池化,并通过一个线性层预测粗略的缺失点云中心点坐标。将缺失点云中心点坐标与全局特征拼接后,用一个多层感知机生成query特征,即

    • 点云预测:

    通过Decoder被翻译为一个点代理,该点代理对应了以为中心的局部点云。我们利用FoldingNet对点代理进行偏移坐标重建:即

    最后我们将输入点云与预测结果进行拼接,即可以得到最终的预测结果。

    3

    实验结果

    首先我们将PoinTr和现有一些方法在ShapeNet-55与ShapeNet-34上进行了实验,在Simple,Moderate与Hard三个难度下(缺失25%,50%,75%点云),PoinTr在Chamfer Distance与F1指标上都取得了最好表现;

    同时我们也在PCN数据集上进行了测试,也取得了最好表现。

    为了验证我们提出的方法的有效性,我们对我们的方法进行了消融实验,可见我们提出的方法都有效提高了Transformer模型在点云补全任务上的效果。

    最后我们使用我们的方法对真实雷达数据进行补全,在数值结果和可视化结果下都取得了提升。

    4

    总结

    在这项工作中,我们提出了适合点云补全的PoinTr模型,很好地将Transformers引入到点云补全任务中,并在已有的合成数据集与真实数据集上取得了目前最好性能。除此以外,我们提出了更具挑战性的ShapeNet-55和ShapeNet-34,来模拟真实条件下的复杂缺失场景。我们希望本文提出的PoinTr和新的Benchmark可以为未来点云补全提供思路与启发。

    参考文献:

    [1]Ashish Vaswani, Noam Shazeer,Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, andIllia Polosukhin. Attention is All You Need. NeurIPS, pages 5998–6008, 2017.

    [2]Haozhe Xie, Hongxun Yao, Shangchen Zhou, Jiageng Mao,Shengping Zhang, and Wenxiu Sun. GRNet: Gridding Residual Network for Dense PointCloud Completion. ECCV, pages 365–381, 2020.

    [3]Wentao Yuan, Tejas Khot, David Held, Christoph Mertz,and Martial Hebert. PCN: Point Completion Network. 3DV, pages 728–737, 2018.

    [4]Zhirong Wu, Shuran Song, Aditya Khosla, Fisher Yu,Linguang Zhang, Xiaoou Tang, and Jianxiong Xiao. 3D ShapeNets: A Deep Representationfor Volumetric Shapes. CVPR, pages 1912–1920, 2015.

    [5]Andreas Geiger, Philip Lenz, Christoph Stiller, andRaquel Urtasun. Vision Meets Robotics: The KITTI Dataset. International Journalof Robotics Research, 2013.

    ICCV和CVPR 2021论文和代码下载

    后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集

    后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集

    后台回复:Transformer综述,即可下载最新的两篇Transformer综述PDF

    重磅!Transformer交流群成立

    扫码添加CVer助手,可申请加入CVer-Transformer微信交流群,方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

    一定要备注:研究方向+地点+学校/公司+昵称(如Transformer+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群

    ▲长按加小助手微信,进交流群

    ▲点击上方卡片,关注CVer公众号

    整理不易,请点赞和在看

    展开全文
  • 论文推荐“SFFAI122期来自伊利诺伊大学厄巴纳香槟分校计算机系的谢楚琳推荐的文章主要关注于计算机视觉的点云处理领域,你可以认真阅读讲者推荐的论文,来与讲者及同行线上交流哦。”关注文章公...
  • 下载2 在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D...
  • 论文推荐“SFFAI114期来自南洋理工大学的潘亮推荐的文章主要关注于计算机视觉的点云处理领域,你可以认真阅读讲者推荐的论文,来与讲者及同行线上交流哦。”关注文章公众号回复"SFF...
  • 介绍一下我认为的亮点: 使用了多尺度点云特征提取。...在重建策略方面,不同于以往关注全部的点云,这项工作重点关注丢失的部分,好处是没有丢失的点云的还可以保持原始的形状。 借鉴GAN形成adv损失。 ...
  • 利用多级Folding结构和skip-attention来进行点云补齐 Folding结构是之前就有的,本文主要是利用skip-attention将folding结构堆叠起来,更加深了,有点像受到了ResNet和DeepGCNs的启发。 摘要 原文 译文 ...
  • 但是之前的方法都是基于一个强烈的假设,即输出点与输入点的三维坐标的相同,因此不能用于三维点云补全。 为了解决上述问题,我们引入3D网格作为中间的表征来规范化无序点云,从而明确地保留了点云的结构和背景。...
  • 3D点云补全算法汇总及最新进展

    千次阅读 2021-06-23 00:29:02
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达Part 1 前言在探讨3D 点云补全专题前,先介绍三个概念:概念一:partial observation,一个观测或一个侧面观测...
  • 点云补全任务)GAN逆映射:Unsupervised 3D Shape Completion through GAN Inversion简介论文abstract1. introduction2. related works3. method概述3.1 Enhancing Point Cloud Uniformity3.2 Degradation in the ...
  • 来源丨AI科技评论作者丨于旭敏、王晔我们提出了一种几何敏感的点云补全Transformer,通过将点云表示成为一组无序的点代理,并采用Transformer的Encoder-Decoder...
  • 点云补全(Point Cloud Completion)用于修补有所缺失的点云(Point Cloud),从缺失点云出发估计完整点云,从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体,在三维物体的检测识别领域应用广泛。在...
  • 随着自动驾驶和机器人技术等实际应用的发展,人们越来越关注对3D点云的理解。虽然深度学习在基于图像的任务上取得了显著的成功,但深度神经网络在处理大量、非结构化和噪声的三维点时仍面临着许多独特的挑战。
  • 此外,在计算机视觉顶会ICCV2021上,我们将举办MVP challenges,以供研究人员测试和检验更优的点云补全和点云配准方法。具体信息可以参考下列相关网站: Database: https://mvp-dataset.github.io/ Codebase: ...
  • 点云库 (PCL) 是一个独立的、大规模的、开放的 2D/3D 图像和点云处理项目。 PCL 根据 BSD 许可条款发布,因此可免费用于商业和研究用途。 我们得到了 Open Perception、Willow Garage、NVIDIA、Google、Toyota、...
  • 针对如何方便快捷且准确地获取物体完整面形三维点云数据的问题,提出一种利用旋转台参数标定结果辅助实现多视角三维点云粗拼接的新方法。该方法将一个二维标定靶作为坐标系转换桥梁,仅需两个位置的坐标系关系,即可...
  • OPPO随着CVPR 2021的落幕,越来越多专业论文进入大众视野。OPPO研究院团队与清华大学等多个机构学者群策群力, 基于点云数据不完整的问题联合提出了一种名为ViPC(view-g...
  • MSN是一种基于学习的形状补全方法,可以保留已知结构并生成密集且分布均匀的点云。 有关更多详细信息,请参阅我们的 AAAI 2020。 在这个项目中,我们还提供了点云的地球移动距离(EMD)的实现,它基于拍卖算法,只...
  • 点云配准是三维点云信息处理中的重要问题。传统点云配准方法计算量大,不利于实时计算与移动计算。针对传统点云配准方法存在的问题,提出了一种利用卷积神经网络进行点云配准的方法。首先计算点云的深度图像,利用...
  • 激光雷达点云数据内部空点补全

    千次阅读 2018-03-29 17:24:47
      前言 点云数据区别于图像数据,不管是二维图像还是三维图像,图像数据都充满整个区域,...点云数据由于其扫描生成数据过程的特性,就决定了其在数据方面与图像数据不同,以机械式激光雷达为例,当出现以下情...
  • 本文提出了一种新的基于RGB图像的稀疏LiDAR点云深度图补全的方法。对于智能车辆和机器人来说,为了实现精确的深度预测,激光雷达的使用是必不可少的,许多应用程序依赖于对周围环境的感知,并使用深度提示进行推理和...
  • 导读 : 今天为大家带来针对点云的空洞填补,针对点云补全和补洞算法是比较少见的,大多数算法都只是针对网格的补洞。而针对点云的补洞在三维重建中能够很有效的应用,特别是如泊松重建中因遮挡导致的点云稀疏或...
  • PCN第一次证明了深度学习在点云补全领域的应用是有效的。 这篇文章提出了PCN,是一个编码器-解码器的组合(端到端的网络),核心工作在于解码器的设计。 对于数据,直接处理原始的点云,**不对基础形状产生结构消耗...
  • 代码链接 : 链接 论文介绍: 链接 香港中文大学 本文方法可以直接对激光雷达的scan数据进行上采样以及数据修正,得到的结果更加完整、均匀: 本文在合成数据集以及真实数据集...点云上采样与点云补全(point comple.

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,663
精华内容 1,065
关键字:

点云补全