视觉检测3D相机 平面度检测

【功能】：3D平面度检测，机器视觉检测，3D相机，三维平面度

【算法及环境介绍】：PCL1.10，OPENCV4.1.0
VS2019+QT5.15.2
详情见>id=651477372656&

1.基于halcon算法平台；

2.提供深度图源文件以及解压密码；

3.代码预览：

/*****************************

• @文档名称: 基于点云的平面度测量。
• @作者: hugo
• @版本: 1.1
• @日期: 2021-6-20
• @描述: 该方法支持点云的平面的平面度测量。
• @来源：欢迎关注微信公众号【robotvision】 获取更多机器人视觉知识。

********************************/

dev_update_window ('on')
dev_get_window (WindowHandle)

read_image (imageReal, './replay_38893_2021-6-7.tif')
xResolution:=0.06
yResolution:=0.06
zResolution:=0.001 
ScaleFactor:=[xResolution,yResolution,zResolution]

*采样区域1
create_drawing_object_rectangle2 (300, 120, rad(90), 30, 20, DrawID)
set_drawing_object_params (DrawID, 'color', 'forest green')
set_drawing_object_params (DrawID, 'line_width', 1)
attach_drawing_object_to_window (WindowHandle, DrawID)

..........

*平面度
height:=theta/zScale*0.001

*可视化高度差效果
visParamName := ['lut','alpha_0','intensity','color_1']
visParamValue := ['hsi',0.7,'coord_z','yellow']

Labels := ['','平面度：'+height+'mm','']
objs:=[ObjectModel3Ds[2],final_ObjectModel3Ds]
visualize_object_model_3d (WindowHandle, objs, [], [], visParamName, visParamValue, 'Edited by AmazingRobot+', [Labels], '', PoseOut)        

*stop ()   
clear_object_model_3d (plane_balls)
for Index := 0 to |final_ObjectModel3Ds|-1 by 1
    clear_object_model_3d (final_ObjectModel3Ds[Index])
endfor

return ()

视频演示

源码下载链接

平面抓取检测的任务是，输入感知数据，输出抓取配置。到目前，基于学习的平面抓取检测方法主要分为两类：

（1）一阶段的端到端学习方法。

（2）两阶段的学习方法。

1、一阶段学习法

在这类方法中，直接学习从输入数据到抓取配置的映射函数，即神经网络。输入通常为RGB图像或深度图像，输出为抓取配置的集合，然后根据置信度选取最优的抓取配置。目前以基于矩形框抓取表示的方法为主，如

（1）Fully Convolutional Grasp Detection Network with Oriented Anchor Box

（2）Real-world Multi-object, Multi-grasp Detection

（3）Densely Supervised Grasp Detector (DSGD)

2、两阶段学习法

包括两阶段：抓取配置采样，抓取配置评估。第一阶段首先采样多个抓取配置，第二阶段评估每个候选抓取的质量，然后选取最优的抓取。目前最好的是Dex-Net 4.0：

（1）Dex-Net 4.0: Learning ambidextrous robot grasping policies

3、讨论

一阶段学习法的GroundTruth是物体上所有的可行抓取配置，标注抓取配置可以手动标注、机器人实际试错标注或者虚拟环境自动生成，存在下面几个问题：

（1）手动标注没有统一标准，存在误差。

（2）机器人标注太耗时，2016年ICRA的Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours 耗费了大量时间，最终的结果却不尽人意。

（3）不管是哪种标注方法，都无法详尽地标注物体所有可行的抓取方法，这意味着，神经网络没有最佳的学习target。

（4）多物体堆叠场景难以进行标注，导致现在的平面抓取数据集几乎都是单物体的(cornell、Jacquard等，现在应该有合成的多物体场景数据集，没太关注)，使得学习的网络在bin-picking任务中表现较差。

二阶段学习法的GroundTruth是抓取样本的质量，即0或1。数据集可以在虚拟环境中自动生成数据集，学习的target也是最佳的，不过合成像Dex-Net4.0那种百万级的样本也不是一般实验室能做的。尽管如此，可以看出二阶段学习法比一阶段学习法更好，更值得研究。下一步的研究方向是如何面向小数据集进行抓取检测。