精华内容
下载资源
问答
  • 人形机器人视觉处理——定位抓取

    千次阅读 2020-05-11 13:32:41
    机器人定位抓取。 具体的原理是:根据目标物中心点的位置,让机器人通过左右移动进行矫正,将中心点定位在视频画面正中。通过目标物占比率控制机器人的抓取。识别到目标物体时,进行左右移动,程序设置时,尽量将单...

    上期简单介绍了机器人如何进行视频回传和回传视频的一些简单参数,这期我们通过一个简单的案例来讲解下,机器人通过视觉能够实现的功能。机器人定位抓取。
    具体的原理是:根据目标物中心点的位置,让机器人通过左右移动进行矫正,将中心点定位在视频画面正中。通过目标物占比率控制机器人的抓取。识别到目标物体时,进行左右移动,程序设置时,尽量将单次执行动作控制在一次移动,避免让机器人一次执行两次左移或者右移,可以提高机器人完成任务的准确率。


    在这里插入图片描述
    机器人定位抓取效果

    一、 定位目标物体

    1、确定目标物体的位置
    把鼠标放在机器人摄像头回传的画面上,会出现代表坐标的POS数值,通过鼠标来确定机器人识别画面的坐标,把鼠标放在左上角我们可以看到POS值为“0:0”,表示这个位置是坐标的起始位置,把鼠标放在右下角我们可以看到POS值为“318:236”,这样我们就可以计算出画面中心点的位置是“159:118”。根据目标物的坐标位置,我们可以检测出目标物上下左右位置,如果目标物偏移了中心点,可以通过机器人左移、右移进行矫正,让机器人能准确的向目标物前进。

    在这里插入图片描述

    2、目标物体的占比率
    机器人的识别画面里,当离目标物远的时候,目标物在整个画面里的面积就会比较小,即占比率很小,当离目标物比较近的时候,目标物在整个画面里的面积就会比较大,即占比率变大,通过占比率的不同,我们可以计算出机器人离目标物的距离,当机器人走到可以抓取目标的位置就让机器人停止,进行抓取目标物。


    在这里插入图片描述
    (机器人在不同位置下看到的目标物占比率也不同)

    二、 程序编写

    在程序中我们以红色标记目标物,设置前提条件,是否识别到目标物颜色,如果识别到就进行检测目标物的占比率,(该RGB值在不同光源状态下所测的值也不同)程序如下:
    在这里插入图片描述
    这期讲解了机器人如何通过视频回传的颜色识别来抓取目标物体。运用到了面积占比模块来提高抓取的成功率,另外也需要对机器人的抓取动作进行简单的调试,这样也可以提高成功率。下期我们将继续更新颜色识别的其他案例。
    参考网站https://bbs.lejurobot.com/

    展开全文
  • Pickit 3D视觉定位抓取系统 产品特点 1. Pickit面向机器人程序开发者及系统集成商,使用者不需要视觉基础或额外培训即可简便操作。 2. 定位各种形体及尺寸工件 3. 适应各种颜色环境 4. 适应各种材料 (金属,...

    Pickit 3D视觉定位抓取系统

    产品特点

    1.   Pickit面向机器人程序开发者及系统集成商,使用者不需要视觉基础或额外培训即可简便操作。

    2.   定位各种形体及尺寸工件

    3.   适应各种颜色环境

    4.   适应各种材料 (金属,塑料,木材, 食品..)

    5.   适应变化光线及阴暗环境

    6.   不需要辅助照明

    7.   简单的系统架设及标定

    8.   机器人视觉工业领域内回报周期最短

    产品应用

    1.  机器看护,从箱中或传送带抓取

    2.   从多处抓取部件进行组装装配

    3.  从平台,货架,托盘按规则抓取

    4.  码垛应用

    5.  传送带操作

     

    PICKIT M-HD

     

    Pickit M-HD  3D视觉定位抓取系统可以在箱子,托盘,桌子和小盒子中查找物体,并告诉您的机器人去哪里以及如何拾取他们。

     

    • 通用的3D 摄像头

    • 拾取中小尺寸物件

    • 高精度

    • 高解析度

    • 可靠且便捷

    • 适用于任何材料

    • 支持ROS

     

     

     

    PICKIT M

    PICKIT M 3D视觉定位抓取系统可以在箱子,托盘,桌子和小盒子中查找物体,并告诉您的机器人去哪里以及如何拾取他们。

     

    • 通用的3D 摄像头

    • 拾取中等尺寸物件

    • 无多余配置过程,真正的即插即用

    • 高便捷性

    • 支持ROS

     

    PICKIT L

     

    PICKIT L 3D视觉定位抓取系统可以在箱子,托盘,桌子和小盒子中查找物体,并告诉您的机器人去哪里以及如何拾取他们。

    结合我们易上手的软件和Pickit-L相机,你可以很快配置好智能自动托盘卸载应用程序

     

    • 通用的3D 摄像头

    • 拾取大尺寸物件

    • 高便捷性

    • 支持ROS

     

     

    PICKIT 产品参数

     

    型号

    M-HD

    M

    L

    摄像头

    3D测量方法

    结构光

    结构光

    结构光

    图像处理速度

    10 Hz(100ms快照)

    30 fps

    30 fps

    3D摄像头精度

    0.1mm

    < 3mm

    < 12mm

    3D摄像头重复性

    < 1mm

    < 1mm

    < 4mm

    3D摄像头重量

    2kg

    1030 g

    1030 g

    3D摄像头连接到电脑

    M12-8 (USB) - USB3

    M12 (USB) - USB3

    M12 (USB) - USB3

    电脑连接到机器人

    以太网应用通讯协议

    以太网应用通讯协议

    以太网应用通讯协议

    电源

    M12-5 24VDC

    USB3 5VDC

    USB3 5VDC

    温度

    10°C至40°C

    5°C至40°C

    5°C至40°C

    湿度

     

    ~95% @ 40°C(非冷凝)

    ~95% @ 40°C(非冷凝)

    IP等级

    IP65

    IP55

    IP55

    振动

    5G Sinus,25G 震动

    2 Grms,5-500 Hz,3轴

    2 Grms,5-500 Hz,3轴

    符合

    CE、CB、EN6950、A类FCC

    CE、FCC

    CE、FCC

    处理器

    耗电量

    关闭时:25W

    启动时:115W

    空闲时:70W

    处理繁重时:160W

    关闭时:25W

    启动时:100W

    闲置时:60W

    处理繁重时:130W

    关闭时:25W

    启动时:100W

    闲置时:60W

    处理繁重时:130W

    处理器

    3.7 Ghz的6个核心(12个线程)

    19英寸服务器

    机架兼容(2U)

    温度

    -20°C至70°C

    振动

    工作时,5 Grms,5-500 Hz,3轴

    IP等级

    IP54

    电源

    9-32V 直流 160W

    湿度

    ~95% @ 40°C(非冷凝)

    摄像头电缆

    10m

    工业M12摄像头连接器

    高柔性/连续柔性

    U型(R=67.5mm - 5,000,000次)

    S型(R=60mm - 1,000,000次)

    90°钟摆式弯曲型(R=60mm - 1,000,000次)

    展开全文
  • 在此问题的基础上,本课题提出一套基于ROS(机器人操作系统)视觉定位的机械臂智能抓取系统,使抓取目标的初始位姿和最终位姿被严格限定的问题得到解决。首先,采用张正友算法标定RGB-D相机,获取其内外参数;其次,采用...
  • 结构简单,能直接获取待测点至传感器的距离等特点,因此本文采用视觉与超声测量相结合的方法,将二维图像信息与超声波传感器获取的深度信息进行融合推断,对待装配工件进行自动识别与空间定位,并确定机械手末端执行器的...
  • 如何提高工业机器人视觉系统在不确定性动态环境中的定位精度是机器人完成复杂任务的一个关键技术问题。针对采 用单摄像机的机器人和基于位置的视觉...的视觉定位精度,能够满足工业机器人进行抓取和装配等任务的需要。
  • 背景技术:机器人视觉主要用计算机来模拟人的视觉功能,并不仅仅是人眼的简单延伸,更重要的是具有人脑的一部分功能。从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制。机器视觉的...

    本发明涉及工业机器人技术领域,特别是涉及一种工业机器人的抓取定位方法。

    背景技术:

    机器人视觉主要用计算机来模拟人的视觉功能,并不仅仅是人眼的简单延伸,更重要的是具有人脑的一部分功能。从客观事物的图像中提取信息,进行处理并加以理解,最终用于实际检测、测量和控制。机器视觉的最大特点是速度快、信息量大、功能多。

    将工业机器人与视觉技术进行结合,帮助工业机器人胜任更加智能化的工作,已经成为工业机器人应用领域的一种趋势。目前应用于学校进行机器人及视觉相结合的实训设备是为工业机器人行业培训工程技术人才的重要教学设备。

    目前,实训设备采用传统方式抓取物料时要求物料的摆放位置及角度必须固定,不同尺寸和形状的物料需要不同定位工装设备,存在成本高、效率低、自动化程度低、柔性低等缺点。

    技术实现要素:

    本发明主要解决的技术问题是提供一种工业机器人的抓取定位方法,能够针对不同物料进行定位,提高稳定性以及定位精度。

    为解决上述技术问题,本发明采用的一个技术方案是:提供一种工业机器人的抓取定位方法,包括以下步骤:建立平面坐标系,在所述平面坐标系中标记物料暂存区的两个端点坐标,其中,所述物料暂存区为长条形;对所述物料暂存区进行图像采集,得到第一图像;根据所述第一图像建立视觉坐标系,计算平面坐标系和视觉坐标系之间的转换矩阵;对所述第一图像进行图像分割,得到所述物料暂存区内每个物料的物料图像;将每个物料的物料图像与预存的物料匹配模型进行对比匹配,获取每个物料的边缘轮廓;根据所述物料的边缘轮廓,通过转换矩阵计算得到每个物料的中心坐标;控制所述工业机器人从一个端点坐标开始依次移动至每个物料的中心坐标,并在每个中心坐标处抓取物料,直至所述工业机器人移动至另一个端点坐标。

    优选的,所述根据所述物料的边缘轮廓,通过转换矩阵计算得到每个物料的中心坐标的步骤具体包括:根据所述物料的边缘轮廓计算出每个物料的最小包矩形,计算出矩形的中心点在视觉坐标系中的坐标;根据所述中心点在视觉坐标系中的坐标,通过转换矩阵标定到平面坐标系中,得到每个物料的中心坐标。

    本发明的有益效果是:区别于现有技术的情况,本发明只需要物料排放在物料暂存区,无需规定物料的尺寸和形状,采用视觉定位的方式来定位每个物料,无需机械定位,工业机器人根据每个物料的定位进行移动和抓取,从而能够针对不同物料进行定位,提高稳定性以及定位精度,可以提高工业机器人的智能化和效率。

    附图说明

    图1是本发明实施例的工业机器人的抓取定位方法的流程示意图。

    具体实施例

    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

    如图1所示,是本发明实施例的工业机器人的抓取定位方法的流程示意图。本实施例的抓取定位方法包括以下步骤:

    S1:建立平面坐标系,在平面坐标系中标记物料暂存区的两个端点坐标,其中,物料暂存区为长条形。

    其中,工业机器人在工作时,除了夹取物料以及码垛物料外,是在一个平面内移动的,通过建立平面坐标系,可以方便获取工业机器人的位置坐标。物料暂存区的两个端点坐标为物料暂存区的长度方向的起始坐标和结束坐标。物料暂存区例如为一个条形槽,物料可以放在沿物料暂存区的长度方向排放在条形槽内。

    S2:对物料暂存区进行图像采集,得到第一图像。

    S3:根据第一图像建立视觉坐标系,计算平面坐标系和视觉坐标系之间的转换矩阵。

    本发明实施例可以采用了三点法,用三点计算视觉坐标系和平面坐标系的关系,认为这三点在视觉坐标系下的值为:

    在平面坐标系下的值为:

    使用R1点作为参考,视觉坐标系和平面坐标系的关系建立如下:

    是平面坐标系和视觉坐标系之间的转换矩阵。只要目标在视觉坐标系下的坐标被确认,就可以计算它在平面坐标系下的坐标。

    S4:对第一图像进行图像分割,得到物料暂存区内每个物料的物料图像。

    其中,图像分割是用来从一个图像中提取一部分特征。运用了不同的图像分割方法,例如阈值分割法、区域分割法、边缘分割法等。本实施例中采用了阈值分割法,由于物料暂存区内除了物料之外的图像的特征几乎一致,因而根据物料所在区域的阈值,对其进行二值化,得到的高亮的区域即为图像分割要获得的区域。

    S5:将每个物料的物料图像与预存的物料匹配模型进行对比匹配,获取每个物料的边缘轮廓。

    其中,预存的物料匹配模型是在离线状态下对各种物料进行离线训练得到的,读取之后将物料匹配模型进行存储备用。

    S6:根据物料的边缘轮廓,通过转换矩阵计算得到每个物料的中心坐标。

    其中,获取物料的边缘轮廓后,边缘点的坐标就可以确定。这里选择4个极限点(+X,+Y最大,-X,-Y最小),得到这4个点为:

    S1(x1,y1),x1=max(x1,x2,x3,x4…xn);

    S2(x2,y2),y2=max(y1,y2,y3,y4…yn);

    S3(x3,y3),x3=min(x1,x2,x3,x4…xn);

    S4(x4,y4),y4=min(y1,y2,y3,y4…yn);

    这四个点的中点坐标即为目标的中心坐标:

    S0(x0,y0)=center[S1,S2,S3,S4]。

    S7:控制工业机器人从一个端点坐标开始依次移动至每个物料的中心坐标,并在每个中心坐标处抓取物料,直至工业机器人移动至另一个端点坐标。

    其中,每个物料的中心坐标确定后,可以从控制工业机器人从物料暂存区的起始坐标开始移动至第一个中心坐标,抓取物料后进行相应操作后,再移动至第二个中心坐标,继续物料后进行相应操作后,再移动至下一个中心坐标,直至从最后一个中心坐标移动至结束坐标。

    在本实施例中,步骤S6具体包括:

    根据物料的边缘轮廓计算出每个物料的最小包矩形,计算出矩形的中心点在视觉坐标系中的坐标;

    根据中心点在视觉坐标系中的坐标,通过转换矩阵标定到平面坐标系中,得到每个物料的中心坐标。

    通过上述方式,本发明实施例的工业机器人的抓取定位方法只需要物料排放在物料暂存区,无需规定物料的尺寸和形状,采用视觉定位的方式来定位每个物料,无需机械定位,工业机器人根据每个物料的定位进行移动和抓取,从而能够针对不同物料进行定位,提高稳定性以及定位精度,可以提高工业机器人的智能化和效率。

    以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

    展开全文
  • 基于视觉机器人抓取--物体定位,位姿估计到抓取估计课堂笔记 杜国光博士在智东西公开课上讲了《基于视觉机器人抓取--物体定位,位姿估计到抓取估计》的精彩课程 满满的干货,记下来,后面慢慢消化 2020.11.06...

    基于视觉的机器人抓取--物体定位,位姿估计到抓取估计课堂笔记

    杜国光博士在智东西公开课上讲了《基于视觉的机器人抓取--物体定位,位姿估计到抓取估计》的精彩课程

    满满的干货,记下来,后面慢慢消化

    2020.11.06课堂笔记

    图像 小部件

     

    一.

    二。物体定位

     

    滑窗+提取局部特征点+分来+svm(不确定是否是这个)

    基于DL:

    region proposal networkin +回归

    基于截锥体得到一块点云,区域内进行分割,回归

    三。物体位姿估计

     

     

    四。抓取物体的位姿估计

     

    五。挑战和未来研究方向

    展开全文
  • 针对生产线上的工业机器人抓取系统中摄像机的标定、目标工件的识别匹配、机器人对目标工件的定位抓取这3个主要步骤在现阶段的研究成果进行了综述,对计算机视觉定位中涉及到的相关图像预处理方法进行了分析与归纳,...
  • 通过对该实训工作站的工件进行视觉分拣、视觉定位抓取、检测、搬运、定位放置工件等操作实训,ZNH-JR05S型 工业机器人视觉实训平台可以让学生更直观地了解机器人视觉系统组成及原理,学习智能视觉流程编辑,培养学员...
  • 发那科机器人视觉功能详解, 是一个即插即用3D视觉定位抓取系统,它提供了用户友好且灵活的系统,可解决机器人市场中许多不同的视觉应用。 适用于机器人的即插即用式3D摄像头Pickit产品可以轻松自动化执行拾取与...
  • 原标题:基于视觉机器人抓取-从物体定位、位姿估计到抓取位姿估计 | 公开课预CV前沿讲座,是智东西公开课针对计算机视觉推出的一档讲座,聚焦于计算机视觉前沿领域研究成果与进展。我们将持续邀请研究者、专家与...
  • 首先,我们要了解,机器人领域的视觉(Machine Vision)跟计算机领域(Computer Vision)的视觉有一些不同:机器视觉的目的是给机器人提供操作物体的信息。所以,机器视觉的研究大概有这几块:物体识别(Object ...
  • CV前沿讲座,是智东西公开课针对计算机视觉推出的一档讲座,聚焦于计算机视觉前沿领域研究成果与进展。我们将持续邀请研究者、专家与资深开发者,为大家带来直播讲解。...而基于视觉机器人抓取,是通过给...
  • 机器人抓取 机器人物体三维定位 三维匹配

    万次阅读 热门讨论 2016-11-30 16:08:17
    最近在看“机器人物体抓取”的解决方案,很多机器视觉库都提供类似的解决方案,大多采用的是在二维图像上的匹配。但是这种方法对光照和物体的摆放很敏感。随着三维技术的成熟,越来越多的研究着在考虑使用三维匹配的...
  • 为提高机器人抓取能力,实现非结构化环境中的物体定位、识别和抓取,提出了一种定位识别算法,旨在使用机器人已观察到的结果来预测未经测试的抓取的工作过程。为验证算法的精确性,利用重复抓取动作时的实际数据...
  • 机器视觉的四个功能:1、机器人引导和定位,视觉定位要求机器视觉系统能够快速准确的找到被测零件并确认其位置,上下料使用机器视觉来定位,引导机械手臂准确抓取。在半导 体封装领域,设备需要根据机器视觉取得的...
  • 本文主要研究3D视觉技术在机器人抓取作业中的应用,总结了3D视觉技术在识别、定位物体时面临的挑战,给出了抓取作业机器人3D视觉系统的设计方法,归纳了现有的3D表面成像方法和视觉处理算法,最后给出一个结合3D视觉...
  • 摘要本文主要研究3D视觉技术在机器人抓取作业中的应用,总 结了3D视觉技术在识别、定位物体时面临的挑战,给出了抓取作业机器 人3D视觉系统的设计方法,归纳了现有的3D表面成像方法和视觉处理算 法,最后给出一个...
  • 摘要本文主要研究3D视觉技术在机器人抓取作业中的应用,总 结了3D视觉技术在识别、定位物体时面临的挑战,给出了抓取作业机器 人3D视觉系统的设计方法,归纳了现有的3D表面成像方法和视觉处理算 法,最后给出一个...
  • 1、机器人引导和定位,视觉定位要求机器视觉系统能够快速准确的找到被测零件并确认其位置,上下料使用机器视觉来定位,引导机械手臂准确抓取。在半导 体封装领域,设备需要根据机器视觉取得的芯片位置信息调整拾取头...
  • 本文的研究的主要目的是将计算机视觉引入到自动化生产线上,用以来引导机械手完成对工件的抓取或装配工作.计算机视觉在该生产线上的主要作用是完成对工件的位姿信息的获取,即对目标工件进行定位,计算机视觉的引入极大...
  • 上期我们利用到机器人的RGB颜色识别让机器人可以实现定位抓取物体的功能。这期我们来介绍另一个识别机制HSV识别,并通过这个识别机制让机器人实现垃圾分类的功能。 预期效果: 利用颜色的HSV识别不同颜色的垃圾和...
  • 这期我们利用视觉做一个好玩的在定位抓取的基础上,可以用遥控器控制两只机器人。整个程序中,需要注意的是两个机器人在交棒和接棒时的位置和动作。另外,要考虑机器人手臂的长度。
  • 文|深圳市今天国际物流技术股份有限公司何敏...借助视觉系统的精确定位功能,引导关节机器人自动拆垛,实现了物流系统自动化、智能化运行。关节机器人具备柔性高、定位准确及运行稳定等特点,因此在自动化物流领域...
  • Date:2020-7-14作者:小毛来源:公众号【3D视觉工坊】原文链接:基于点云的机器人抓取识别综述欢迎加入国内最大的3D视觉交流社区,1700+的领域从业者正在一起学习~机器人作为面向未来的智能制造重点技术,其具有可...
  • 现在市场对于工件加工精准化要求越来越高,同时为了将降本增效,逐渐需要通过机器人进行定位抓取焊接组装等; 针对问题,维视智造帮助合作客户全面实现了机器人(手)、抓手等的精准化定位。以下是项目的要求; ...
  • 作者:Tom Hardy ...本文综述了基于视觉机器人抓取技术,总结了机器人抓取过程中的四个关键任务:目标定位、姿态估计、抓取检测和运动规划。具体来说,目标定位包括目标检测和分割方法,姿态估计包括基...

空空如也

空空如也

1 2 3 4 5
收藏数 87
精华内容 34
关键字:

机器人视觉定位抓取