精华内容
下载资源
问答
  • 视觉定位坐标计算

    2020-03-01 06:40:18
    根据摄像头的几何光学模型进行几何比例计算,得到视觉定位坐标 根据摄像头的几何光学模型进行几何比例计算,得到视觉定位坐标
  • 机械手视觉引导定位算法原理,包括机械手坐标系图解、非线性标定、九点标定、旋转标定等数学原理
  • 3台相机的3维补正,是测量车身那样较大工件的3个部位(特征孔)并进行3维补正的一种功能。能在一定范围内补偿车身吊具偏差。采用3台固定安装于地面的相机检测车身底部的3个工艺孔,由于3点确定一...视觉定位过程如下:
  • opencv视觉定位,C++编写的opencv视觉定位,C++编写的opencv视觉定位,C++编写的opencv视觉定位,C++编写的opencv视觉定位,C++编写的opencv视觉定位,C++编写的opencv视觉定位,C++编写的opencv视觉定位,C++编写的...
  • 视觉定位程序(vs2012与vb.net与visionPro8.3) 一个较为简单的定位程序,因激光器无法配合做9点标定。做棋盘格标定后计算出相机原点与激光器原点固定距离加上偏差值后为定位点坐标。 压缩包内含源码。
  • 爱普生四轴机械手校准方法及机械手配合视觉的校准方法,
  • OpenCV单目视觉定位(测量)C++代码

    热门讨论 2017-08-23 21:29:14
    OpenCV单目视觉定位(测量),能检测识别出自定义的物体标签,并计算出自定义物体距离摄像头光心的X,Y方向距离, 用于无人机/机器人视觉定位
  • 单目摄像头实时视觉定位 单目摄像头实时视觉定位 单目摄像头实时视觉定位 单目摄像头实时视觉定位 单目摄像头实时视觉定位 单目摄像头实时视觉定位
  • 关键词:贴片机,表面贴装技术,飞行视觉,视觉定位 中图分类号:TP391.41 文献标识码:A 文章编号:1004-4507(2005)12-0026-04 随着人们对小型化、轻型化电子产品的不断追求,市场上对贴片机的需求也越来越大...
  • 一个视觉定位的贴标机项目实例
  • 视觉定位源码

    2018-01-12 16:59:40
    做机器人小车,AGV小车等定位时候用的定位技术,基于aprilTag计算
  • 特征点匹配算法 多目标匹配 机器人三维拾取 bin picking
  • 基于视觉定位的机器人搬运系统
  • 数控编程-KKVisionCut视觉定位激光商标切割控制系统V2.0.docx
  • 根据单目视觉定位所用图像帧数不同把定位方法分为基于单帧图像的定位和基于双帧或者多帧图像的定位两类。
  • 机器人视觉定位的图像处理.pdf 机器人视觉定位的图像处理.pdf 机器人视觉定位的图像处理.pdf机器人视觉定位的图像处理.pdf机器人视觉定位的图像处理.pdf 机器人视觉定位的图像处理.pdf 机器人视觉定位的图像处理...
  • 视觉定位,纠正定位,学习视觉好资料,初学者适用 (Visual positioning, correct positioning, visual learning good information, suitable for beginners)
  • 智能手机一般都具有摄像功能,并且有独立运算的能力,基于此,提出了一种基于摄影测量的手机视觉定位方法。该方法事先在提供视觉定位服务的区域拍摄基准图像,建立基准图像库;当手机用户进入定位服务区时,利用手机...
  • 工业机器人视觉定位技术与应用探讨.pdf
  • 摘要: 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列, 然后在分析二次成像法获取目标深度信息的缺陷的基础上, 提出了一种获取目标的...
  • 视觉定位原理

    千次阅读 2021-03-21 22:24:35
    视觉自动定位技术的基本原理是通过机器设备所带的CCD 将采集到的实物图像传输到PLC 图像处理系统,通过图像处理定位软件计算出偏移位置及角度,然后反馈给外部平台运动控制器,通过精密伺服驱动完成位置纠偏功能。...

    视觉自动定位技术的基本原理是通过机器设备所带的CCD 将采集到的实物图像传输到PLC 图像处理系统,通过图像处理定位软件计算出偏移位置及角度,然后反馈给外部平台运动控制器,通过精密伺服驱动完成位置纠偏功能。精度可以人工设置,超出精度范围,系统无法完成即报警告知。

    视觉自动定位系统流程如下:1)确认安装CCD 并能够清晰成像,平台能够正常运行
    2)根据平台类型(如XYθ)设置平台参数及定位精度
    3)取样品自学习、校正,计算出平台与CCD 之间坐标位置的相对关系
    4)拍摄目标实物
    5)拍摄对象
    6)定位过程,自动计算出偏移距离及角度(脉冲数)
    7)根据偏移脉冲数值控制平台移动
    8)如精度合格,在范围内结束本次自动对位,否则回到步骤4)继续进行自动
    对位调整,直到合格,或则警报显示提示。
    视觉自动定位系统常规设备配置有:对位用相机及镜头、光源、 定位主机及PLC程序软件、显示器、人机界面、操作手柄、伺服马达及驱动设备、运动控制器等,如图1:

    图1 视觉自动定位配置图

    这种自动对位方式针对的是整张FPC,常规四角为定位标记点,柔板FPC 设计多使用钻定位孔方式,CCD 设置3 个较普遍,其中2 个位上视静态相机,一个与贴片头绑定,作为下视动态摄像头。

    对于单PCS 的视觉对位及定位方法则不同。针对每PCS 设计标记Mark 点,如圆形、方形、或十字架及直角线等。最优的方式为直角或十字架方式,这样的设计参考后续坐标变换及角度调整较方便,如用圆形则因旋转对称问题,角度调整不佳。这种标记Mark 点可以在PCS 内,也可在PCS 外,只要确认有且唯一存在即可。这类的CCD 常规需要2 个,一个用于FPC 目标贴合区域拍摄,另一个拍摄待贴补强实物。将两者拍摄的图像进行中心匹配,并且角度调整一致,即完成视觉自动定位过程。

     

     

    展开全文
  • 应用于无人驾驶的视觉定位关键技术研究 (1).caj
  • 一种新的双目固定式机器人三维视觉定位方法
  • 本文利用双目视觉定位技术,实现了机器人对目标的识别与定位。首先,提出了一种介于传统标定和自标定的内外参数标定分离的方法,摄像机内部参数以透视成像模型为基础,用物理方法来提取; 外参数标定时合理选取参考...
  • 基于SIFT特征点的双目视觉定位,双目视差测距,三维重建
  • #资源达人分享计划#
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达今天要介绍的文章是“Back to the Feature: Learning Robust Camera Localization ...

    点击上方“3D视觉工坊”,选择“星标”

    干货第一时间送达

    今天要介绍的文章是“Back to the Feature: Learning Robust Camera Localization from Pixels to Pose”,发表于CVPR 2021,本文的一作正是SuperGlue的作者,本文实现一种端到端场景无关的相机定位网络,在公开数据集上表现优异。


    代码:

    github.com/cvg/pixloc

    论文:

    arxiv.org/abs/2103.09213

    摘要

    pixloc-fig1

    最近在相机位姿估计任务中涌现出不少基于学习的算法。其中很多是通过回归的方式得到某些几何量(如位姿或者3D坐标)来实现定位,但这些方法的泛化性在视角变化或者模型参数变换后会大打折扣。

    本文提出了一种场景无关的视觉定位算法PixLoc,输入为一张图像以及3D模型,输出图像对应的相机位姿。本文方法基于直接对齐多尺度CNN特征,将相机定位问题转换成度量学习。PixLoc端到端地学习了从像素到位姿的数据先验,这种能力可以在新的场景以及模型下表现优异。本文算法不仅能够在给定粗略姿先验的情况下定位,而且能够对位姿以及特征点进行联合优化。

    原有技术问题

    端到端地相机位姿回归(pose regression)或者场景的3D坐标回归( coordinate regression)通常是场景相关的,无法有效地拓展到新的场景,如场景出现了较大的光照变化,如训练集中仅有白天的图像而定位集出现晚上的图片,或者视角发生较大的变化时位姿的精度通常是较低的;另外一点就是精度相较于视觉定位(2D-3D)的方式精度低。

    新技术创新点

    作者提到,端到端的视觉定位算法应该着重于表征学习,不是让网络学习基本的几何关系亦或编码的3D图,而是让网络能够较好地理解几何原则以及鲁棒地应对外观以及结构变化。

    本文作者提出的PixLoc能够做到场景无关的端到端学习位姿,且能够较好地做到跨场景(室外到室内)的相机定位。

    关键技术点

    pixloc-fig3

    总览:利用已知的3D模型将查询图与参考图直接对齐对位姿进行结算,其中对齐过程中用了一种面向深度特征的非线性优化。

    输入:稀疏3D模型(如SfM稀疏模型),粗略的初始位姿 (可以通过图像召回获取)

    输出:查询图像对应的相机位姿

    公式化:目标是估计查询图像 的 6-DOF 相机位姿 ,稀疏3D模型中3D点云表示为 ,其中的参考图表示为

    1. 图像对齐

    图像表征:对于输入的查询图像 以及参考图像 ,利用CNN提取多尺度的特征,可以在第 尺度上得到 维的特征图 ,其中 越小尺度越小,注:特征图在通道上做了 归一化以提高泛化性。

    直接对齐:目标是找到6-DOF 相机位姿 以最小化查询图像与参考图像之间的外观差异。对于给定的特征尺度 以及被参考图像 观测到的3D点 ,定义如下残差项:

    其中 表示3D点在查询图像上点投影坐标, 表示亚像素差值操作。于是对于所有的 个观测的残差可以定义为如下形式:

    其中 表示代价函数, 表示每个残差的权重(后续介绍),通过LM算法迭代优化得到待优化位姿。

    为了增大收敛域(convergence basin),本文从 最coarse的一个尺度进行连续优化,下一尺度优化的初值是上一个尺度优化的结果。所以说,低分辨率的特征负责位姿预测的鲁棒性,而高分辨率的特征负责精化位姿精度。

    引入视觉先验:上述过程其实可以等价于传统的光度对齐的思路,考虑到CNN拥有强大的学习复杂视觉先验的能力,本文试图将这种视觉先验引入位姿优化。为了达到这个目标,CNN对每个尺度 的特征图预测了一张对应的不确定图 (笔者:文中没有具体说是如何得到该量),于是查询图与参考图像逐点权重可以通过下述方式进行计算:

    如果3D点重投影的不确定性小,那么这个权重会趋向于1,若该不确定性较大,这个权重趋近于0;

    pixloc-fig4

    将优化器与数据相匹配:LM是一种通用的优化算法,其中包括很多启发式的操作,例如代价函数 的选择,阻尼参数 的选择等。作者认为上述参数的选择会极大地削弱模型推广到新的数据的能力,因为它将优化器与训练数据进行了“绑定”(笔者:即优化器与数据相关,泛化能力就会变弱)。所以,若优化器能够具有泛化性,就要让优化器适应姿势或残差的分布,而不是场景的语义内容。本文的方法是将阻尼因子 作为一个网络学习的参数来对待,对于位姿的6参数而言,每个参数对应着不同的阻尼量,即将原来的标量 替换成了向量 ,将其参数化为如下形式(笔者: 没有明确表示什么,下式有疑问,如有了解的同学可在评论区给出见解):

    该方法在训练过程中调整各个姿态参数的曲率,直接从数据中学习运动先验知识。例如,当相机安装在汽车或一个基本直立的机器人上时,我们期望平面内旋转的阻尼很大。相反,普通的启发式算法对所有姿态参数一视同仁,不允许每个参数拥有不同阻尼量。

    pixloc-fig8

    2. 从位姿中学习

    由于CNN本身是不关注3D点的类型的,无论是通过视觉SfM来的,或者来自RGBD传感器/LiDAR扫描等,PixLoc可以用于以上各种3D点云的输入。

    训练:由于上述不确定图以及代价函数的存在,PixLoc能够适应于噪声很大的稀疏SfM模型作为输入,在训练过程中一个不完美的3D结构是完全够用的(无需高精度稠密3D模型)。

    损失函数:对于每一个尺度 ,都可以计算出一个 ,其真值为 ,损失函数被构建为3D点的平均重投影误差:

    其中 为 Huber核函数。

    3. 与现有算法比较

    PixLoc vs. sparse matching: 传统的局部特征匹配的方式包括多种数据操作,这些操作并不可微,例如特征点提取/匹配/RANSAC。相比于需要大量训练的强化学习的方式而言,本文端到端的方式可微分并且操作简单。

    PixLoc vs. GN-Net:Von Stumberg等人最近也提出了一些使用直接对齐的跨季节定位算法,他们的工作主要为了解决小基线场景且需要非常准确的逐像素真值对应关系以及大量的超参调整。作为对比,本文算法能够应对含有噪声的数据,且做到鲁棒定位。

    定位流程

    配合图像检索(即首先要做一步图像召回),PixLoc可以是一个独立的定位模块,但也可以对之前方法估计的姿势进行优化。因为该算法只需要一个三维模型和一个粗略的初始姿势。

    1. 初始化

    初始位姿的精度应该取决于对齐过程中收敛域的大小,经过深度CNN处理后一个特征点的感受野可以保证是非常大的,如下图所示,左图红色的点位于参考图像,右侧的高亮区域表示查询图像的多尺度收敛域,可见这个范围是比较大的。

    pixloc-fig5

    2. 3D结构

    本文使用了用HLoc+COLMAP重建的稀疏SfM模型,对于召回的参考图像,如top5~10,将它们观测的3D点云收集起来并在其对应的2D点提取多尺度特征图(对于每个3D点至少有一个内点),详见Fig3。

    实验

    网络结构:特征提取阶段使用了在ImageNet上预训练的VGG19编码器, , 。算法使用Pytorch实现,特征提取耗时100ms,位姿优化200ms~1s。

    1. 端到端算法对比

    Cambridge Landmarks以及7Scenes datasets定位效果

    上图展示了不同算法在Cambridge Landmarks以及7Scenes datasets定位精度对比,数字表示在给定阈值(5cm/5deg)条件下的召回率以及平移和旋转误差中值。可以看到PixLoc能够与复杂的特征匹配(FM)的流程定位效果相当,与几何回归模型的定位效果相近;以上标红的算法表示模型针对每个场景进行了训练,而本文算法仅在室外场景中训练了一次,便可以很好地泛化到没有见过的室内外场景。

    2. 大场景定位算法比较

    在 Aachen, RobotCar, CMU dataset大尺度场景定位对比

    以上给出了在大场景中定位召回率统计( 阈值分别为(25cm, 2deg), (50cm, 5deg),(5m, 10deg)。在初始位姿是由图像召回给定给定时,本文算法既简单又能够在挑战场景如夜晚获得相比ESAC精度更高的结果。作者提到,PixLoc(使用的NetVLAD召回图像,无re-ranking)相较于FM的方式不够鲁棒,这是由于错误的图像召回会导致初始位姿不佳,使得算法无法收敛。此时若使用了召回效果较好的oracle,召回率会有比较明显的提升。

    PixLoc还可以作为后处理位姿优化模块对定位位姿进行优化,上表中列出了使用PixLoc优化hloc的定位位姿的前后对比,平均增加了2.4%的召回率(笔者:后处理改进不大,在Aachen Day数据上下降了,作者说是真值有误)。

    3. 见解

    消融实验:作者也尝试了 Gauss-Newton loss,但是模型没有收敛;作者比较了添加每个改进后的AUC,可以看到每个小改进都有一定作用。

    pixloc-tab3

    局限性:PixLoc受限于CNN感受野的大小,如果初始位姿的重投影误差较大,模型预测会陷入局部最优;因此,PixLoc容易受到视角变化/遮挡物的影响,也对错误的相机标定敏感。

    pixloc-fig7

    可解释性:对权重图进行可视化可以帮助我们理解PixLoc到底关注场景的何种线索。A-D为室外驾驶场景,PixLoc可以忽略动态物体如车辆,同时也可以忽略掉短期的特征如雪(A),落叶(B),垃圾桶(C)以及影子等;PixLoc更加关注于柱子,树干,路标,电线以及建筑轮廓。重复的纹理如窗户在一开始会被忽略但到后期会被用来做优化。不同是,对于城市场景E,网络更加关注于固定的建筑物而不是大树。

    pixloc-fig6

    借鉴意义

    1. 提供了一种场景无关的端到端视觉定位算法,一次模型训练,可用于多个场景的相机定位;

    2. 精度较高,能够与目前最优的端到端的相机定位算法精度相当甚至更好;

    3. 可以对相机位姿进行后处理以精化定位位姿;

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 摘要: 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列, 然后在分析二次成像法获取目标深度信息的缺陷的基础上, 提出了一种获取目标的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 88,446
精华内容 35,378
关键字:

视觉定位