精华内容
下载资源
问答
  • 视觉SLAM技术解读
    2021-06-04 00:51:05

    点击上方“小白学视觉”,选择加"星标"或“置顶

    重磅干货,第一时间送达
    
    

    本文转自|新机器视觉

    近年来,SLAM技术取得了惊人的发展,领先一步的激光SLAM已成熟的应用于各大场景中,视觉SLAM虽在落地应用上不及激光SLAM,但也是目前研究的一大热点,今天我们就来详细聊聊视觉SLAM的那些事儿。

    视觉SLAM是什么?

    视觉SLAM主要是基于相机来完成环境的感知工作,相对而言,相机成本较低,容易放到商品硬件上,且图像信息丰富,因此视觉SLAM也备受关注。

    目前,视觉SLAM可分为单目、双目(多目)、RGBD这三类,另还有鱼眼、全景等特殊相机,但目前在研究和产品中还属于少数,此外,结合惯性测量器件(Inertial Measurement Unit,IMU)的视觉SLAM也是现在研究热点之一。从实现难度上来说,大致将这三类方法排序为:单目视觉>双目视觉>RGBD。

    单目相机SLAM简称MonoSLAM,仅用一支摄像头就能完成SLAM。最大的优点是传感器简单且成本低廉,但同时也有个大问题,就是不能确切的得到深度。

    一方面是由于绝对深度未知,单目SLAM不能得到机器人运动轨迹及地图的真实大小,如果把轨迹和房间同时放大两倍,单目看到的像是一样的,因此,单目SLAM只能估计一个相对深度。另一方面,单目相机无法依靠一张图像获得图像中物体离自己的相对距离。为了估计这个相对深度,单目SLAM要靠运动中的三角测量,来求解相机运动并估计像素的空间位置。即是说,它的轨迹和地图,只有在相机运动之后才能收敛,如果相机不进行运动时,就无法得知像素的位置。同时,相机运动还不能是纯粹的旋转,这就给单目SLAM的应用带来了一些麻烦。

    而双目相机与单目不同的是,立体视觉既可以在运动时估计深度,亦可在静止时估计,消除了单目视觉的许多麻烦。不过,双目或多目相机配置与标定均较为复杂,其深度量程也随双目的基线与分辨率限制。通过双目图像计算像素距离,是一件非常消耗计算量的事情,现在多用FPGA来完成。

    RGBD相机是2010年左右开始兴起的一种相机,它最大的特点是可以通过红外结构光或TOF原理,直接测出图像中各像素离相机的距离。因此,它比传统相机能够提供更丰富的信息,也不必像单目或双目那样费时费力地计算深度。

    视觉SLAM框架解读

    1.传感器数据

    在视觉SLAM中主要为相机图像信息的读取和预处理。如果在机器人中,还可能有码盘,惯性传感器等信息的读取和同步。

    2.视觉里程计

    视觉里程计的主要任务是估算相邻图像间相机运动以及局部地图的样子,最简单的是两张图像之间的运动关系。计算机是如何通过图像确定相机的运动的。在图像上,我们只能看到一个个的像素,知道他们是某些空间点在相机的成像平面投影的结果。所以必须先了解相机跟空间点的几何关系。

    Vo(又称为前端)能够通过相邻帧间的图像估计相机运动,并恢复场景的空间结构,称它为里程计。被称为里程计是因为它只计算相邻时刻的运动,而和再往前的过去信息没有关联。相邻时刻运动串联起来,就构成了机器人的运动轨迹,从而解决了定位问题。另一方面,根据每一时刻的相机位置,计算出各像素对应的空间点的位置,就得到了地图。

    3.后端优化

    后端优化主要是处理slam过程中噪声的问题。任何传感器都有噪声,所以除了要处理“如何从图像中估计出相机运动”,还要关心这个估计带有多大的噪声。

    前端给后端提供待优化的数据,以及这些数据的初始值,而后端负责整体的优化过程,它往往面对的只有数据,不必关系这些数据来自哪里。在视觉slam中,前端和计算接视觉研究领域更为相关,比如图像的特征提取与匹配等,后端则主要是滤波和非线性优化算法。

    4.回环检测

    回环检测也可以称为闭环检测,是指机器人识别曾到达场景的能力。如果检测成功,可以显著地减小累积误差。回环检测实质上是一种检测观测数据相似性的算法。对于视觉SLAM,多数系统采用目前较为成熟的词袋模型(Bag-of-Words, BoW)。词袋模型把图像中的视觉特征(SIFT, SURF等)聚类,然后建立词典,进而寻找每个图中含有哪些“单词”(word)。也有研究者使用传统模式识别的方法,把回环检测建构成一个分类问题,训练分类器进行分类。

    5.建图

    建图主要是根据估计的轨迹建立与任务要求对应的地图,在机器人学中,地图的表示主要有栅格地图、直接表征法、拓扑地图以及特征点地图这4种。而特征点地图是用有关的几何特征(如点、直线、面)表示环境,常见于视觉SLAM技术中。这种地图一般通过如GPS、UWB以及摄像头配合稀疏方式的vSLAM算法产生,优点是相对数据存储量和运算量比较小,多见于最早的SLAM算法中。

    视觉SLAM工作原理

    大多数视觉SLAM系统的工作方式是通过连续的相机帧,跟踪设置关键点,以三角算法定位其3D位置,同时使用此信息来逼近推测相机自己的姿态。简单来说,这些系统的目标是绘制与自身位置相关的环境地图。这个地图可以用于机器人系统在该环境中导航作用。与其他形式的SLAM技术不同,只需一个3D视觉摄像头,就可以做到这一点。

    通过跟踪摄像头视频帧中足够数量的关键点,可以快速了解传感器的方向和周围物理环境的结构。所有视觉SLAM系统都在不断的工作,以使重新投影误差(Reprojection Error)或投影点与实际点之间的差异最小化,通常是通过一种称为Bundle Adjustment(BA)的算法解决方案。vSLAM系统需要实时操作,这涉及到大量的运算,因此位置数据和映射数据经常分别进行Bundle Adjustment,但同时进行,便于在最终合并之前加快处理速度。

    视觉SLAM与激光SLAM有什么区别?

    在业内,视觉SLAM与激光SLAM谁更胜一筹,谁将成为未来主流趋势这一问题,成为大家关注的热点,不同的人也有不同的看法及见解,以下将从成本、应用场景、地图精度、易用性几个方面来进行详细阐述。

    1.成本

    从成本上来说,激光雷达普遍价格较高,但目前国内也有低成本的激光雷达解决方案,而VSLAM主要是通过摄像头来采集数据信息,跟激光雷达一对比,摄像头的成本显然要低很多。但激光雷达能更高精度的测出障碍点的角度和距离,方便定位导航。

    2.应用场景

    从应用场景来说,VSLAM的应用场景要丰富很多。VSLAM在室内外环境下均能开展工作,但是对光的依赖程度高,在暗处或者一些无纹理区域是无法进行工作的。而激光SLAM目前主要被应用在室内,用来进行地图构建和导航工作。

    3.地图精度

    激光SLAM在构建地图的时候,精度较高,思岚科技的RPLIDAR系列构建的地图精度可达到2cm左右;VSLAM,比如常见的,大家也用的非常多的深度摄像机Kinect,(测距范围在3-12m之间),地图构建精度约3cm;所以激光SLAM构建的地图精度一般来说比VSLAM高,且能直接用于定位导航。

    视觉SLAM的地图建立

    4.易用性

    激光SLAM和基于深度相机的视觉SLAM均是通过直接获取环境中的点云数据,根据生成的点云数据,测算哪里有障碍物以及障碍物的距离。但是基于单目、双目、鱼眼摄像机的视觉SLAM方案,则不能直接获得环境中的点云,而是形成灰色或彩色图像,需要通过不断移动自身的位置,通过提取、匹配特征点,利用三角测距的方法测算出障碍物的距离。

    总体来说,激光SLAM相对更为成熟,也是目前最为可靠的定位导航方案,而视觉SLAM仍是今后研究的一个主流方向,但未来,两者融合是必然趋势。

    本文来源于:http://www.slamtec.com/cn/News/Detail/237

     End 

    下载1:OpenCV-Contrib扩展模块中文版教程

    在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

    下载2:Python视觉实战项目52讲

    在「小白学视觉」公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

    下载3:OpenCV实战项目20讲

    在「小白学视觉」公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

    交流群

    欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

    更多相关内容
  • 针对自主定位与环境构建问题,基于视觉传感器的同时定位与地图构建(SLAM)成为现阶段研究的热点,为深入分析视觉SLAM的现状,综述其相关算法与成果。首先简要概述了视觉SLAM的概念、特点与研究意义;然后深入分析帧...
  • 视觉slam十四讲.pdf

    2021-12-18 20:16:56
    视觉slam、自动驾驶、导航、地图构建、机器人定位
  • 视觉SLAM十四讲PPT

    2021-05-04 12:57:05
    精品课程PPT分享,视觉SLAM十四讲配套PPT, 全网唯一资源
  • 视觉slam介绍》PPT,《视觉slam介绍》课件,《视觉slam介绍》
  • 针对这个问题,对当前主流视觉SLAM系统和基于Faster R-CNN、YOLO等神经网络结构的目标检测算法进行研究。并提出一种有效的点云分割方法,该方法引入支撑平面以提升分割结果的鲁棒性。最后在ORB-SLAM系统的基础上,结合...
  • 高翔视觉slam14讲及其课件
  • 视觉SLAM十四讲配套代码
  • 此代码主要是视觉SLAM理论与实践的cmake操作,详细说明请移步本人的博客https://blog.csdn.net/whut_chengjun/article/details/103069881 注:假设您已经安装好了ubuntu系统,创建好了工作空间,并有了一定的c++...
  • 视觉slam代码

    2017-10-29 20:44:11
    视觉SLAM是一个视觉问题的小分支,但是涉及的知识点繁杂错乱,对于想入门学习SLAM的人来说,一头扎进教科书,从『1+1』这样的知识点开始学将会非常痛苦。窃以为比较针对性的SLAM书籍应该是从系统上层讲清楚SLAM的...
  • 针对目前SLAM算法实时性和鲁棒性的问题,提出了一种改进的实时单目视觉SLAM算法。该算法采用一个摄像头作为外部传感器来提取机器人行进过程中周围环境的特征信息,用实时性良好的FAST提取环境特征点,结合逆深度参数...
  • 用数学语言来描述 SLAM 过程。我们会用到一些变量和公式。 小车正携带着某种传感器在未知环境里运动,怎么用数学语言描述这件事呢? 首先,由于相机通常是在某些时刻采集数据的,所以我们也只关心这些时刻的位置和...
  • 视觉slam十四讲

    2021-02-22 08:01:39
    视觉slam十四讲
  • 各种视觉SLAM论文合集整理,包含orb,lsd,rgbd,svo等。
  • 学习视觉slam 的入门书籍,配合slam学习笔记起到事半功倍的效果,希望和高博一样能推动slam的发展!
  • SLAM _ 视觉SLAM中的前端:视觉里程计与回环检测 另外,还包含以下资料的获取: 涵盖感知,规划和控制,ADAS,传感器; 1. apollo相关的技术教程和文档; 2. adas(高级辅助驾驶)算法设计(例如AEB,ACC,LKA等) 3....
  • Tsai分享:资源分享(1)——视觉SLAM十四讲及视频-附件资源
  • 视觉SLAM课件.zip

    2021-02-22 10:32:40
    讲述视觉SLAM14讲
  • GPS与视觉SLAM融合

    2018-04-02 09:48:38
    This is a repo for my master thesis research about the Fusion of Visual SLAM and GPS. It contains the research paper, code and other interesting data. Note: This is work in progress. Please take a ...
  • 视觉SLAM 视觉SLAM

    2018-06-12 11:56:01
    视觉SLAM 视觉SLAM 视觉SLAM 视觉SLAM 视觉SLAM 视觉SLAM
  • 视觉SLAM十四讲》程序中的3rdparty文件夹,里面包含ceres、sophus、g2o等第三方库。设置的粉丝可下载,关注博主后即可获得,不需要积分
  • 视觉SLAM十四讲;Eigen;QR和Cholesky矩阵分解
  • 视觉SLAM14讲作者高翔所有的课程视频 目前更新到第十章 百度云资源
  • 视觉SLAM综述

    2019-03-03 14:40:49
    有关视觉SLAM的综述文章,有助于整体掌握视觉SLAM的基础知识和概念。
  • SLAM 报告,邹丹平-基于环境结构性特征的视觉SLAM方法
  • 基于深度学习的视觉SLAM 综述 赵洋,刘国良,田国会,罗勇,王梓任,张威,李军伟 (山东大学控制科学与工程学院,山东济南250061) 摘要:综述了深度学习技术应用到同步定位与地图创建(SLAM)领域的最新研究进展,...
  • 高翔视觉slam 14讲 配套套代码,每一章都有,有助于学习视觉SLAM
  • 欢迎阅读关于视觉SLAM的基础知识:从理论到实践,高翔,张涛,严勤瑞和刘毅 这是本书的英文版。 如果您是中文读者,请检查。 我们的代码在github: 。 英文版基于slambook2,该书仍在审核中。 目前,英文版是开源...
  • 视觉SLAM十四讲;ORB特征点;G-N;Bundle Adjustment
  • 视觉SLAM十四讲;双目视差;高斯牛顿曲线拟合

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 24,959
精华内容 9,983
关键字:

视觉slam

友情链接: CubicSpline.zip