精华内容
下载资源
问答
  • 双目立体视觉技术简介1. 什么是视觉2. 什么是计算机双目立体视觉3. 双目立体视觉系统4. 博安盈双目立体视觉系统:平行光轴的系统结构5. 双目立体视觉智能视频分析技术
  • 摘要:阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为国像获娶摄像机标定、特片提娶立体匹配和三维重建几个步骤,详细分析了各个步骤的技术特点、存在的问题和解决方案,并对...

    因这段时间在做这方面的东西,找一篇扫盲文,目前偶要做的是:在双摄像机中找到特征点,然后进行特征点之间的配对,同时计算出它的三维坐标。

    摘要:阐述了双目立体视觉技术在国内外应用的最新动态及其优越性。指出双目体视技术的实现分为国像获娶摄像机标定、特片提娶立体匹配和三维重建几个步骤,详细分析了各个步骤的技术特点、存在的问题和解决方案,并对双目体视技术的发展做了展望。

    关键词:双目立体视觉计算机视觉 立体匹配 摄像机标定

    特征提取

    双目立体视觉是计算机视觉的一个重要分支,即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,通过计算空间点在两幅国像中的视差,获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验室的Marr提出了一种视觉计算理论并应用在双睛匹配上,使两张有视差的平面图产生在深度的立体图形,奠定了双目立体视觉发展理论基矗相比其他类的体视方法,如透镜板三维成像、投影式三维显示、全息照相术等,双目本视直接模拟人类双眼处理景物的方式,可靠简便,在许多领域均极具应用价值,如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及虚拟现实等。

    1 双目体视的技术特点

    双目标视技术的实现可分为以下步骤:图像获娶摄像机标定、特征提娶图像匹配和三维重建,下面依次介绍各个步骤的实现方法和技术特点。

    1.1 图像获取

    双目体视的图像获取是由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,获取立体图像对。其针孔模型如图1。假定摄像机C1与C2的角距和内部参数都相等,两摄像机的光轴互相平行,二维成像平面X1O1Y1和X2O2Y2重合,P1与P2分别是空间点P在C1与C2上的成像点。但一般情况下,针孔模型两个摄像机的内部参数不可能完成相同,摄像机安装时无法看到光轴和成像平面,故实际中难以应用。

    上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作了详尽分析,并通过试验指出,对某一特定点进行三角测量。该点测量误差与两CCD光轴夹角是一复杂的函数关系;若两摄像头光轴夹角一定,则被测坐标与摄像头坐标系之间距离越大,测量得到点距离的误差就越大。在满足测量范围的前提下,应选择两CCD之间夹角在50℃~80℃之间。

    1.2 摄像机的标定

    对双目体视而言,CCD摄像机、数码相机是利用计算机技术对物理世界进行重建前的基本测量工具,对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单摄像机的标定方法,分别得到两个摄像机的内、外参数;再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。目前常用的单摄像机标定方法主要有:

    (1)摄影测量学的传统设备标定法。利用至少17个参数描述摄像机与三维物体空间的结束关系,计算量非常大。

    (2)直接线性变换性。涉及的参数少、便于计算。

    (3)透视变换短阵法。从透视变换的角度来建立摄像机的成像模型,无需初始值,可进行实时计算。

    (4)相机标定的两步法。首先采用透视短阵变换的方法求解线性系统的摄像机参数,再以求得的参数为初始值,考虑畸变因素,利用最优化方法求得非线性解,标定精度较高。

    (5)双平面标定法。

    在双摄像机标定中,需要精确的外部参数。由于结构配置很难准确,两个摄像机的距离和视角受到限制,一般都需要至少6个以上(建议取10个以上)的已知世界坐标点,才能得到比较满意的参数矩阵,所以实际测量过程不但复杂,而且效果并不一定理想,大大地限制了其应用范围。此外双摄像机标定还需考虑镜头的非线性校正、测量范围和精度的问题,目前户外的应用还有少。

    上海大学通信与信息工程学院提出了基于神经网络的双目立体视觉摄像机标定方法。首先对摄像机进行线性标定,然后通过网络训练建立起三维空间点位置补偿的多层前馈神经网络模型。此方法对双目立体视觉摄像机的标定具有较好的通用性,但是精确测量控制点的世界坐标和图像坐标是一项严格的工作。因此神经网络中训练样本集的获得非常困难。

    1.3 特征点提取

    立体像对中需要撮的特征点应满足以下要求:与传感器类型及抽取特征所用技术等相适应;具有足够的鲁棒性和一致性。需要说明的是:在进行特征点像的坐标提取前,需对获取的图像进行预处理。因为在图像获取过程中,存在一系列的噪声源,通过此处理可显著改进图像质量,使图像中特征点更加突出。

    1.4 立体匹配

    立体匹配是双目体视中最关系、困难的一步。与普通的图像配准不同,立体像对之间的差异是由摄像时观察点的不同引起的,而不是由其它如景物本身的变化、运动所引起的。根据匹配基元的不同,立体匹配可分为区域匹配、特征匹配和相位匹配三大类。

    区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度,它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择,通常借助于窗口形状技术来改善视差不连续处的匹配;其次是计算量大、速度慢,采取由粗至精分级匹配策略能大大减少搜索空间的大小,与匹配窗大小无关的互相关运算能显著提高运算速度。

    特片匹配不直接依赖于灰度,具有较强的抗干扰性,计算量小,速度快。但也同样存一些不足:特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场;特征的撮和定位过程直接影响匹配结果的精确度。改善办法是将特征匹配的鲁棒性和区域匹配的致密性充分结合,利用对高频噪声不敏感的模型来提取和定位特征。

    相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元,本身反映信号的结构信息,对图像的高频噪声有很好的抑制作用,适于并行处理,能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题,需加入自适应滤波器解决。

    1.5 三维重建

    在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下,即可进行空间点的重建。通过建立以该点的世界坐标为未知数的4个线性方程,可以用最小二乘法求解得该点的世界坐标。实际重建通常采用外极线结束法。空间眯、两摄像机的光心这三点组成的平面分别与两个成像平面的交线称为该空间点在这两个成像平面中的极线。一旦两摄像机的内外参数确定,就可通过两个成像平面上的极线的约束关系建立对应点之间的关系,并由此联立方程,求得图像点的世界坐标值。对图像的全像素的三维重建目前仅能针对某一具体目标,计算量大且效果不明显。

    2 双目体视的最新应用

    2.1 国外研究动态

    双目体视目前主要应用于四个领域:机器人导航、微操作系统的参数检测、三维测量和虚拟现实。

    日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统,利用双目

    体视的原理,如每幅图像中相对静止的三个标志为参考,实时计算目标图像的雅可比短阵,从而预测出目标下一步运动方向,实现了对动方式未知的目标的自适应跟踪。该系统仅要求两幅图像中都有静止的参考标志,无需摄像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学等参数和目标的运动方式。

    日本奈良科技大学信息科学学院提出了一种基于双目立体视觉的增强现实系统(AR)注册方法,通过动态修正特征点的位置提高注册精度。该系统将单摄像机注册(MR)与立体视觉注册(SR)相结合,利用MR和三个标志点算出特征点在每个图像上的二维坐标和误差,利用SR和图像对计算出特征点的三维位置总误差,反复修正特征点在图像对上的二维坐标,直至三维总误差小于某个阈值。该方法比仅使用MR或SR方法大大提高了AR系统注册深度和精度。实验结果如图2,白板上三角开的三顶点被作为单摄像机标定的特征点,三个三角形上的模型为虚拟场景,乌龟是真实场景,可见基本上难以区分出虚拟场景(恐龙)和现实场景(乌龟)。

    日本东京大学将实时双目立体视觉和机器人整体姿态信息集成,开发了仿真机器人动态行长导航系统。该系统实现分两个步骤:首先,利用平面分割算法分离所拍摄图像对中的地面与障碍物,再结合机器人身体姿态的信息,将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系,建立机器人周围区域的地图;基次根据实时建立的地图进行障碍物检测,从而确定机器人的行走方向。

    日本冈山大学使用立体显微镜、两个CCD摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系统,用于对细胞进行操作,对钟子进行基因注射和微装配等。

    麻省理工学院计算机系统提出了一种新的用于智能交通工具的传感器融合方式,由雷达系统提供目标深度的大致范围,利用双目立体视觉提供粗略的目标深度信息,结合改进的图像分割算法,能够在高速环境下对视频图像中的目标位置进行分割,而传统的目标分割算法难以在高速实时环境中得到令人满意的结果,系统框图如图3。

    华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统,使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位玫导航。系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对,拍摄间距越大,基线越宽,能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置,利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配,得到亚像素精度的视差,并根据此视差计算图像对中各点的三维坐标。相比传统的体视系统,能够更精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形。

    2.2 国内研究动态

    浙江大学机械系统完全利用透视成像原理,采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测,仅需从两幅对应图像中抽取必要的特征点的三维坐标,信息量少,处理速度快,尤其适于动态情况。与手眼系统相比,被测物的运动对摄像机没有影响,且不需知道被测物的运动先验知识和限制条件,有利于提高检测精度。

    东南大学电子工程系基于双目立体视觉,提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法,可对三维不规则物体(偏转线圈)的三维空间坐标进行非接触精密测量。

    哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。将一个固定摄像机和一个可以水平旋转的摄像机,分别安装在机器人的顶部和中下部,可以同时监视不同方位视点,体现出比人类视觉优越的一面。通过合理的资源分配及协调机制,使机器人在视野范围、测跟精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标,观测相遇目标时通过数据融合,也可提高测量精度。在实际比赛中其他传感器失效的情况下,仅仅依靠双目协调仍然可以实现全自主足球机器人导航。

    火星863计划课题“人体三维尺寸的非接触测量”,采用“双视点投影光栅三维测量”原理,由双摄像机获取图像对,通过计算机进行图像数据处理,不仅可以获取服装设计所需的特征尺寸,还可根据需要获取人体图像上任意一点的三维坐标。该系统已通过中国人民解放军总后勤部军需部鉴定。可达到的技术指标为:数据采集时间小于5s/人;提供身高、胸围、腰围、臀围等围度的测量精度不低于1.0cm。

    3 双目体视的发展方向

    就又目立体视觉技术的发展现状而言,要构造出类似于人眼的通用双目立体视觉系统,还有很长的路要走,进一步的研究方向可归纳如下:

    (1)如何建立更有效的双目体视模型,能更充分地反映立体视觉不确定性的本质属性,为匹配提供更多的约束信息,降低立体匹配的难度。

    (2)探索新的适用于全面立体视觉的计算理论和匹配策略,选择有效的匹配准则和算法结构,以解决存在灰度失真、几何畸变(透视、旋转、缩放等)、噪声干扰、特殊结构(平坦匹域、重复相似结构等)及遮掩景物的匹配问题;

    (3)算法向并行化发展,提高速度,减少运算量,增强系统的实用性。

    (4)强调场景与任务的结束,针对不同的应用目的,建立有目的和面向任务的体视系统。

    双目体视这一有着广阔应用前景的学科,随着光学、电子学以及计算机技术的发展,将不断进步,逐渐实用化,不仅将成为工业检测、生物医学、虚拟现实等领域的关键技术,还有可能应用于航天遥测、军事侦察等领域。目前在国外,双目体视技术已广泛应用于生产、生活中,而我国正处于初始阶段,尚需广大科技工作者共同努力,为其发展做出贡献。

    双目立体视觉技术的实现及其进展[全文结束]

    展开全文
  • 双目立体视觉技术.pdf

    2020-05-09 13:53:50
    基于双目立体视觉技术的燃烧诊断方法研究 对于燃烧流场三维信息的获取始终是燃烧诊断学科追求的目标,论文所做的 工作也是出于这个目的。论文将双目立体视觉技术引入燃烧诊断领域,实现了对 非预混冲击火焰表面的三维...
  • 基于双目立体视觉技术的玉米叶片三维重建,基于双目立体视觉技术的玉米叶片三维重建
  • 机器人双目立体视觉技术研究.nh知网文献
  • 双目立体视觉技术的内容

    千次阅读 2018-12-24 20:07:14
    双目立体视觉技术(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。...

              双目立体视觉技术(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。(双目视觉是模拟人类视觉原理,使用计算机被动感知距离的方法。从两个或者多个点观察一个物体,获取在不同视角下的图像,根据图像之间像素的匹配关系,通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息,就可以计算出物体与相机之间的实际距离,物体3维大小,两点之间实际距离。)

               双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像。

               双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

    一、图像获取

    双目立体视觉的图像获取是由不同位置的两台(CCD)摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对。假定摄像机C1与C2的角距和内部参数都相等,两摄像机的光轴互相平行,二维成像平面X1O1Y1和X2O2Y2重合,P1与P2分别是空间点P在C1与C2上的成像点。

    一般情况下,针孔模型两个摄像机的内部参数不可能完成相同,摄像机安装时无法看到光轴和成像平面,故实际中难以应用。在满足测量范围的前提下,应选择两CCD之间夹角在50℃~80℃之间。

    二、相机标定 

              在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。

            相机标定方法有:传统相机标定法、主动视觉相机标定方法、相机自标定法。

             相机标定是实现立体视觉基本而又关键的一步,通常采用单摄像机的标定方法,分别得到两个摄像机的内、外参数。再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。

    目前常用的单摄像机标定方法:

    1)摄影测量学的传统设备标定法。利用至少17个参数描述,计算量大。

    2)直接线性变换性。涉及的参数少、便于计算。

    3)透视变换短阵法。从透视变换的角度来建立摄像机的成像模型,无需初始值,可进行实时计算。

    4)相机标定的两步法。首先采用透视矩阵变换的方法进行求解线性系统的摄像机参数,再以求得的参数为初始值,考虑畸变因素,利用最优化方法求得非线性解,标定精度较高。

    5)双平面标定法。

    在双摄像机标定中,需要精确的外部参数。需要至少6个以上已知世界坐标点,才能得到比较满意的参数矩阵。实际测量过程不但复杂,而且效果并不一定理想,此外还需考虑镜头的非线性校正、测量范围和精度的问题。

     三、特征点提取

           特征提取是计算机视觉图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。在进行特征点像的坐标提取前,需对获取的图像进行预处理。通过此处理可显著改进图像质量,使图像中特征点更加突出。立体像对中需要提取的特征点应满足与传感器类型及抽取特征所用技术等相适应,具有足够的鲁棒性和一致性。

     特征类型主要有:

    ①边缘:边缘是组成两个图像区域之间边界(或边缘)的像素。一般一个边缘的形状可以是任意的,还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。局部的看边缘是一维结构。

    ②角:是图像中点似的特征,在局部它有两维结构。早期的算法首先进行边缘检测,然后分析边缘的走向来寻找边缘突然转向(角)。后来发展的算法不再需要边缘检测这个步骤,而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。

    ③与角不同的是区域描写一个图像中的一个区域性的结构,但是区域也可能仅由一个像素组成,因此许多区域检测也可以用来检测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。

    区域检测可以被想象为把一张图像缩小,然后在缩小的图像上进行角检测。

    ④脊:长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线,此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路,在医学图像中它被用来分辨血管。

     四、立体匹配

    立体匹配是双目立体视觉中最困难的一步,根据匹配基元的不同,立体匹配可分为区域匹配、特征匹配和相位匹配三大类。

    区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度,它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择,其次是数据计算量大、速度慢,采取由粗至精分级匹配策略能大大减少搜索空间的大小,与匹配窗大小无关的互相关运算能显著提高运算速度。

    特征匹配不直接依赖于灰度,具有较强的抗干扰性,计算量小,速度快。但存一些不足:特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场。特征的定位过程直接影响匹配结果的精确度。

    相位作为匹配基元,本身反映信号的结构信息,对图像的高频噪声有很好的抑制作用,适于并行处理,能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题,需加入自适应滤波器解决。

     五、三维重建

    在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下,即可进行空间点的重建。通过建立以该点的世界坐标为未知数的四个线性方程,可以用最小二乘法求解得该点的世界坐标,实际重建通常采用外极线结束法计算。

    展开全文
  • 阐述了双目立体视觉技术在国内外应用的最新动态,指出双目体视技术的实现分为图像获取、 摄像机标定、 特征提取、 立体匹配和三维重建几个步骤。
  • 击上方“新机器视觉”,选择加"星标"或“置顶”重磅...视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业...

    击上方新机器视觉”,选择加"星标"或“置顶”

    重磅干货,第一时间送达909cc24fdec9dbda5ab7c5c56dac99ba.png

    1. 什么是视觉

    视觉是一个古老的研究课题,同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统,用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中,计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一,如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域,计算机视觉也具有较重要的意义,如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。

    人类视觉过程可以看作是一个从感觉到知觉的复杂过程,从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述;从广义上说,是根据周围的环境和观察者的意愿,在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力,这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等),而且能进一步对它们进行描述、存储、识别与理解,计算机视觉己经发展起一套独立的计算理论与算法。

    2. 什么是计算机双目立体视觉

    双目立体视觉(Binocular StereoVision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像,如图一。

    74cf4fb9f6735946c3f548ae3dce0211.png

    双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。

    双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

    双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构,并对物体的形状和空间关系进行描述,把过去的简单二维图像分析推广到了复杂的三维场景,标志着立体视觉技术的诞生。随着研究的深入,研究的范围从边缘、角点等特征的提取,线条、平面、曲面等几何要素的分析,直到对图像明暗、纹理、运动和成像几何等进行分析,并建立起各种数据结构和推理规则。特别是上世纪80年代初,Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括,创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用,在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系,使得立体视觉已成为计算机视觉中一个非常重要的分支。

    经过几十年来的发展,立体视觉在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等领域中的运用越来越广。

    3. 双目立体视觉系统

    立体视觉系统由左右两部摄像机组成。如图二所示,图中分别以下标l和r标注左、右摄像机的相应参数。世界空间中一点A(X,Y,Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul,vl)和ar(ur,vr)。这两个像点是世界空间中同一个对象点A的像,称为“共轭点”。知道了这两个共轭像点,分别作它们与各自相机的光心Ol和Or的连线,即投影线alOl和arOr,它们的交点即为世界空间中的对象点A(X,Y,Z)。这就是立体视觉的基本原理。

    189a6f99a2a4452f692967b20fadbeef.png

    4. 博安盈双目立体视觉系统:平行光轴的系统结构

    在平行光轴的立体视觉系统中(图三),左右两台摄像机的焦距及其它内部参数均相等,光轴与摄像机的成像平面垂直,两台摄像机的x轴重合,y轴相互平行,因此将左摄像机沿着其x轴方向平移一段距离b(称为基线baseline)后与右摄像机重合。

    由空间点A及左右两摄像机的光心Ol、Or确定的极平面(Epipolar plane)分别与左右成像平面Cl、Cr的交线pl、pr为共轭极线对,它们分别与各自成像平面的坐标轴ul、ur平行且共线。在这种理想的结构形式中,左右摄像机配置的几何关系最为简单,极线已具有很好的性质,为寻找对象点A在左右成像平面上的投影点al和ar之间的匹配关系提供了非常便利的条件。

    866ea374c3cf6eff39303d75654b3bb4.png

    5. 双目立体视觉智能视频分析技术

    恢复场景的3D信息是立体视觉研究中最基本的目标,为实现这一目标,一个完整的立体视觉系统通常包含六个模块:图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频分析(运动检测、运动跟踪、规则判断、报警处理)。

    5.1. 图像获取(ImageAcquisition)

    数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像,有的采用多目图像。图像获取的方式有多种,主要由具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求,而且要考虑视点差异、光照条件、摄像机性能和场景特点等方面的影响。

    5.2. 摄像机标定(CameraCalibration)

    立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置al(ul,vl)、ar(ur,vr)与其世界空间坐标A(X,Y,Z)之间的映射关系的确立,是实现立体视觉三维模型重构中基本且关键的一步。

    8f08916edacd2b358b3150dfe5242631.png

    5.3. 特征提取(FeatureAcquisition)

    特征提取的目的是要获取匹配赖以进行的图像特征,图像特征的性质与图像匹配的方法选择有着密切的联系。目前,还没有建立起一种普遍适用的获取图像特征的理论,因此导致了立体视觉研究领域中匹配特征的多样化。特征可以是像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元,本身反映信号的结构信息,对图像的高频噪声有很好的抑制作用,适于并行处理,能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题,需加入自适应滤波器解决。或者是像素的集合,也可以是它们的抽象表达,如图像结构、图像目标和关系结构等。常用的匹配特征主要有点状特征、线状特征和区域特征等几种情形。

    一般而言,尺度较大的图像特征蕴含较多的图像信息,且特征本身的数目较少,匹配效率高;但特征的提取和描述过程存在较大的困难,定位精度也较差。而对于尺度较小的图像特征来说,对其进行表达和描述相对简单,定位精度较高;但由于其本身数目较多,所包含的图像信息少,在匹配时需要采用较严格的约束条件和匹配策略,以尽可能地减少匹配歧义和提高匹配效率。总的来说,好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。

    5.4. 图像匹配(ImageMatching)

    在立体视觉中(图二、图三),图像匹配是指将三维空间中一点A(X,Y,Z)在左右摄像机的成像面Cl和Cr上的像点al(ul,vl)和ar(ur,vr)对应起来。图像匹配是立体视觉中最重要也是最困难的问题,一直是立体视觉研究的焦点。当空间三维场景经过透视投影(PerspectiveProjection)变换为二维图像时,同一景物在不同视点的摄像机图像平面上的成像会发生不同程度的扭曲和变形,而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然,要对包含了如此之多不利因素的图像进行准确匹配是很不容易的。

    5.5. 三维恢复(3DReconstruction)

    在完成立体视觉系统的摄像机标定和图像匹配工作以后,就可以进行被测对象表面点的三维信息恢复。影响三维测量精度的因素主要有摄像机标定误差、CCD成像设备的数字量化效应、特征提取和匹配定位精度等。

    5.6. 视频分析(运动检测、运动跟踪、规则判断、报警处理)

    通过视差计算,得到全屏幕的视差图像后,采用背景建模的方式,得到运动前景物体的视差图像,再进行膨胀和腐蚀算法进行图像预处理,得到完整的可供分析的前景运动物体视差图。采用运动跟踪算法,全屏实时检测物体的大小、运动轨迹,并与事先设置的规则进行对比,如果有人进入或离开设置报警区域,系统则实时报警。

    5.7. 视差效果图:

    861af1a485cba93ff408992f16de5a32.png

    注:过滤掉距离地面60cm以内,200cm以上的视差值,即检测范围为60-200cm之间。故左边蹲下的人没有视差值。

    e66479f7e9ebd93a4d09f48f19431cb0.gif End e66479f7e9ebd93a4d09f48f19431cb0.gif

    声明:部分内容来源于网络,仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥,请联系删除。

    51c568038ec8893b4398f5bccee76e4b.png

    展开全文
  • 视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中,计算机视觉正成为一种提高生产效率和...

    1. 什么是视觉

    视觉是一个古老的研究课题,同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自视觉系统,用机器模拟人类的视觉功能是人们多年的梦想。视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中,计算机视觉正成为一种提高生产效率和检验产品质量的关键技术之一,如机器零件的自动检测、智能机器人控制、生产线的自动监控等;在国防和航天等领域,计算机视觉也具有较重要的意义,如运动目标的自动跟踪与识别、自主车导航及空间机器人的视觉控制等。

    人类视觉过程可以看作是一个从感觉到知觉的复杂过程,从狭义上来说视觉的最终目的是要对场景作出对观察者有意义的解释和描述;从广义上说,是根据周围的环境和观察者的意愿,在解释和描述的基础上做出行为规划或行为决策。计算机视觉研究的目的使计算机具有通过二维图像信息来认知三维环境信息的能力,这种能力不仅使机器能感知三维环境中物体的几何信息(如形状、位置、姿态运动等),而且能进一步对它们进行描述、存储、识别与理解,计算机视觉己经发展起一套独立的计算理论与算法。

    2. 什么是计算机双目立体视觉

    双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像,如图一。

    图一、视差(Disparity)图像

    双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

    双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则多面体的三维结构,并对物体的形状和空间关系进行描述,把过去的简单二维图像分析推广到了复杂的三维场景,标志着立体视觉技术的诞生。随着研究的深入,研究的范围从边缘、角点等特征的提取,线条、平面、曲面等几何要素的分析,直到对图像明暗、纹理、运动和成像几何等进行分析,并建立起各种数据结构和推理规则。特别是上世纪80年代初,Marr首次将图像处理、心理物理学、神经生理学和临床精神病学的研究成果从信息处理的角度进行概括,创立了视觉计算理论框架。这一基本理论对立体视觉技术的发展产生了极大的推动作用,在这一领域已形成了从图像的获取到最终的三维场景可视表面重构的完整体系,使得立体视觉已成为计算机视觉中一个非常重要的分支。

    经过几十年来的发展,立体视觉在机器人视觉、航空测绘、反求工程、军事运用、医学成像和工业检测等领域中的运用越来越广。

    3. 双目立体视觉系统

    立体视觉系统由左右两部摄像机组成。如图二所示,图中分别以下标l和r标注左、右摄像机的相应参数。世界空间中一点A(X,Y,Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul,vl)和ar(ur,vr)。这两个像点是世界空间中同一个对象点A的像,称为“共轭点”。知道了这两个共轭像点,分别作它们与各自相机的光心Ol和Or的连线,即投影线alOl和arOr,它们的交点即为世界空间中的对象点A(X,Y,Z)。这就是立体视觉的基本原理。

    图二、立体视觉的基本原理

    4. 博安盈双目立体视觉系统:平行光轴的系统结构

    在平行光轴的立体视觉系统中(图三),左右两台摄像机的焦距及其它内部参数均相等,光轴与摄像机的成像平面垂直,两台摄像机的x轴重合,y轴相互平行,因此将左摄像机沿着其x轴方向平移一段距离b(称为基线baseline)后与右摄像机重合。

    由空间点A及左右两摄像机的光心Ol、Or确定的极平面(Epipolar plane)分别与左右成像平面Cl、Cr的交线pl、pr为共轭极线对,它们分别与各自成像平面的坐标轴ul、ur平行且共线。在这种理想的结构形式中,左右摄像机配置的几何关系最为简单,极线已具有很好的性质,为寻找对象点A在左右成像平面上的投影点al和ar之间的匹配关系提供了非常便利的条件。

    图三、平行光轴的立体视觉系统示意图

    5. 双目立体视觉智能视频分析技术

    恢复场景的3D信息是立体视觉研究中最基本的目标,为实现这一目标,一个完整的立体视觉系统通常包含六个模块:图像获取、摄像机标定、特征提取、立体匹配、三维恢复和视频分析(运动检测、运动跟踪、规则判断、报警处理)。

    5.1. 图像获取(Image Acquisition)

    数字图像的获取是立体视觉的信息来源。常用的立体视觉图像一般为双目图像,有的采用多目图像。图像获取的方式有多种,主要由具体运用的场合和目的决定。立体图像的获取不仅要满足应用要求,而且要考虑视点差异、光照条件、摄像机性能和场景特点等方面的影响。

    5.2. 摄像机标定(Camera Calibration)

    立体视觉系统摄像机标定是指对三维场景中对象点在左右摄像机图像平面上的坐标位置al(ul,vl)、ar(ur,vr)与其世界空间坐标A(X,Y,Z)之间的映射关系的确立,是实现立体视觉三维模型重构中基本且关键的一步。

    图四、VA-BSC双目摄像机

    5.3. 特征提取(Feature Acquisition)

    特征提取的目的是要获取匹配赖以进行的图像特征,图像特征的性质与图像匹配的方法选择有着密切的联系。目前,还没有建立起一种普遍适用的获取图像特征的理论,因此导致了立体视觉研究领域中匹配特征的多样化。特征可以是像素相位匹配是近二十年才发展起来的一类匹配算法。相位作为匹配基元,本身反映信号的结构信息,对图像的高频噪声有很好的抑制作用,适于并行处理,能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题,需加入自适应滤波器解决。或者是像素的集合,也可以是它们的抽象表达,如图像结构、图像目标和关系结构等。常用的匹配特征主要有点状特征、线状特征和区域特征等几种情形。

    一般而言,尺度较大的图像特征蕴含较多的图像信息,且特征本身的数目较少,匹配效率高;但特征的提取和描述过程存在较大的困难,定位精度也较差。而对于尺度较小的图像特征来说,对其进行表达和描述相对简单,定位精度较高;但由于其本身数目较多,所包含的图像信息少,在匹配时需要采用较严格的约束条件和匹配策略,以尽可能地减少匹配歧义和提高匹配效率。总的来说,好的匹配特征应该具有要可区分性、不变性、唯一性以及有效解决匹配歧义的能力。

    5.4. 图像匹配(Image Matching)

    在立体视觉中(图二、图三),图像匹配是指将三维空间中一点A(X,Y,Z)在左右摄像机的成像面Cl和Cr上的像点al(ul,vl)和ar(ur,vr)对应起来。图像匹配是立体视觉中最重要也是最困难的问题,一直是立体视觉研究的焦点。当空间三维场景经过透视投影(Perspective Projection)变换为二维图像时,同一景物在不同视点的摄像机图像平面上的成像会发生不同程度的扭曲和变形,而且场景中的光照条件、被测对象的几何形状和表面特性、噪声干扰和畸变、摄像机特性等诸多因素的影响都被集中体现在单一的图像灰度值中。显然,要对包含了如此之多不利因素的图像进行准确匹配是很不容易的。

    5.5. 三维恢复(3D Reconstruction)

    在完成立体视觉系统的摄像机标定和图像匹配工作以后,就可以进行被测对象表面点的三维信息恢复。影响三维测量精度的因素主要有摄像机标定误差、CCD成像设备的数字量化效应、特征提取和匹配定位精度等。

    5.6. 视频分析(运动检测、运动跟踪、规则判断、报警处理)

    通过视差计算,得到全屏幕的视差图像后,采用背景建模的方式,得到运动前景物体的视差图像,再进行膨胀和腐蚀算法进行图像预处理,得到完整的可供分析的前景运动物体视差图。采用运动跟踪算法,全屏实时检测物体的大小、运动轨迹,并与事先设置的规则进行对比,如果有人进入或离开设置报警区域,系统则实时报警。

    5.7. 视差效果图:

    图五、双目视差效果图

    注:过滤掉距离地面60cm以内,200cm以上的视差值,即检测范围为60-200cm之间。故左边蹲下的人没有视差值。

    转自http://www.360doc.com/content/12/0417/12/136912_204350729.shtml

    展开全文
  • 研究了基于双目立体视觉技术的成熟番茄的识别与定位方法,获取了成熟番茄的位置信息,用于指导温室内成熟番茄的自动化采摘作业。该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像...
  • 双目立体视觉是计算机视觉的一个重要分支,即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,通过计算空间点在两幅国像中的视差,获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验...
  • 主动双目立体视觉——Intel Realsense D435 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 ...
  • 视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中,计算机视觉正成为一种提高生产效率和...
  • 视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中,计算机视觉正成为一种提高生产效率和...
  • 双目立体视觉

    千次阅读 2019-07-16 03:22:35
    现说明介绍如何基于HALCON实现双目立体视觉系统,以及立体视觉的基本理论、方法和相关技术,为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并由多幅图像获取物体...
  • 双目立体视觉深度相机的工作流程双目立体视觉深度相机详细工作原理理想双目相机成像模型极线约束图像矫正技术基于滑动窗口的图像匹配基于能量优化的图像匹配双目立体视觉深度相机的优缺点--------------------------...
  • 双目立体视觉技术模拟人类双眼处理景物的方式,运用双目摄像头从不同角度同时获取目标物的左右两幅数字图像,综合应用相机标定、特征点检测、立体匹配、三维重建等关键技术还原出物体的三维几何信息。 以双目立体...
  • 双目立体视觉是计算机视觉的一个重要分支,利用计算机技术模拟人类视觉原理,使用计算机被动感知距离的方法,从两个或者多个点观察同一个物体的场景,获取在不同视角下的图像。 根据图像之间像素的匹配关系,通过...
  • 计算机双目立体视觉

    2018-04-10 10:38:11
    《计算机双目立体视觉》是一本比较全面和系统研究计算机双目立体视觉理论、技术及其应用的学术专著。 《计算机双目立体视觉》在介绍双目视觉基本原理的基础上,阐述了双目立体视觉的实现技术。同时,本书针对传统...
  • 双目立体视觉数学原理

    千次阅读 2019-01-21 11:13:38
    双目立体视觉技术的实现一般可分为:图像获取、摄像机标定、特征提取、图像匹配和三维重建几个步骤。双目立体视觉是基于视差原理,由三角法原理进行三维信息的获取,即由两个摄像机的图像平面和北侧物体之间构成一个...
  • 是一篇关于机器人双目立体视觉测距技术研究与实现,对于做双目立体视觉的同学有帮助,希望对大家有用
  • 1. 什么是视觉视觉是一个生理学词汇。光作用于视觉器官,使其感受细胞兴奋,其信息经视觉神经系统加工后便产生视觉...2. 什么是计算机双目立体视觉双目立体视觉(Binocular StereoVision)是机器视觉的一种重要形...
  • 基于双目立体视觉的取走物检测技术研究
  • 双目立体视觉在网络监控系统中的应用,步繁,范春晓,提出了一种基于双目立体视觉的网络监控系统实现方案。该方案利用双目立体视觉技术得到场景图像的深度信息,利用深度信息可以进行
  • 作者:何文博来源:公众号@3D视觉工坊双目立体视觉一直是机器视觉研究领域的发展热点和难点,“热”是因为双目立体视觉有着及其广阔的应用前景,且随着光学、计算机科学等学科的不断发展,双目立体技术将不断进步...

空空如也

空空如也

1 2 3 4 5 ... 14
收藏数 279
精华内容 111
关键字:

双目立体视觉技术