精华内容
下载资源
问答
  • 双目立体视觉技术.pdf

    2020-05-09 13:53:50
    基于双目立体视觉技术的燃烧诊断方法研究 对于燃烧流场三维信息的获取始终是燃烧诊断学科追求的目标,论文所做的 工作也是出于这个目的。论文将双目立体视觉技术引入燃烧诊断领域,实现了对 非预混冲击火焰表面的三维...
  • 双目立体视觉技术

    2021-09-10 01:01:22
    在某些哺乳动物如牛、马、羊等,它们的两眼长在头的两侧,因此两眼的视野完全不重叠,左眼和右眼各自感受不同侧面的光刺激,这些动物仅有单眼视觉(monocular vision)。人和灵长类动物...

    在某些哺乳动物如牛、马、羊等,它们的两眼长在头的两侧,因此两眼的视野完全不重叠,左眼和右眼各自感受不同侧面的光刺激,这些动物仅有单眼视觉(monocular vision)。人和灵长类动物的双眼都在头部的前方,两眼的鼻侧视野相互重叠,因此凡落在此范围内的任何物体都能同时被两眼所见,两眼同时看某一物体时产生的视觉称为双眼视觉(binocular vision)。双眼视物时,两眼视网膜上各形成一个完整的物像,由于眼外肌的精细协调运动,可使来自物体同一部分的光线成像于两眼视网膜的对称点上,并在主观上产生单一物体的视觉,称为单视。眼外肌瘫痪或眼球内肿瘤压迫等都可使物像落在两眼视网膜的非对称点上,因而在主观上产生有一定程度互相重叠的两个物体的感觉,称为复视(diplopia)。双眼视觉的优点是可以弥补单眼视野中的盲区缺损,扩大视野,并产生立体视觉。

    双眼视物时,主观上可产生被视物体的厚度以及空间的深度或距离等感觉,称为立体视觉(stereopsis)。其主要原因是同一被视物体在两眼视网膜上的像并不完全相同,左眼从左方看到物体的左侧面较多,而右眼则从右方看到物体的右侧面较多。来自两眼的图像信息经过视觉高级中枢处理后,产生一个有立体感的物体的形象。然而,在单眼视物时,有时也能产生一定程度的立体感觉,这主要是通过调节和单眼运动而获得的。另外,这种立体感觉的产生与生活经验、物体表面的阴影等也有关。但是,良好的立体视觉只有在双眼观察时才有可能。

    立体视觉是人眼对看到的景象具有的深度感知能力,而这些感知能力又源自人眼可以提取出景象中的深度要素。

    除了双目视觉可产生立体感外,单眼看空间景物时,也能辨别物体的前后深度,具有一定的立体感。对于三维显示技术,更为全面地了解眼睛的立体视觉因素具有重要的意义。现代心理学公认有十种要素来察觉像的深度,其中涉及生理机能的有四种,涉及心理暗示的有六种。

    (1) 双目视差(binocularparallax)。

    由于人的两只眼睛存在间距(平均值为65mm),因此对于同一景物,左右眼的相对位置(relativeposition) 是不同的,这就产生了双目视差,即左右眼看到的是有差异的图像。

    (2) 眼睛的适应性调节(accommodation)。

    人眼的适应性调节主要是指眼睛的主动调焦行为。眼睛的焦距是可以通过其内部构造中的晶状体进行精细调节的,焦距的变化使我们可以看清楚远近不同的景物和同一景物的不同部位。一般来说,人眼的最小焦距为1.7cm,没有上限。而晶状体的调节又是通过其附属肌肉的收缩和舒张来实现的,肌肉的运动信息反馈给大脑有助于立体感的建立。即使我们用单眼观看物体,这种立体感也是有的,所以可以说是单眼深度暗示。可是这种暗示只在与其他双眼暗示组合在一起,而视距又在2m 之内时才是有效的。

    (3) 单眼移动视差(motion parallax)。

    运动视差是由观察者和景物发生相对运动所产生的,这种运动使景物的尺寸和位置在视网膜的投射发生变化,从而产生深度感。当用一只眼睛看一个固定物体时,则调节就成为对深度感的唯一有效暗示。可是,如果观看位置是允许移动的,我们就可利用双目视差这种效应从各个方向观看物体。这个效应就称为单眼移动视差。特别重要的是,当观看者移动得相当快速时,如坐在飞机上或极快的列车上,更是如此。

    (4) 会聚(convergence)。

    当双眼观看物体上的一点时,两只眼睛的视轴将会聚,两视轴的夹角称为会聚角。对于空间不同物点,视轴将发生变化,为实现这种会聚,人眼肌肉需要牵引眼球转动,肌肉的活动反馈到人脑时就会给出一种深度感觉。实验表明,在适应性调节和会聚之间是存在着相互作用的,一方面对应于一定距离的会聚信息自动地引起一定程度的调节,另一方面调节的信息也影响会聚。这一效应可由简单实验来证明,即我们先遮住一眼,移动另一眼所注视的物体,当物体的距离突然由无限远改变为20cm时,则会聚需要有0.2»0.3s 时间才能对调节所给出的距离信息作出响应。

    深度感的心理学暗示

    (1) 视网膜像的相对大小。同样大小的物体,当观看距离不同时,在视网膜上成像的大小也不相同,距离越远,视网膜像越小,见图1。或者说,视线方向上平行线上对应两点随着视距的增大,在视网膜上所成像点的距离线性减小。由此,可通过比较视网膜像的大小来判断物体的前后关系。

    图1. 线性透视

    (2) 根据视觉这一现象形成了一种绘画方法||线性透视法,透视法是在平面上表现立体感的最有效的方法,在绘画艺术中被广泛采用。但对于传统的中国画,不太遵循透视绘画原理,例如在著名的韩熙载夜宴图中(图2(a)),人物的大小看起来不是很协调,这是一种透视错觉,其原理如图2(b)所示,图中人物的图像尺寸是一样的,但看起来远处大一些。

    图2. 透视错觉

    (3)视野。人眼的视野很宽,水平方向约220±,垂直方向约130±,呈椭圆形。但在通常的显示方式中,图框均在视野之内,因此缺乏立体视觉的身临其境感。为此,增大画框或者使画框不清楚,可以增强立体感。例如,宽银幕电影的立体感就比窄银幕的强,而全景电影由于没有画框,立体感更强。

    图3. 空气透视

    (4)光和阴影。物体上光亮部分和阴影部分的适当分配可以改变或增强立体感,阴影及影子对深度感也是心理学上重要的暗示。

    (5)空气透视。对于同一场景,近处的景物比远处的景物或多或少有些模糊,这样也可以产生深度暗示。景物越远,其发出的光线被空气中的微粒(如尘埃、烟、水汽) 散射越多,因而显得越模糊, 如图3所示。

    (6)重叠。当景物有相互遮挡时,也会产生深度暗示,如图4所示,包含球体、柱体和立方体三个几何体,三个几何体在不同遮挡情况下将产生不同的立体视觉。

    图4. 重叠产生的深度视觉

    深度感的生理机能是三维显示最重要的依据,而心理学暗示所产生的立体感一般用于平面显示技术之中,如绘画和立体画(图5),图中在地上爬的两个人中一个是真实的人,而另一个却是画在地面上的。以心理学暗示或主观经验对图像产生的立体知觉不存在视差,即两只眼睛看到的图像是一样的,当然更不能期望通过移动眼睛或图片去看到物体的不同侧面。

    图5. 立体绘画

    大家都去过电影院看过3D电影吗?在看3D电影的时候你需要领取一副3D眼镜,你就可以发现电影里的画面如同真实般的浮现在你的眼前。

    但你知道3D眼镜为什么能够达到这种效果呢?对了,是因为我们营造了立体视觉,3D眼镜欺骗了我们的大脑,把屏幕上的东西认为是立体的。

    什么是立体视觉呢?简单来说,立体视觉是指通过双眼视觉获得可见对象的深度和距离的过程。

    我们有两个眼睛,眼睛从不同的位置接收物体产生的光线,就形成了视差。双眼视觉形成的视差可以辅助产生精细的深度知觉,进而产生立体视觉。

    我们可以用一个非常简单的实验来验证这种现象。首先,盯着你附近的一个物体,然后用手遮掉一只眼睛,交替遮掉另一只眼睛,你看到的物体的角度是一样吗?

    这样你就可以感受到视差的存在了。

    除了3D眼镜,我们还可以用什么方式营造立体视觉呢?接下来,创客达芬奇用三个方法和若干例子,带你看看营造立体视觉的各种方式。

    方法一:视觉陷阱

    制造视觉陷阱的方法有很多,比如下面这个“跟着你动的眼睛”的制作,就是这么一个案例。

    这是科技学堂网站的课程《小实验大科学:未成年人科普50例》的案例。首先我们要准备一个面具,在面具后方一定的距离准备一张纸条,在纸条上画上两个眼睛,你就可以做一个跟随你的眼睛了。

    另一个制造视觉陷阱的就是浮动方块了。它利用半个立方体欺骗你的大脑,让你误以为是一个浮动的立方体。与之相似的还有盯着你看的小恐龙,同样也是利用半个立方体来欺骗大脑

    视觉陷阱经常被用于艺术创作中,比如街头艺术的立体画,就是用到了视觉陷阱的原理。

    不要以为立体画只有现在才有哦,早在巴洛克时期就有立体画了。比如下面这幅是文艺复兴画家汉斯·荷尔拜因的代表作《大使们》,从画的侧面看,你能发现一个用视觉陷阱画成的骷髅。

    此外还有让画面人物逃出画框的画法,也是用到了视觉陷阱。用立体视觉让人物扑面而出,比如十九世纪卡索的这幅《潜逃》

    用同样的原理,我们还可以在普通的电影画面中加上两条白线,产生一个类似画框的效果,让画面突出画框,形成立体视觉。

    方法二:全息投影

    第二种方法是利用全息投影的方法,利用多光源的干涉和衍射制作出来的立体效果。目前全息投影的技术还没完全成熟,不过我们可以通过制作“伪全息投影”来欺骗眼睛,获得立体视觉。

    这是一个利用四块亚克力板和一个手机投影做成的“伪全息投影”,这种方法常用于商品展示中,你自己也可以做一个,换一个角度看是这样子的。

    方法三:产生视差

    第三种方法,就是让我们的两个眼睛看到不同的画面,让眼睛误以为产生视差,从而达到立体视觉的效果。我们熟悉的3D眼镜、VR眼镜就是利用这种原理。

    3D眼镜分为两种:色差式眼镜和偏振式眼镜。它们都是让左右眼屏蔽一部分光,从而欺骗眼睛看到两种不同的图像,进而产生视差。

    它们的屏蔽方式不一样,色差式是利用不同的镜片颜色来屏蔽光线;偏振式是利用两个互相垂直的偏振片来屏蔽某个方向的光。

    下次去看3D电影的时候,看看你拿到的是色差式还是偏振式的眼镜。

    而VR眼镜用的也是类似的原理,只不过它直接分别在两只眼睛前面显示不同的画面,从而产生视差,欺骗了你的眼睛。

    你甚至可以在网上下载图纸,自己动手制作一个VR眼镜。

    总结一下,我们现在认识了三种制造立体视觉的方法,分别是视觉陷阱、全息投影和产生视差。

    双目立体视觉这一有着广阔应用前景的学科,随着光学,电子学以及计算机技术的发展,将不断进步,逐渐实用化,不仅将成为工业检测,生物医学,虚拟现实等领域。目前在国外,双目立体视觉技术已广泛应用于生产,生活中,而我国正处于初始阶段,尚需要广大科技工作者共同努力,为其发展做出贡献。

    立体视觉的发展方向

    就双目立体视觉技术的发展现状而言,要构造出类似于人眼的通用双目立体视觉系统,还有很长的路要走,进一步的研究方向可归纳如下:

    (1)如何建立更有效的双目立体视觉模型,能更充分地反映立体视觉不去确定性的本质属性,为匹配提供更多的约束信息,降低立体匹配的难度。

    (2)探索新的适用于全面立体视觉的计算理论和匹配策略,选择有效的匹配准则和算法结构,以解决存在灰度失真,几何畸变(透视,旋转,缩放等),噪声干扰,特殊结构(平坦区域,重复相似结构等),及遮掩景物的匹配问题;

    (3)算法向并行化发展,提高速度,减少运算量,增强系统的实用性;

    (4)强调场景与任务的约束,针对不同的应用目的,建立有目的的面向任务的双目立体视觉系统。

    在机器视觉赖以普及发展的诸多因素中,有技术层面的,也有商业层面的,但制造业的需求是决定性的。制造业的发展,带来了对机器视觉需求的提升;也决定了机器视觉将由过去单纯的采集、分析、传递数据,判断动作,逐渐朝着开放性的方向发展,这一趋势也预示着机器视觉将与自动化更进一步的融合。需求决定产品,只有满足需求的产品才有生存的空间,这是不变的规律,机器视觉也是如此。

    来源:新机器视觉、3D产业联盟

    欢迎加入Imagination GPU与人工智能交流群

    群已满200人,入群请加小编拉进群,

    小编微信号:eetrend89(添加请备注公司名和职称)

    推荐阅读

    Imagination开发者系列在线课程第四期:图形开发的黄金法则

    END

    Imagination Technologies是一家总部位于英国的公司,致力于研发芯片和软件知识产权(IP),基于Imagination IP的产品已在全球数十亿人的电话、汽车、家庭和工作场所中使用。获取更多物联网、智能穿戴、通信、汽车电子、图形图像开发等前沿技术信息,欢迎关注 Imagination Tech !

    长按识别二维码


    关注我们

    展开全文
  • 双目立体视觉技术简介1. 什么是视觉2. 什么是计算机双目立体视觉3. 双目立体视觉系统4. 博安盈双目立体视觉系统:平行光轴的系统结构5. 双目立体视觉智能视频分析技术
  • 双目立体视觉技术的内容

    千次阅读 2018-12-24 20:07:14
    双目立体视觉技术(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。...

              双目立体视觉技术(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。(双目视觉是模拟人类视觉原理,使用计算机被动感知距离的方法。从两个或者多个点观察一个物体,获取在不同视角下的图像,根据图像之间像素的匹配关系,通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。得到了物体的景深信息,就可以计算出物体与相机之间的实际距离,物体3维大小,两点之间实际距离。)

               双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像。

               双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点,非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中,由于图像获取是在瞬间完成的,因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

    一、图像获取

    双目立体视觉的图像获取是由不同位置的两台(CCD)摄像机经过移动或旋转拍摄同一幅场景,获取立体图像对。假定摄像机C1与C2的角距和内部参数都相等,两摄像机的光轴互相平行,二维成像平面X1O1Y1和X2O2Y2重合,P1与P2分别是空间点P在C1与C2上的成像点。

    一般情况下,针孔模型两个摄像机的内部参数不可能完成相同,摄像机安装时无法看到光轴和成像平面,故实际中难以应用。在满足测量范围的前提下,应选择两CCD之间夹角在50℃~80℃之间。

    二、相机标定 

              在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。

            相机标定方法有:传统相机标定法、主动视觉相机标定方法、相机自标定法。

             相机标定是实现立体视觉基本而又关键的一步,通常采用单摄像机的标定方法,分别得到两个摄像机的内、外参数。再通过同一世界坐标中的一组定标点来建立两个摄像机之间的位置关系。

    目前常用的单摄像机标定方法:

    1)摄影测量学的传统设备标定法。利用至少17个参数描述,计算量大。

    2)直接线性变换性。涉及的参数少、便于计算。

    3)透视变换短阵法。从透视变换的角度来建立摄像机的成像模型,无需初始值,可进行实时计算。

    4)相机标定的两步法。首先采用透视矩阵变换的方法进行求解线性系统的摄像机参数,再以求得的参数为初始值,考虑畸变因素,利用最优化方法求得非线性解,标定精度较高。

    5)双平面标定法。

    在双摄像机标定中,需要精确的外部参数。需要至少6个以上已知世界坐标点,才能得到比较满意的参数矩阵。实际测量过程不但复杂,而且效果并不一定理想,此外还需考虑镜头的非线性校正、测量范围和精度的问题。

     三、特征点提取

           特征提取是计算机视觉图像处理中的一个概念。它指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。在进行特征点像的坐标提取前,需对获取的图像进行预处理。通过此处理可显著改进图像质量,使图像中特征点更加突出。立体像对中需要提取的特征点应满足与传感器类型及抽取特征所用技术等相适应,具有足够的鲁棒性和一致性。

     特征类型主要有:

    ①边缘:边缘是组成两个图像区域之间边界(或边缘)的像素。一般一个边缘的形状可以是任意的,还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。局部的看边缘是一维结构。

    ②角:是图像中点似的特征,在局部它有两维结构。早期的算法首先进行边缘检测,然后分析边缘的走向来寻找边缘突然转向(角)。后来发展的算法不再需要边缘检测这个步骤,而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。

    ③与角不同的是区域描写一个图像中的一个区域性的结构,但是区域也可能仅由一个像素组成,因此许多区域检测也可以用来检测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。

    区域检测可以被想象为把一张图像缩小,然后在缩小的图像上进行角检测。

    ④脊:长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线,此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路,在医学图像中它被用来分辨血管。

     四、立体匹配

    立体匹配是双目立体视觉中最困难的一步,根据匹配基元的不同,立体匹配可分为区域匹配、特征匹配和相位匹配三大类。

    区域匹配算法的实质是利用局部窗口之间灰度信息的相关程度,它在变化平缓且细节丰富的地方可以达到较高的精度。但该算法的匹配窗大小难以选择,其次是数据计算量大、速度慢,采取由粗至精分级匹配策略能大大减少搜索空间的大小,与匹配窗大小无关的互相关运算能显著提高运算速度。

    特征匹配不直接依赖于灰度,具有较强的抗干扰性,计算量小,速度快。但存一些不足:特征在图像中的稀疏性决定特征匹配只能得到稀疏的视差场。特征的定位过程直接影响匹配结果的精确度。

    相位作为匹配基元,本身反映信号的结构信息,对图像的高频噪声有很好的抑制作用,适于并行处理,能获得亚像素级精度的致密视差。但存在相位奇点和相位卷绕的问题,需加入自适应滤波器解决。

     五、三维重建

    在得到空间任一点在两个图像中的对应坐标和两摄像机参数矩阵的条件下,即可进行空间点的重建。通过建立以该点的世界坐标为未知数的四个线性方程,可以用最小二乘法求解得该点的世界坐标,实际重建通常采用外极线结束法计算。

    展开全文
  • 双目立体视觉是计算机视觉的一个重要分支,即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,通过计算空间点在两幅国像中的视差,获得该点的三维坐标值。80年代美国麻省理工学院人工智能实验...
  • 双目立体视觉技术模拟人类双眼处理景物的方式,运用双目摄像头从不同角度同时获取目标物的左右两幅数字图像,综合应用相机标定、特征点检测、立体匹配、三维重建等关键技术还原出物体的三维几何信息。 以双目立体...
  • 基于双目立体视觉技术的玉米叶片三维重建,基于双目立体视觉技术的玉米叶片三维重建
  • 研究了基于双目立体视觉技术的成熟番茄的识别与定位方法,获取了成熟番茄的位置信息,用于指导温室内成熟番茄的自动化采摘作业。该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像...
  • 双目立体视觉

    千次阅读 2019-07-16 03:22:35
    现说明介绍如何基于HALCON实现双目立体视觉系统,以及立体视觉的基本理论、方法和相关技术,为搭建双目立体视觉系统和提高算法效率。 双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并由多幅图像获取物体...

    双目立体视觉的研究一直是机器视觉中的热点和难点。使用双目立体视觉系统可以确定任意物体的三维轮廓,并且可以得到轮廓上任意点的三维坐标。因此双目立体视觉系统可以应用在多个领域。现说明介绍如何基于HALCON实现双目立体视觉系统,以及立体视觉的基本理论、方法和相关技术,为搭建双目立体视觉系统和提高算法效率。 
      双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像,或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像,并基于视差原理恢复出物体的三维几何信息,重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。 
      HALCON是在世界范围内广泛使用的机器视觉软件。它拥有满足您各类机器视觉应用需求的完善的开发库。HALCON也包含Blob分析、形态学、模式识别、测量、三维摄像机定标、双目立体视觉等杰出的高级算法。HALCON支持Linux和Windows,并且可以通过C、C++、C#、Visual Basic和Delphi语言访问。另外HALCON与硬件无关,支持大多数图像采集卡及带有DirectShow和IEEE 1394驱动的采集设备,用户可以利用其开放式结构快速开发图像处理和机器视觉应用软件。 
    一.双目立体视觉相关基本理论说明 
      1.1 双目立体视觉原理 
      双目立体视觉三维测量是基于视差原理,图1所示为简单的平视双目立体成像原理图,两摄像机的投影中心的连线的距离,即基线距为b。摄像机坐标系的原点在摄像机镜头的光心处,坐标系如图1所示。事实上摄像机的成像平面在镜头的光心后,图1中将左右成像平面绘制在镜头的光心前f处,这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像机坐标系的x轴和y轴方向一致,这样可以简化计算过程。左右图像坐标系的原点在摄像机光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像机的图像在同一个平面上,则点P图像坐标的Y坐标相同,即v1=v2。由三角几何关系得到: 
    8_clip_image001.jpg
      上式中(xc,yc,zc)为点P在左摄像机坐标系中的坐标,b为基线距,f为两个摄像机的焦距,(u1,v1)和(u2,v2)分别为点P在左图像和右图像中的坐标。 
      视差定义为某一点在两幅图像中相应点的位置差: 
    8_clip_image002.jpg

    8_clip_image003.jpg  8_clip_image006.jpg

    图1 双目立体成像原理图           图3 一般双目立体视觉系统原理图

    由此可计算出空间中某点P在左摄像机坐标系中的坐标为: 
    8_clip_image004.jpg
      因此,只要能够找到空间中某点在左右两个摄像机像面上的相应点,并且通过摄像机标定获得摄像机的内外参数,就可以确定这个点的三维坐标。 
      1.2 双目立体视觉的系统结构以及精度分析 
      由上述双目视觉系统的基本原理可知,为了获得三维空间中某点的三维坐标,需要在左右两个摄像机像面上都存在该点的相应点。立体视觉系统的一般结构为交叉摆放的两个摄像机从不同角度观测同一被测物体。图3为原理图。这样通过求得两个图像中相应点的图像坐标,便可以由双目立体视觉测量原理求取三维空间坐标。事实上,获取两幅图像也可以由一个摄像机实现,如一个摄像机通过给定方式的运动,在不同位置观测同一个静止的物体,或者通过光学成像方式将两幅图像投影到一个摄像机,都可以满足要求。 
      各种双目视觉系统结构各有优缺点,这些结构适用于不同的应用场合。对要求大测量范围和较高测量精度的场合,采用基于双摄像机的双目立体视觉系统比较合适;对测量范围要求比较小,对视觉系统体积和质量要求严格,需要高速度实时测量对象,基于光学成像的单摄像机双目立体视觉系统便成为最佳选择。 
      基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上,在进行双目视觉系统标定以及应用该系统进行测量时,要确保摄像机的内参(比如焦距)和两个摄像机相对位置关系不能够发生变化,如果任何一项发生变化,则需要重新对双目立体视觉系统进行标定。 
      视觉系统的安装方法影响测量结果的精度。测量的精度可由下式得出: 
    8_clip_image005.jpg
      上式中⊿z表示测量得出的被测点与立体视觉系统之间距离的精度,z指被测点与立体视觉系统的绝对距离,f指摄像机的焦距,b表示双目立体视觉系统的基线距,⊿d表示被测点视差精度。 
      为了得到更高的精度,应该使摄像机的焦距以及基线长度增大,同时应该使被测物体尽可能的靠近立体视觉系统。另外这个精度和视差的精度有直接的关系。在HALCON中一般情况下视差结果可以精确到1/5~1/10个像素,如果一个像素代表7.4μm那么视差的精度可以达到1μm。图4表示深度测量的精度和各个参数之间的关系(假设视差精度为1μm)。 
      如果b和z之间的比值过大,立体图像对之间的交迭区域将非常小,这样就不能够得到足够的物体表面信息。b/z可以取的最大值取决于物体的表面特征。一般情况下,如果物体高度变化不明显,b/z可以取的大一些;如果物体表面高度变化明显,则b/z的值要小一些。无论在任何情况下,要确保立体图像对之间的交迭区域足够大并且两个摄像机应该大约对齐,也就是说每个摄像机绕光轴旋转的角度不能太大。

    8_clip_image008.jpg   8_clip_image012.jpg

    图4 深度测量精度与各个参数之间的关系      图5 校正后的双目立体视觉系统
    1.3 双目立体视觉系统标定 

      摄像机内参数的标定和单目视觉系统标定一致,双目立体视觉系统的标定主要是指摄像机的内部参数标定后确定视觉系统的结构参数R和T(即两个摄像机之间的位置关系,R和T分别为旋转矩阵和平移向量)。一般方法是采用标准的2D或3D精密靶标,通过摄像机图像坐标与三维世界坐标的对应关系求得这些参数。具体的标定过程如下: 

      1、将标定板放置在一个适当的位置,使它能够在两个摄像机中均可以完全成像。通过标定确定两个摄像机的内部参数以及他们的外部参数(R1、T1与R2、T2),则R1、T1表示左摄像机与世界坐标系的相对位置,R2、T2表示右摄像机与世界坐标系的相对位置。 
      2、假定空间中任意一点在世界坐标系、左摄像机坐标系和右摄像机坐标系下的非齐次坐标分别为xw、x1、x2,则: 
    8_clip_image009.jpg消去xw,得到: 8_clip_image010.jpg两个摄像机之间的位置关系R、T可以用以下关系式表示: 
    8_clip_image011.jpg

      1.4 双目立体视觉中的对应点匹配 

      由双目立体视觉系统原理可以看出双目立体视觉是建立在对应点的视差基础之上,因此左右图像中各点的匹配关系成为双目立体视觉技术的一个极其重要的问题。然而,对于实际的立体图像对,求解对应问题极富挑战性,可以说是双目立体视觉中最困难的一步。为了能够增加匹配结果的准确性以及匹配算法的速度,在匹配过程中通常会加入下列几种约束: 
      (1) 极线约束。在此约束下,匹配点已经位于两副图像中相应的极线上。 
      (2) 唯一性约束。两副图像中的对应的匹配点应该有且仅有一个。 
      (3) 视差连续性约束。除了遮挡区域和视差不连续区域外,视差的变化都是平滑的。 
      (4) 顺序一致性约束。位于一副图像极线上的系列点,在另一幅图像中极线上有相同的顺序。 图像匹配的方法有基于图像灰度(区域)的匹配、基于图像特征的匹配和基于解释的匹配或者多种方法结合的匹配。

    二.使用
    HALCON进行双目立体视觉测量 
      本节以电路板高度测量为例,讲述在HALCON中如何方便快捷地实现高效双目立体视觉测量(图像为640*480)。 
      2.1 双目立体视觉系统安装 
      根据1.2节中对双目立体视觉系统结构分析以及精度的分析,在确保两个立体图像对有足够大的交迭区域的同时,根据待测物体表面形态以及精度要求设计合理的双目立体视觉系统安装方案(图2)。然后将双目立体视觉系统安装在一个稳定的平台上,确保开始标定后,摄像机的焦距以及摄像机的相对关系都不发生变化。 

      2.2 双目立体视觉系统标定 
      为了进行视觉系统的标定,需要得到空间点的三维坐标以及该点在左右两幅图像中坐标的对应关系,另外还需要给定两个摄像机的初始参数。拍摄标定板图像时,要保证标定板在左右两个摄像机中都能够完整成像。 

      如果使用HALCON标准标定板,首先可以通过函数find_caltab()在标定板图像中分离出标定板区域,然后利用find_marks_and_pose()算子,该算子通过亚象素阈值、亚象素边缘提取、圆心确定等一系列操作计算标定板上每个点的图像坐标以及标定板与摄像机之间大约的位置关系,即摄像机的外参初始值。其中使用find_caltab()分离标定板区域运算时间大约为5ms,find_marks_and_pose()计算标定板上49个标志点的坐标大约需要时间为40ms,计算坐标精度为亚象素级,如某标志点在左摄像机图像坐标系中坐标为(198.612619165, 344.142354438),右摄像机图像坐标系中相应点坐标为(212.140195587, 226.377754012)。 如果使用自定义的标定板,可以使用HALCON中的图像滤波、亚象素边缘及线提取、亚象素轮廓处理等基本函数开发算法求取标志点的坐标并估算摄像机的外参初始值。 

      获得标志点相应的坐标以及摄像机的起始参数后,通过调用函数binocular_calibration()来确定两个摄像机的内参数、外参数以及两个摄像机之间的相对位置关系。通过539个标志点坐标的对应关系计算出摄像机各个参数需要的时间为1.6094s,计算误差约为0.02个象素。 

      2.3 校正立体图像对 
      为了能够更精确地进行匹配,提高运算的效率,在获得摄像机的内外参数后首先对立体图像对进行校正。校正的过程其实就是将图像投影到一个公共的图像平面上,这个公共的图像平面方向由双目立体视觉系统基线与原始两个图像平面交线的叉集确定。 

      校正后的图像可以看作是一个虚拟的立体视觉系统(图5)采集的图像对。这个视觉系统中摄像机的光心与实际摄像机一致,只是通过绕光心的旋转使光轴平行,并且视觉系统中两个摄像机的焦距相同。这个虚拟的立体视觉系统就是双目立体视觉原理中提到的最简单的平视双目视觉模型。 

      HALCON中将标定过程中获得的摄像机的内参以及两个摄像机相对位置关系作为参数传递给函数gen_binocular_rectification_map(),再将获得的两个图像的映射图传递给函数map_ image(),即可得到校正后的两幅图像,并可获得校正后虚拟立体视觉系统中两个摄像机的内参和外参。其中函数gen_binocular_rectification_map()耗时约为0.3488s,map_image()耗时约为0.0050s。

      2.4 获得图像中三维信息 
      为了得到图像中某点的三维信息,需要在另一幅图像中找到该点的对应点坐标。因此想获得物体的深度信息,首先需要对校正后的立体图像对进行匹配。由于经过校正后,两幅图像中的对应点在图像的同一行中,因此在匹配时只需要在相应的行中寻找匹配点。为了得到更佳的匹配结果,如果被测物体表面没有明显的特征信息,则需要测量时在物体表面增加特征点。另外要避免被测物体上重复图案在同一行中。 

      将校正后的图像以及虚拟立体视觉系统中的摄像机内外参数传递给binocular_disparity(), 这时可以设置匹配窗大小、相似度计算方式等参数,在匹配中使用图像金字塔提高匹配速度,并且可以自我检测匹配结果的正确性。函数返回一个视差图 (物体表面三维信息的表示)和一个匹配分值图(表示匹配结果的准确程度),函数的运行时间约为0.6051s。 

      函数binocular_distance()与binocular_disparity()类似,只不过返回一个深度图(物体表面在第一个摄像机坐标系中的深度信息)和一个匹配分值图。图6~图9显示了HALCON中利用双目立体视觉测量电路板三维信息的过程。

      HALCON中另外还有很多关于立体视觉的函数,可以获得图像中某点的三维坐标,另外可以校正倾斜对高度测量的影响等。 
    三. 系统总结说明 
      以视觉系统为基础的三维外形轮廓的非接触式、高速测量是一个重要的研究方向,双目立体视觉方法是其中一种最常用的方法。本文介绍了双目立体视觉的基本原理,实现方法以及标定和匹配等相关技术,并通过一个典型应用案例讲述了如何使用HALCON方便快速地搭建高效的双目立体视觉系统。双目立体视觉系统的应用领域非常广泛,为了能够将这些技术应用在实际的工程中,需要尽可能提高算法的效率与精度。在HALCON中通过校正立体视觉系统的方法,简化了匹配的复杂度,通过使用图像金字塔以及各种约束提高了算法速度和精度。在已知摄像机内外参的情况下,由两个立体图像对中恢复三维模型需要约1.3s。 

      另外,HALCON中不仅有匹配、识别、定位、测量和三维等性能杰出的高级算法,还提供了一系列(的)高效的图像处理基本函数,如滤波、亚象素边缘、亚象素轮廓、Blob、分割、形态学、分类器、几何变换,用户可以通过这些基本函数来搭建各种应用中高效实用的算法。

    trackback: http://hi.baidu.com/vandyliu/blog/item/926a85cd6d501d1800e9282e.html

    转载于:https://www.cnblogs.com/JohnShao/archive/2011/05/21/2052729.html

    展开全文
  • 主动双目立体视觉——Intel Realsense D435 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 ...

    主动双目立体视觉——Intel Realsense D435

    http://m.elecfans.com/article/718489.html

    展开全文
  • 双目立体视觉技术是计算机视觉中的非常重要的技术研究领域,并已经在诸多的实际应用领域得到了推广。本文详细介绍了双目立体视觉技术的理论基础,并结合实际应用,重点研究了边缘特征提取和立体匹配方法。
  • 机器人双目立体视觉技术研究.nh知网文献
  • 双目立体视觉数学原理

    千次阅读 2019-01-21 11:13:38
    双目立体视觉技术的实现一般可分为:图像获取、摄像机标定、特征提取、图像匹配和三维重建几个步骤。双目立体视觉是基于视差原理,由三角法原理进行三维信息的获取,即由两个摄像机的图像平面和北侧物体之间构成一个...
  • 基于人眼视差的原理,采用两台性能相同的相机从不同角度对同一物体进行拍摄,然后再根据获取的不同图像的视差计算出物体的实际距离,从而实现了双目立体视觉测距。本文对双目视觉测距系统的各个步骤作了详细介绍,并...
  • 阐述了双目立体视觉技术在国内外应用的最新动态,指出双目体视技术的实现分为图像获取、 摄像机标定、 特征提取、 立体匹配和三维重建几个步骤。
  • 在计算机视觉系统中,双目立体视觉测量一般由双摄像机从不同的角度同时获取周围景物的两幅图像,或有单摄像机在不同时刻从不同角度获取周围景物的两幅数字图像,并基于视差原理即可恢复出物体的三维几何模型,重建...
  • 基于双目立体视觉原理和各坐标系关系,推导了接触线的磨耗表达式。系统采用递归逼近高斯滤波方法对采集到的图像进行滤波再进行边缘点提取,然后转化为磨耗长度并实时显示,并利用坐标变换对振动状态下测量的磨耗进行...
  • 对于基于块进行立体匹配的深度学习方法而言,网络结构的设计对匹配代价的计算至关重要,同时,卷积神经网络(CNN)在图像处理时的耗时问题也亟待解决。提出一种基于“缩小型”网络的CNN立体匹配方法。利用CNN训练...
  • 技术流派】教你提高双目立体视觉系统的精度!

    万次阅读 多人点赞 2020-07-04 17:09:03
    双目立体视觉系统,不谈精度几许,未免显得业余!
  • 双目立体视觉概述

    千次阅读 2020-02-12 18:25:46
    双目立体视觉深度相机的工作流程 双目立体视觉深度相机详细工作原理 理想双目相机成像模型 极线约束 图像矫正技术 基于滑动窗口的图像匹配 基于能量优化的图像匹配 双目立体视觉深度相机的优缺点 ----------...
  • 视觉神经生理学,视觉心里学,特别是计算机技术、数字图像处理、计算机图形学、人工智能等学科的发展,为利用计算机实现模拟人类的视觉成为可能。在现代工业自动化生产过程中,计算机视觉正成为一种提高生产效率和...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达双目立体视觉一直是机器视觉研究领域的发展热点和难点,“热”是因为双目立体视觉有着及其广阔的应用前景,且随着光学、计算机科学等学科的不...
  • 针对双目立体视觉的工业检测精度和实时性要求,采用LENZ畸变模型建立基于面阵CCD的双目成像几何模型,分析了成像模型的内外参数及针孔模型的局限性,提出改进的双目立体视觉系统摄像机两步标定方法。利用HALCON标定...
  • 双目立体视觉类不错的一篇文章,作者总结如下: (1)对摄像机标定方法进行了深入的研究,总结了各种摄像机标定方法的特点,重点研究了Zhang平面标定法,并提出了对Zhang平面标定法的改进方法,通过实验证明,改进后的...
  • 上一篇只是对于双目立体视觉做了一个简单的介绍,这里就我在做这个的时候碰到的一些问题做一个梳理。1.首先要纠正一下之前一个错误:cvRemap函数只接受灰度图。其实这个函数要求src与dst大小格式通道必须一致就行,...
  • 是一篇关于机器人双目立体视觉测距技术研究与实现,对于做双目立体视觉的同学有帮助,希望对大家有用
  • 双目立体视觉的目标是利用三角测量原理从双目成像模型中恢复所拍摄景物的深度信息或者在空间中的三维坐标信息,即从二维成像影像中恢复三维信息。   在上世纪80年代Marr和Paggio首次提出双目立体视觉的计算理论。...
  • 基于HALCON的双目立体视觉系统实现

    千次阅读 2017-11-30 16:29:00
    双目立体视觉是机器视觉的一种重要形式,它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像,或由单摄像机在不同时刻从不同角度获得...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,461
精华内容 1,384
关键字:

双目立体视觉技术