双目视觉测距系统软硬件设计
 
1、 简介
 
随着计算机技术和光电技术的发展，机器视觉技术应运而生。在图像处理技术领域中，有一种采用 CCD摄像机作为图像传感器采集数据的非接触式测量方法，这种方法具有精度高、速度快、成本低等诸多优点，在三维测量方面具有广泛的应用前景。双目测距技术运用两个摄像头对同一场景进行拍摄，从而产生图像视差，然后通过该视差建立物体距离测量模型，从而实现景物距离的实时计算。
 
2、机器视觉应用与测量方法
 
随着计算机信号处理技术的不断发展，利用摄像机获取环境图像信息，从而实现对视觉信息的信息化处理成为了可能。计算机视觉观测技术能够使计算机具备环境信息认知的能力，从而完成人眼所不能胜任的工作，大大扩展了视觉信息处理的广度和深度。以计算机视觉理论基础，重点研究如何感知环境中物体的形状、位置、姿态、运动要素即为机器视觉。机器视觉的应用领域非常广泛，主要涉及工业自动化生产线应用、各类检验和监视应用、视觉导航应用、图像自动解释应用、人机交互应用、虚拟现实应用等多个领域和场合，并取得了很多实用的成果。在数字图像处理和计算机视觉理论研究的基础上，三维曲面非接触式测量技术获得了长足发展，并由此研究出了与众多领域相适应的测量方法，主要包括：
 1）激光干涉测量法。该方法是基于光波叠加原理，利用光的干涉原理对物理进行测量，在干涉场中产生亮暗交替的干涉条纹，通过分析处理干涉条纹来获取被测物体相关信息。
 2）激光扫描法。该方法是基于光学三角形，从激光光源向实物表面投射一亮点或直线条纹，从 CCD 相机中获得光束影像，根据光学三角关系计算反射点三维坐标来进行测量。
 3）双目立体视觉测量。该方法是基于视差原理，由多幅图像获取物体三维几何信息，然后通过视差原理恢复出物体三维几何信息，从而重建周围景物的三维形状与位置信息。
 4）结构光三维视觉测量。基于光学三角法测量原理，利用光源和成像系统之间的三角几何信息进行三维形面测量。
 
3 、基于轴线平行结构的双目视觉测距原理
 
双目立体视觉测量方法是研究如何利用二维投影图像重构三维景物世界，运用两台不同位置的摄像机（CCD）拍摄同一场景，计算空间点在图像中的视差，从而获取该点三维空间坐标。双目立体视觉是基于视差原理，由三角法原理进行三维信息的获取，即由两个摄像机的图像平面和北侧物体之间构成一个三角形，两个摄像机之间的位置关系，便可以获得两摄像机公共视场内物体的三维尺寸及空间物体特征点的三维坐标。图 1为简单的平视双目立体成像原理图，两台摄像机的投影中心连线的距离，即基线距离B。两台摄像机在同一时刻聚焦到时空物体的同一特征点P，分别在“左眼”和“右眼”上获取了点P的图像，他们在左右图像上的成像点分别是 pl 和 pr ，将两台摄像机的图像放在同一平面上，则特征点P的图像坐标的“Y”坐标一定是相同的。由三角几何关系可以得如下关系式：
 
 设视差为 D = Xl - Xr 。由此可计算出特征点P在摄像机坐标系下的三维坐标为：
 
 因此，通过计算被测目标在“左眼”、“右眼”中的像素视差值，然后由标定参数即可计算出该点的三维坐标。这种方法是点对点的运算，平面上所有点只要存储在相应的匹配点，就可以通过计算从而获取对应的三维坐标。
 
 
4、基于轴线汇聚结构的双目视觉测距原理
 
虽然轴线平行结构的双目视觉测距系统原理简单，计算方便，但该结构是理想的结构形式，实际应用中容易受到摄像机性能差异、安装工艺等各种因素的影响。通常情况下，双目视觉测距系统倾向于采用轴线汇聚结构。空间参考点 P 在已标定摄像机 Cl 和 Cr 上的像点分别为 pl 和 pr ，如图2所示。
 
 其投影矩阵分别为 M1 和 M2 ，由矩阵变换关系可得：（下面图片3、4）
 
 式中，(ulvl1) 为 pl 在图像坐标系下的齐次坐标；(urvr1)T 为 pr 在 图 像 坐 标 系 中 的 齐 次 坐 标 ；(xcyczc1)T 为点 P 在世界坐标系下的齐次坐标。矩阵令M1、M2的表达形式为
 
 将 M1、M2的表达形式代入式（3）、（4），采用最小二乘解算法得到空间坐标为
 
 式中，
 
 
可得目标距离：
 
 
5 、系统软硬件架构
 
在充分理解双目系统测距原理的基础来，设计系统软硬件架构。
 
5.1 、硬件架构
 
双目测距系统硬件由 CCD 摄像机、图像采集卡、计算机系统以及显示设备构成。CCD 摄像机的功能是获取目标图像信息；图像采集设备的功能是将图像信息转化为计算机数字信息；计算机系统的功能是处理图像数据，实现2D图像坐标到3D空间位置的恢复，最后输出和显示测量结果。系统硬件构成如图3所示。
 
 
5.2 软件架构
 
测量系统软件结构方案采用模块化，各软件功能模块及其相互关系如图4所示，软件架构主要由摄像机标定模块、图像采集与信息处理模块、数字图像特征检测与特征提取模块、数字图像特征立体匹配模块、目标距离测量模块以及数据输出模块等构成。
 摄像机标定模块负责系统标定以及坐标系转换；图像采集与信息处理模块负责实现图像采集初始化，并对图像信息进行数字化转换；数字图像特征检测与特征提取模块负责对图像特征进行精细检测与精确提取；数字图像特征立体匹配模块功能为实现数字特征立体匹配算法；目标距离测量模块功能为：在精确检测与提取特征信息的基础上，解算三维坐标，实现距离在线解算，并通过数据输出模块输出相应息。
 
 双目视觉测距系统开启工作时，首先通过镜头将被测量物体的光学图像成像在 CCD图像传感器上；然后图像传感器将光信号转换为模拟电信号，并经数模转换器将模拟信号转换为数字信号；然后经过图像处理器对数字信息进行处理，并存储在存储器中；最后，通过数字接口或视频接口输入。
 
关注苏州程序大白，持续更新技术分享。谢谢大家支持

这是一篇好文章， 深入浅出，帮助我们更好地了解了双目相机的工作原理。
 1.从相似三角形原理可知，我们仅仅需要分析出左眼图片和右眼图片中，相同物体的两个不同坐标，就可以算出深度值。
 2. 计算 两个图片之间的距离，我们使用优化过的暴力比对法（ 只用在一根线上面查找，而不是查找整个图片）
 3. 如果两个相机不平行， 对于左右眼的图片，我们要进行图片变换，变换成水平位置上的图片。 再进行第二步。
 4. 我们比较的时候，不会拿着左边图片上面的一个像素去和右边比较，我们比较的是一个窗口。 通过计算 差值平方均值。算出最小的那个，记为相同点。
 5. 窗口太大，鲁棒性好，但是深度信息不细致。窗口太小，受噪音影响问题大， 误差太大。
 6. 为了克服第五步，我们使用能量优化的图像比对方法。
 
深度相机原理揭秘–双目立体视觉
 
本文属于转载，见下。
 
博文来源：http://www.sohu.com/a/203027140_100007727
 
基于双目立体视觉的深度相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度，因此有时候也被称为被动双目深度相机。比较知名的产品有STEROLABS 推出的 ZED 2K Stereo Camera和Point Grey 公司推出的 BumbleBee。
 
 
ZED 2K Stereo Camera
 
为什么非得用双目相机才能得到深度？
 
说到这里，有些读者会问啦：为什么非得用双目相机才能得到深度？我闭上一只眼只用一只眼来观察，也能知道哪个物体离我近哪个离我远啊！是不是说明单目相机也可以获得深度？
 
在此解答一下：首先，确实人通过一只眼也可以获得一定的深度信息，不过这背后其实有一些容易忽略的因素在起作用：一是因为人本身对所处的世界是非常了解的（先验知识），因而对日常物品的大小是有一个基本预判的（从小到大多年的视觉训练），根据近大远小的常识确实可以推断出图像中什么离我们远什么离我们近；二是人在单眼观察物体的时候其实人眼是晃动的，相当于一个移动的单目相机，这类似于运动恢复结构（Structure from Motion, SfM）的原理，移动的单目相机通过比较多帧差异确实可以得到深度信息。
 
但是实际上，相机毕竟不是人眼，它只会傻傻的按照人的操作拍照，不会学习和思考。下图从物理原理上展示了为什么单目相机不能测量深度值而双目可以的原因。我们看到红色线条上三个不同远近的黑色的点在下方相机上投影在同一个位置，因此单目相机无法分辨成的像到底是远的那个点还是近的那个点，但是它们在上方相机的投影却位于三个不同位置，因此通过两个相机的观察可以确定到底是哪一个点。
 
双目相机确定深度示意图
 
双目立体视觉深度相机简化流程
 
下面简单的总结一下双目立体视觉深度相机的深度测量过程，如下：
 
1、首先需要对双目相机进行标定，得到两个相机的内外参数、单应矩阵。
 
2、根据标定结果对原始图像校正，校正后的两张图像位于同一平面且互相平行。
 
3、对校正后的两张图像进行像素点匹配。
 
4、根据匹配结果计算每个像素的深度，从而获得深度图。
 
欲知详情，且看下面详细介绍。
 
双目立体视觉深度相机详细原理
 
 
1
 
理想双目相机成像模型
 
首先我们从理想的情况开始分析:假设左右两个相机位于同一平面（光轴平行），且相机参数（如焦距f）一致。那么深度值的推导原理和公式如下。公式只涉及到初中学的三角形相似知识，不难看懂。
 
理想情况下双目立体视觉相机深度值计算原理
 
根据上述推导，空间点P离相机的距离（深度）z=f*b/d，可以发现如果要计算深度z，必须要知道：
 
1、相机焦距f，左右相机基线b。这些参数可以通过先验信息或者相机标定得到。
 
2、视差d。需要知道左相机的每个像素点(xl, yl)和右相机中对应点(xr, yr)的对应关系。这是双目视觉的核心问题。
 
2
 
极线约束
 
那么问题来了，对于左图中的一个像素点，如何确定该点在右图中的位置？是不是需要我们在整个图像中地毯式搜索一个个匹配？
 
答案是：不需要。因为有极线约束（名字听着很吓人）。极线约束对于求解图像对中像素点的对应关系非常重要。
 
那什么是极线呢？如下图所示。C1，C2是两个相机，P是空间中的一个点，P和两个相机中心点C1、C2形成了三维空间中的一个平面PC1C2，称为极平面（Epipolar plane）。极平面和两幅图像相交于两条直线，这两条直线称为极线(Epipolar line)。P在相机C1中的成像点是P1，在相机C2中的成像点是P2，但是P的位置事先是未知的。
 
 我们的目标是：对于左图的P1点，寻找它在右图中的对应点P2，这样就能确定P点的空间位置，也就是我们想要的空间物体和相机的距离（深度）。
 
所谓极线约束（Epipolar Constraint）就是指当同一个空间点在两幅图像上分别成像时，已知左图投影点p1，那么对应右图投影点p2一定在相对于p1的极线上，这样可以极大的缩小匹配范围。
 
根据极线约束的定义，我们可以在下图中直观的看到P2一定在对极线上，所以我们只需要沿着极线搜索一定可以找到和P1的对应点P2。
 
极线约束示意图
 
细心的朋友会发现上述过程考虑的情况（两相机共面且光轴平行，参数相同）非常理想，相机C1，C2如果不是在同一直线上怎么办？
 
事实上，这种情况非常常见，因为有些场景下两个相机需要独立固定，很难保证光心C1，C2完全水平，即使是固定在同一个基板上也会因为装配的原因导致光心不完全水平。如下图所示。我们看到两个相机的极线不仅不平行，还不共面，之前的理想模型那一套推导结果用不了了，这可咋办呢？
 
 
非理想情况下的极线
 
不急，有办法。我们先来看看这种情况下拍摄的两张左右图片吧，如下所示。左图中三个十字标志的点，在右图中对应的极线是右图中的三条白色直线，也就是对应的搜索区域。我们看到这三条直线并不是水平的，如果进行逐点搜索效率非常低。
 
 
左图中三个点（十字标志）在右图中对应的极线是右图中的三条白色直线
 
3
 
图像矫正技术
 
怎么办呢？把不理想情况转化为理想情况不就OK了！这就是图像矫正（Image Rectification）技术。
 
图像矫正是通过分别对两张图片用单应（homography）矩阵变换（可以通过标定获得）得到的，的目的就是把两个不同方向的图像平面（下图中灰色平面）重新投影到同一个平面且光轴互相平行（下图中黄色平面），这样就可以用前面理想情况下的模型了，两个相机的极线也变成水平的了。
 
图像校正示意图
 
 经过图像矫正后，左图中的像素点只需要沿着水平的极线方向搜索对应点就可以了（开心）。从下图中我们可以看到三个点对应的视差（红色双箭头线段）是不同的，越远的物体视差越小，越近的物体视差越大，这和我们的常识是一致的。
 
图像校正后的结果。红色双箭头线段是对应点的视差
 
 上面讲到的对于左图的一个点，沿着它在右图中水平极线方向寻找和它最匹配的像素点，说起来简单，实际操作起来却不容易。这是因为上述都是理想情况下的假设。实际进行像素点匹配的时候会发现几个问题：
 
1、实际上要保证两个相机完全共面且参数一致是非常困难的，而且计算过程中也会产生误差累积，因此对于左图的一个点，其在右图的对应点不一定恰好在极线上。但是应该是在极线附近，所以搜索范围需要适当放宽。
 
2、单个像素点进行比较鲁棒性很差，很容易受到光照变化和视角不同的影响。
 
4
 
基于滑动窗口的图像匹配
 
上述问题的解决方法：使用滑动窗口来进行匹配。如下图所示。对于左图中的一个像素点（左图中红色方框中心），在右图中从左到右用一个同尺寸滑动窗口内的像素和它计算相似程度，相似度的度量有很多种方法，比如 误差平方和法（Sum of Squared Differences，简称SSD），左右图中两个窗口越相似，SSD越小。下图中下方的SSD曲线显示了计算结果，SSD值最小的位置对应的像素点就是最佳的匹配结果。
 
 
滑动窗口匹配原理示意图
 
具体操作中还有很多实际问题，比如滑动窗口尺寸。滑动窗口的大小选取还是很有讲究的。下图显示了不同尺寸的滑动窗口对深度图计算结果的影响。从图中我们也不难发现:
 
小尺寸的窗口：精度更高、细节更丰富；但是对噪声特别敏感
 
大尺寸的窗口：精度不高、细节不够；但是对噪声比较鲁棒
 

 不同尺寸的滑动窗口对深度图计算结果的影响
 
虽然基于滑动窗口的匹配方法可以计算得到深度图，但是这种方法匹配效果并不好，而且由于要逐点进行滑动窗口匹配，计算效率也很低。
 
5
 
基于能量优化的图像匹配
 
目前比较主流的方法都是基于能量优化的方法来实现匹配的。能量优化通常会先定义一个能量函数。比如对于两张图中像素点的匹配问题来说，我们定义的能量函数如下图公式1。我们的目的是：
 
1、在左图中所有的像素点和右图中对应的像素点越近似越好，反映在图像里就是灰度值越接近越好，也就是下图公式2的描述。
 
2、在 同一张图片里，两个相邻的像素点视差（深度值）也应该相近。也就是下图公式3的描述。
 
 
能量函数
 
上述公式1代表的能量函数就是著名的马尔科夫随机场(Markov Random Field)模型。通过对能量函数最小化，我们最后得到了一个最佳的匹配结果。有了左右图的每个像素的匹配结果，根据前面的深度计算公式就可以得到每个像素点的深度值，最终得到一幅深度图。
 
双目立体视觉法优缺点
 
根据前面的原理介绍，我们总结一下基于双目立体视觉法深度相机的优缺点。
 
1
 
优点
 
1、对相机硬件要求低，成本也低。因为不需要像TOF和结构光那样使用特殊的发射器和接收器，使用普通的消费级RGB相机即可。
 
2、室内外都适用。由于直接根据环境光采集图像，所以在室内、室外都能使用。相比之下，TOF和结构光基本只能在室内使用。
 
2
 
缺点
 
1、对环境光照非常敏感。双目立体视觉法依赖环境中的自然光线采集图像，而由于光照角度变化、光照强度变化等环境因素的影响，拍摄的两张图片亮度差别会比较大，这会对匹配算法提出很大的挑战。如下图是在不同光照条件下拍摄的图片：
 
 
不同光照下的图像对比
 
另外，在光照较强（会出现过度曝光）和较暗的情况下也会导致算法效果急剧下降。
 
2、不适用于单调缺乏纹理的场景。由于双目立体视觉法根据视觉特征进行图像匹配，所以对于缺乏视觉特征的场景（如天空、白墙、沙漠等）会出现匹配困难，导致匹配误差较大甚至匹配失败。
 
 
纹理丰富（左）和纹理缺乏场景（右）
 
3、计算复杂度高。该方法是纯视觉的方法，需要逐像素计算匹配；又因为上述多种因素的影响，需要保证匹配结果比较鲁棒，所以算法中会增加大量的错误剔除策略，因此对算法要求较高，想要实现可靠商用难度大，计算量较大。
 
4、相机基线限制了测量范围。测量范围和基线（两个摄像头间距）关系很大：基线越大，测量范围越远；基线越小，测量范围越近。所以基线在一定程度上限制了该深度相机的测量范围。
 
本公众号后续继续推出一系列关于深度相机原理和技术应用文章，敬请关注。
 
注：转载请注明来源，违者必究。

目录
 
1.双目图片--测距：
 
流程说明：
 
2. 实时采集数据，进行测距
 
 
首先进行双目定标，获取双目摄像头内部的参数后，进行测距。
 
注意：双目定标的效果会影响测距的精准度，建议大家在做双目定标时，做好一些（尽量让误差小）
 
 
 
本次的双目视觉测距，基于BM算法。

摘要：随着计算机运算速度的逐年增长及机器视觉理论研究的不断发展，机器视觉已逐步应用到众多领域。其中，双目立体视觉测距由于在机器人定位与导航、系统避障、及工业测量等领域有着广泛的应用前景，因此备受关注。一个完整的双目立体视觉测距系统主要包括图像获取、摄像机标定、图像预处理、立体匹配、三位信息恢复及后处理等部分，其中摄像机标定和立体匹配是双目视觉测距的重点与难点所在。在VC++的环境下，采用OpenCV与MATLAB相结合的方法开发了一种新的双目视觉测距系统，该系统先通过MATLAB对标定图像进行标定，再将标定的结果导入到OpenCV进行后续的图像校正和立体匹配，从而快速而实时的计算出周围目标景物的三维深度信息。主要工作包括以下几个方面：(1)摄像机标定：详细介绍了摄像机标定的有关理论和方法，包括摄像机的线性成像模型、非线性成像模型，并分析了从传统的摄像机标定到自标定的发展过程和常用的摄像机标定方法及其优缺点。本文采用了介于传统标定方法和自标定之间的一种平面标定方法，通过MATLB来对所采集的图像进行标定，获取摄像机的内外参数，并通过再次投影误差分析，验证标定结果的正确性。(2)图像预处理：由于拍摄的彩色图像包含较多信息且存在大量噪声，处理起来比较困难且速度较慢，因此在图像匹配前对图像进行预处理。本文主要从图像灰度化和图像平滑两个方面来进行预处理以改善图像质量。首先对图像进行灰度化处理减少图像包含的冗余信息，然后对图像进行平滑处理以去除噪声，着重对比了均值滤波、中值滤波和高斯滤波等三种平滑滤波的特点及适用的场合，结合实际选择出适合本系统的图像平滑处理方法，为后续的匹配工作打下基础。(3)立体匹配：立体匹配一直是立体视觉中最困难而且最难以处理的部分，本文首先介绍了立体匹配的有关理论知识，主要包括立体匹配原理、基元的选择、常用的匹配准则以及匹配算法，经过分析比较并结合课题的实际需要最终选用区域匹配中一种算法相对简单的SAD匹配法，以实现快速有效的匹配。最后详细说明了通过OpenCV实现该匹配算法的详细过程，完成匹配并得出深度图。结合前面摄像机标定的内外参数，利用三角测量原理对深度信息进行提取，计算出实际场景中物体距摄像机的距离，与实际距离信息对比并进行误差分析。实验验证该系统在提高精度和实时性方面有所提高，能够更好地应用于工程实际中。