有人容易把视差图跟深度图搞混，一切还是要从这个公式说起：Z=f*B/d
Z是深度，B是双目相机的光心间距（基线长度），f是相机焦距，d就是视差（左右相机对应特征像素坐标差值）。
而我们说的视差图就是灰度图的灰度值为d的时候，想转化为Z就变成了深度图，所以这是个并不复杂的问题。
代码里fx是内参的值，x方向的焦距，baseline是基线长。
这里要注意深度图的类型，不同图像类型的尺度范围是不一样的，那么如果直接用于距离测量得到的只是一个相对深度，而不是精确的距离。如果图像的类型是CV_8UC1，那么对应的标识符要变成uchar ,CV_8S对应的是char, CV_16U对应的标识符应该是ushort.也就是说标识符要和图像数据类型相对应。short d = img.ptr<uchar>(row)[col];
下面三个图就是在不同数据类型下产生的效果，坑也挺多的，这里生成的深度图的数值还不是真实的距离，因为在进行数据类型变换的时候数值尺度变了，OpenCV里面reprojectImageTo3D(disp, xyz, Q, true)这个函数得到的才是真实的三坐标值它计算出来的结果CV_16S或者CV_32S类型的， sgbm立体匹配算法出来的结果是CV_16S 类型的，在转换的过程中要确保前后尺度一致，可以简单的思考一下，d是视差值，大小不可能超过图像的分辨率，如果视差图的像素值超过了说明在类型变换的时候尺度变了。

关于这些细节我懂的也不多，欢迎补充。



根据Mat.type()输出的值判断图像的类型

#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>

using namespace std;
using namespace cv;

const double fx = 4152.073;
const double baseline = 176.252;


int main(int argc, char** argv)
{
        Mat img = imread("E:\\intern\\depth\\disp0.png",0);
    cout << img.type();

   // Mat img = imread("E:\\intern\\depth\\disp0.png");
    Mat depth(img.rows, img.cols, CV_16S);  //深度图
    cout<< depth.type()<<endl;//https://blog.csdn.net/sysleo/article/details/96445786   查看图像类型，输出的数值去网站查表
    //视差图转深度图
    for (int row = 0; row < depth.rows; row++)
    {
        for (int col = 0; col < depth.cols; col++)
        {
            short d = img.ptr<uchar>(row)[col];


            if (d == 0)
                continue;

            depth.ptr<short>(row)[col] = fx * baseline / d;
        }
    }
    namedWindow("img", 0);
    namedWindow("depth", 0);
    imshow("img", img);
    imshow("depth", depth);
    waitKey(0);
}

毕竟是灰度图看起来不舒服，可以参考我的另外一篇文章转为伪彩色深度图

转自：http://www.elecfans.com/d/863829.html

双目立体视觉，在百度百科里的解释是这样解释的：双目立体视觉（BinocularStereoVision）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

一、视差Disparity与深度图

提到双目视觉就不得不提视差图：双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。

对于视差的理解自己可以体验一下：将手指头放在离眼睛不同距离的位置，并轮换睁、闭左右眼，可以发现手指在不同距离的位置，视觉差也不同，且距离越近，视差越大。

那么提到视差图，就有深度图，深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。获取方法有：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。

那么这里引申一下深度图与点云的区别，点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。

深度图像经过坐标转换可以计算为点云数据；有规则及必要信息的点云数据可以反算为深度图像。两者在一定条件下是可以相互转化的，之前的博客里，有使用PCL库实现过点云提取深度图，当然给出相机参数也是可以由深度图转为点云的。截图一个深度图：

所以深度与视差的关系如下

比如绝对差值法绝对差值图的计算方法如下：

D=|L-R|

式中，L、R和D分别代表左视图、右视图和对应的绝对差值图的亮度值。绝对差值图并不是严格意义上的视差图，但是它的计算方法最为简单，速度快，它给出的结果可以作为参考

那么我们知道视差又有另外一个概念就是UV-disparitymapping，简单的给个图表示：

是怎么得到这个结果的呢？原来是统计统计视差的个数，比如V-disparityMap中的第一行分别统计视差为0,1,2,3,4,5的个数，所以得到了V-disparityMap的第一行分别为

0，2,0,1,1,1，那么在真实的图喜爱那个中得到的结果如下：

那么利用视差可以做很多有用的功能，比如列举一篇文章

UVdisparitybasedobstacledetectionandpedestrianclassificationinurbantrafficscenarios

二Rays

ray就是连接图像上一点到光心形成的一条射线。这个也是之后的对极约束的基础。

那么建立世界坐标系，我们的两条rays是相交的。如下图所示，接下来就是利用rays的相交关系，来解释対极几何（Epipolargeometry）了。

以上的图文说明明了对极几何（EpipolarGeometry）描述的是两幅视图之间的内在射影关系，与外部场景无关，只依赖于摄像机内参数和这两幅试图之间的的相对姿态。

有以下几种概念

1.基线（baseline）：直线Oc-Oc'为基线。

2.对极平面束（epipolarpencil）：以基线为轴的平面束。

3.对极平面（epipolarplane）：任何包含基线的平面都称为对极平面。

4.对极点（epipole）：摄像机的基线与每幅图像的交点。比如，上图中的点e和e'。

5.对极线（epipolarline）：对极平面与图像的交线。比如，上图中的直线l和l'。

6.5点共面：点x，x'，摄像机中心OcOc'，空间点X是5点共面的。

7.极线约束：两极线上点的对应关系。

说明：

直线l是对应于点x'的极线，直线l'是对应于点x的极线。极线约束是指点x'一定在对应于x的极线l'上，点x一定在对应于x'的极线l上。

根据以上原理就得出了基础矩阵F和本质矩阵E等，网上有很多资料的

这里直接将推导公式贴出来就好了

本质矩阵E的基本性质：秩为2，且仅依赖于外部参数R和T。其中，P表示世界坐标点矢量，p表示像素点矢量

那么基础矩阵求法：由于本质矩阵E并不包含相机内参信息，且E是面向相机坐标系的。实际上，我们更感兴趣的是在像素坐标系上去研究一个像素点在另一视图上的对极线，这就需要用到相机内参信息将相机坐标系和像素坐标系联系起来。假设Pl和Pr是世界坐标值，其对应的像素坐标值为Ql和Qr

相机内参矩阵为M，那么

根据

那么

令基础矩阵

那么

也就是我们在下图的第一幅图找到一个特征点，通过以上対极几何的知识推导出，该点在第二幅图位于图喜的哪个位置

举个例子，比如kinect

无论是双目还是kinect都是类似的原理

f=Focallength

b=Baseline

d=Disparityvalue

ps=Pixelsize

D=Depth

Focallength

Baseline

Pixelsize

Disparity

备注：

（Pixelsize）像素大小是图像传感器中单个像素的大小。像素大小用微米表示。由于立体视觉系统使用两个摄像机，图像传感器的像素大小必须相同。随着像素尺寸的减小，系统的深度范围增大。

（Disparityvalue）视差是指在两个摄像机图像之间的像素位置的差异。假设立体视觉相机中的左图像在位置(1,30)具有像素，并且相同的像素在右图像中的位置(4,30)存在，视差值或差值为(4-1)=3。视差值与上述公式的深度成反比。