世界坐标系,相机坐标系和图像坐标系的转换(Python)

相机内参外参说明:https://panjinquan.blog.csdn.net/article/details/102502213

计算机视觉：相机成像原理：世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换:https://blog.csdn.net/chentravelling/article/details/53558096

1.世界坐标->相机坐标



2.相机坐标系->图像坐标系



此时投影点p的单位还是mm，并不是pixel，需要进一步转换到像素坐标系。

3.图像坐标系与像素坐标系

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：其中dx和dy表示每一列和每一行分别代表多少mm，即1pixel=dx mm 



那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。 


 



python代码实现:

以下是实现变换的关键代码

相关可视化部分已经push到github:  https://github.com/PanJinquan/python-learning-notes

https://github.com/PanJinquan/python-learning-notes/blob/master/modules/utils_3d/camera_tools.py

# -*- coding: utf-8 -*-
"""
# --------------------------------------------------------
# @Project: Integral-Human-Pose-Regression-for-3D-Human-Pose-Estimation
# @Author : panjq
# @E-mail : pan_jinquan@163.com
# @Date   : 2020-02-04 16:03:01
# @url    : https://www.jianshu.com/p/c5627ad019df
# --------------------------------------------------------
"""
import sys
import os

sys.path.append(os.getcwd())

import cv2
import numpy as np
from modules.utils_3d import vis_3d as vis
from utils import image_processing

human36m_camera_intrinsic = {
    # R，旋转矩阵
    "R": [[-0.91536173, 0.40180837, 0.02574754],
          [0.05154812, 0.18037357, -0.98224649],
          [-0.39931903, -0.89778361, -0.18581953]],
    # t，平移向量
    "T": [1841.10702775, 4955.28462345, 1563.4453959],
    # 焦距，f/dx, f/dy
    "f": [1145.04940459, 1143.78109572],
    # principal point，主点，主轴与像平面的交点
    "c": [512.54150496, 515.45148698]

}

kinect2_camera_intrinsic = {

    # R，旋转矩阵
    "R": [[0.999853, -0.00340388, 0.0167495],
          [0.00300206, 0.999708, 0.0239986],
          [-0.0168257, -0.0239459, 0.999571]],
    # t，平移向量
    "T": [15.2562, 70.2212, -10.9926],
    # 焦距，f/dx, f/dy
    "f": [367.535, 367.535],
    # principal point，主点，主轴与像平面的交点
    "c": [260.166, 205.197]

}

camera_intrinsic = human36m_camera_intrinsic
# camera_intrinsic = kinect2_camera_intrinsic

class CameraTools(object):

    @staticmethod
    def convert_wc_to_cc(joint_world):
        """
        世界坐标系 -> 相机坐标系: R * (pt - T):
        joint_cam = np.dot(R, (joint_world - T).T).T
        :return:
        """
        joint_world = np.asarray(joint_world)
        R = np.asarray(camera_intrinsic["R"])
        T = np.asarray(camera_intrinsic["T"])
        joint_num = len(joint_world)
        # 世界坐标系 -> 相机坐标系
        # [R|t] world coords -> camera coords
        # joint_cam = np.zeros((joint_num, 3))  # joint camera
        # for i in range(joint_num):  # joint i
        #     joint_cam[i] = np.dot(R, joint_world[i] - T)  # R * (pt - T)
        # .T is 转置, T is translation mat
        joint_cam = np.dot(R, (joint_world - T).T).T  # R * (pt - T)
        return joint_cam

    @staticmethod
    def convert_cc_to_wc(joint_world):
        """
        相机坐标系 -> 世界坐标系: inv(R) * pt +T 
        joint_cam = np.dot(inv(R), joint_world.T)+T
        :return:
        """
        joint_world = np.asarray(joint_world)
        R = np.asarray(camera_intrinsic["R"])
        T = np.asarray(camera_intrinsic["T"])
        # 相机坐标系 -> 世界坐标系
        joint_cam = np.dot(np.linalg.inv(R), joint_world.T).T + T
        return joint_cam

    @staticmethod
    def __cam2pixel(cam_coord, f, c):
        """
        相机坐标系 -> 像素坐标系: (f / dx) * (X / Z) = f * (X / Z) / dx
        cx,ppx=260.166; cy,ppy=205.197; fx=367.535; fy=367.535
        将从3D(X,Y,Z)映射到2D像素坐标P(u,v)计算公式为：
        u = X * fx / Z + cx
        v = Y * fy / Z + cy
        D(v,u) = Z / Alpha
        =====================================================
        camera_matrix = [[428.30114, 0.,   316.41648],
                        [   0.,    427.00564, 218.34591],
                        [   0.,      0.,    1.]])

        fx = camera_intrinsic[0, 0]
        fy = camera_intrinsic[1, 1]
        cx = camera_intrinsic[0, 2]
        cy = camera_intrinsic[1, 2]
        =====================================================
        :param cam_coord:
        :param f: [fx,fy]
        :param c: [cx,cy]
        :return:
        """
        # 等价于：(f / dx) * (X / Z) = f * (X / Z) / dx
        # 三角变换， / dx, + center_x
        u = cam_coord[..., 0] / cam_coord[..., 2] * f[0] + c[0]
        v = cam_coord[..., 1] / cam_coord[..., 2] * f[1] + c[1]
        d = cam_coord[..., 2]
        return u, v, d

    @staticmethod
    def convert_cc_to_ic(joint_cam):
        """
        相机坐标系 -> 像素坐标系
        :param joint_cam:
        :return:
        """
        # 相机坐标系 -> 像素坐标系，并 get relative depth
        # Subtract center depth
        # 选择 Pelvis骨盆 所在位置作为相机中心，后面用之求relative depth
        root_idx = 0
        center_cam = joint_cam[root_idx]  # (x,y,z) mm
        joint_num = len(joint_cam)
        f = camera_intrinsic["f"]
        c = camera_intrinsic["c"]
        # joint image_dict，像素坐标系，Depth 为相对深度 mm
        joint_img = np.zeros((joint_num, 3))
        joint_img[:, 0], joint_img[:, 1], joint_img[:, 2] = CameraTools.__cam2pixel(joint_cam, f, c)  # x,y
        joint_img[:, 2] = joint_img[:, 2] - center_cam[2]  # z
        return joint_img


def demo_for_human36m():
    joint_world = [[-91.679, 154.404, 907.261],
                   [-223.23566, 163.80551, 890.5342],
                   [-188.4703, 14.077106, 475.1688],
                   [-261.84055, 186.55286, 61.438915],
                   [39.877888, 145.00247, 923.98785],
                   [-11.675994, 160.89919, 484.39148],
                   [-51.550297, 220.14624, 35.834396],
                   [-132.34781, 215.73018, 1128.8396],
                   [-97.1674, 202.34435, 1383.1466],
                   [-112.97073, 127.96946, 1477.4457],
                   [-120.03289, 190.96477, 1573.4],
                   [25.895456, 192.35947, 1296.1571],
                   [107.10581, 116.050285, 1040.5062],
                   [129.8381, -48.024918, 850.94806],
                   [-230.36955, 203.17923, 1311.9639],
                   [-315.40536, 164.55284, 1049.1747],
                   [-350.77136, 43.442127, 831.3473],
                   [-102.237045, 197.76935, 1304.0605]]
    joint_world = np.asarray(joint_world)
    # 关节点连接线
    kps_lines = ((0, 7), (7, 8), (8, 9), (9, 10), (8, 11), (11, 12), (12, 13), (8, 14), (14, 15),
                 (15, 16), (0, 1), (1, 2), (2, 3), (0, 4), (4, 5), (5, 6))
    # show in 世界坐标系
    vis.vis_3d(joint_world, kps_lines, coordinate="WC", title="WC", set_lim=True, isshow=True)

    kp_vis = CameraTools()

    # show in 相机坐标系
    joint_cam = kp_vis.convert_wc_to_cc(joint_world)
    vis.vis_3d(joint_cam, kps_lines, coordinate="CC", title="CC", set_lim=True, isshow=True)
    joint_img = kp_vis.convert_cc_to_ic(joint_cam)

    joint_world1 = kp_vis.convert_cc_to_wc(joint_cam)
    vis.vis_3d(joint_world1, kps_lines, coordinate="WC", title="WC", set_lim=True, isshow=True)

    # show in 像素坐标系
    kpt_2d = joint_img[:, 0:2]
    image_path = "./data/s_01_act_02_subact_01_ca_02_000001.jpg"
    image = image_processing.read_image(image_path)
    image = image_processing.draw_key_point_in_image(image, key_points=[kpt_2d], pointline=kps_lines)
    image_processing.cv_show_image("image_dict", image)


if __name__ == "__main__":
    demo_for_human36m()


效果:

0.前言

最近整理了“相机成像原理”和“视差与深度信息”相关的资料，然后做成了PPT，以备自己用，也提供给相关的图像、视觉方向的朋友参考。如有误，望海涵并指出。



1.正文

图像处理、立体视觉等等方向常常涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图： 


构建世界坐标系只是为了更好的描述相机的位置在哪里，在双目视觉中一般将世界坐标系原点定在左相机或者右相机或者二者X轴方向的中点。 

接下来的重点，就是关于这几个坐标系的转换。也就是说，一个现实中的物体是如何在图像中成像的。



1.1世界坐标系与相机坐标系



于是，从世界坐标系到相机坐标系，涉及到旋转和平移（其实所有的运动也可以用旋转矩阵和平移向量来描述）。绕着不同的坐标轴旋转不同的角度，得到相应的旋转矩阵，如下图所示： 


那么从世界坐标系到相机坐标系的转换关系如下所示： 




1.2相机坐标系与图像坐标系

从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D。 


此时投影点p的单位还是mm，并不是pixel，需要进一步转换到像素坐标系。



1.3图像坐标系与像素坐标系

像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：其中dx和dy表示每一列和每一行分别代表多少mm，即1pixel=dx mm 


那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。 


其中相机的内参和外参可以通过张正友标定获取（戳这里查看张正友标定的资料）。通过最终的转换关系来看，一个三维中的坐标点，的确可以在图像中找到一个对应的像素点，但是反过来，通过图像中的一个点找到它在三维中对应的点就很成了一个问题，因为我们并不知道等式左边的Zc的值。 

关于三维重建不是我的方向，但是深度值的获取是我项目中的一个需要解决的问题，这将涉及到后面的立体视觉知识。



【PPT下载】

地址：http://download.csdn.net/detail/chentravelling/9833120

一、四个坐标系简介和转换
相机模型为以后一切标定算法的关键，只有这边有相当透彻的理解，对以后的标定算法才能有更好的理解。本人研究了好长时间，几乎每天都重复看几遍，最终才会明白其推导过程。

     我觉得首先我们要理解相机模型中的四个平面坐标系的关系：像素平面坐标系（u,v）、像平面坐标系（图像物理坐标第（x,y）、相机坐标系（Xc,Yc,Zc）和世界坐标系（Xw,Yw,Zw），在每一篇介绍相机模型的文章中都有介绍。

     我刚开始理解时，看着那一堆的公式十分的头晕，我相信很多初学者和我一样，但仔细想想，只不过是，我们假设了一些参数，使四个坐标系之间的坐标联系起来，这样我们就可以从拍摄的图片上一个点坐标一路反推出世界中的那个点的坐标，这样就达到了我们的目的，三维重建。而那些我们假设的参数，就是我们要标定的内外参数。





1、像素坐标与像平面坐标系之间的关系 

      确定他们的关系之前，我们可以假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy。仔细看下他们的模型可以推出以下公式（这个还是比较好理解的）：













解释：1、dx,dy,u0,v0其实都是我们假设出来的参数，dxdy表示感光芯片上像素的实际大小，是连接像素坐标系和真实尺寸坐标系的，u0,v0是图像平面中心，最终是要我们求的内外参数。

得出这个公式后我们可以运用线性代数的知识把方程用矩阵形式表示：



当然我们也可以用另一种矩阵形式表示：




2、相机坐标系与世界坐标系之间的关系 

     这两个坐标系之间的关系我们可以旋转矩阵R和平移矩阵T来得到以下关系：




                                       

                                                                    公式4

   解释：1、 在这个公式中，R为3*3矩阵，T为3*1，0为（0，0，0），简化用Lw表示后为4*4矩阵。
3、成像投影关系（相机坐标系与像平面坐标系） 



     在相机模型中我们可以得到以下公式：




                                       

                                                                 公式5

           解释：1、

同样我们用矩阵形式表示：

                                          

                                                                       公式6




4、得到公式




而我们可以将以上公式综合一下就可以得到：

  

因此，内参数矩阵可以表示为：

=





外参矩阵可以表示为：，由旋转矩阵R和平移向量T组成




当然在好多资料上都有这种做法：







上图中表示的情况是像素坐标系和图像物理坐标系的两个坐标轴不是平行的关系，像素坐标系的两个坐标轴也不是垂直90°的关系，而图像物理坐标系的两个坐标轴是垂直关系。所以，我们在转换两个坐标轴的坐标之间的关系时就必须考虑像素坐标系两个坐标轴之间的夹角了。就有了上面的不同的内参矩阵，理解了就好了。




二、图像坐标：我想和世界坐标谈谈(B)

         玉米将在这篇博文中，对图像坐标与世界坐标的这场对话中涉及的第二个问题：谈话方式，进行总结。世界坐标是怎样变换进摄像机，投影成图像坐标的呢？

        玉米做了一个简单的图示，在这里做一个提纲。图中显示，世界坐标系通过刚体变换到达摄像机坐标系，然后摄像机坐标系通过透视投影变换到达图像坐标系。可以看出，世界坐标与图像坐标的关系建立在刚体变换和透视投影变换的基础上。为了奖励刚体变和透视投影变换沟通了“世界上最远的距离”，玉米在图上奖励了他们两朵小红花。哈哈






 首先，让我们来看一下刚体变换是如何将世界坐标系与图像坐标系联系起来的吧。这里，先对刚体变换做一个介绍：

        刚体变换(regidbody motion):三维空间中，
 当物体不发生形变时，对一个几何物体作旋转， 平移的运动，称之为刚体变换。

因为世界坐标系和摄像机坐标都是右手坐标系，所以其不会发生形变。我们想把世界坐标系下的坐标转换到摄像机坐标下的坐标，如下图所示，可以通过刚体变换的方式。空间中一个坐标系，总可以通过刚体变换转换到另外一个个坐标系的。转一转，走一走，就到另外一个坐标系下了。以前可能是面朝大海，经过平移旋转，最终可能只能面朝冰山了，哈哈




下面让我来看一下，二者之间刚体变化的数学表达。







其中，XC代表摄像机坐标系，X代表世界坐标系。R代表旋转，T代表平移。R、T与摄像机无关，所以称这两个参数为摄像机的外参数(extrinsic parameter)可以理解为两个坐标原点之间的距离，因其受x,y,z三个方向上的分量共同控制，所以其具有三个自由度。

         R则为分别绕XYZ三轴旋转的效果之和。如下面所示：




 R=r1*r2*r3.其由三个方向的θ控制，故具有三个自由度。

           好了，刚体变换就讲完了。大家应该都了解，世界坐标系到摄像机坐标系之间的转换过程了吧。

          接下来，让我们看看摄像机坐标下的坐标如何投影到图像坐标系下，最终变为照片中的一个像素。这其中包含两个过程：一是从摄像机坐标到“空间图像坐标”（x,y）所发生的透视投影；二是从“连续图像坐标”到“离散图像坐标”(u,v)。后者我们已经在第一篇博文中解释过。所以在这里，主要介绍一下透视投影。

         透视投影(perspective projection): 用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。有一点像皮影戏。它符合人们心理习惯，即离视点近的物体大，离视点远的物体小，不平行于成像平面的平行线会相交于消隐点(vanish point)。

         啰嗦这么多，其实大家看看示意图，看看公式，秒懂。




  以图中B(XB,YB)点为例，在小孔成像摄像机模型下（几何分析的最常用模型）。这里的f为摄像机的焦距，其属于摄像机的内参数(intrinsic
 parameter)。其在成像平面上的投影点b(xb,yb)的坐标利用简单的相似三角形比例关系很容易求出：







上面两式也阐明了摄像机坐标与图像坐标之间的透视投影关系。

            好吧，现在玉米已经把图像坐标与世界坐标之间的这场对话所需经历的三个波折的过程加以了解释。即：刚体变换、透视投影、(x,y)换(u,v)（ps.这个在上一篇博文中讲过）。接下来玉米用一张图把三个过程连接起来。实现从世界坐标(X,Y,Z)到(u,v)之间的转换。让图像坐标与世界坐标直接对话。

         下图中的转换关系，都是用齐次坐标表达的，大家会发现这样的表达非常整洁。

         其实这张图显示的过程还有一个名字：摄像机模型(camera model)。其实也就是摄像机的几何模型了。

         将三者相乘，可以把这三个过程和在一起，写成一个矩阵：




P就是世界坐标到图像坐标的直接联系人，P就表示了一个投影相机，有下面公式：





注意在表示齐次坐标时，需要在符号上面加个小帽子。除去齐次坐标控制位P23，P具有11个自由度。





  
     摄像机模型及其中涉及的坐标系等，是弄清3D重建几何框架的基础。可以把它们视为基本运算关系。后面对于三维重建几何框架的推导，都是要用到三个基本坐标系和摄像机模型的。

世界坐标系-相机坐标系：相机坐标系相对于世界坐标系的转换矩阵




相机坐标系-图像坐标系：属于透视投影关系，真实世界中的景象投射到相机中的转换矩阵，在这个过程中，损失了 景物深度



图像坐标系-像素坐标系：像素和图像间的比例关系





参考