精华内容
下载资源
问答
  • 相机成像原理:世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换

    0.前言

    最近整理了“相机成像原理”和“视差与深度信息”相关的资料,然后做成了PPT,以备自己用,也提供给相关的图像、视觉方向的朋友参考。如有误,望海涵并指出。

    1.正文

    图像处理、立体视觉等等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图:
    这里写图片描述
    构建世界坐标系只是为了更好的描述相机的位置在哪里,在双目视觉中一般将世界坐标系原点定在左相机或者右相机或者二者X轴方向的中点。
    接下来的重点,就是关于这几个坐标系的转换。也就是说,一个现实中的物体是如何在图像中成像的。

    1.1世界坐标系与相机坐标系

    这里写图片描述

    于是,从世界坐标系到相机坐标系,涉及到旋转和平移(其实所有的运动也可以用旋转矩阵和平移向量来描述)。绕着不同的坐标轴旋转不同的角度,得到相应的旋转矩阵,如下图所示:
    这里写图片描述

    那么从世界坐标系到相机坐标系的转换关系如下所示:
    这里写图片描述

    1.2相机坐标系与图像坐标系

    从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D。
    这里写图片描述
    此时投影点p的单位还是mm,并不是pixel,需要进一步转换到像素坐标系。

    1.3图像坐标系与像素坐标系

    像素坐标系和图像坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm,属于物理单位,而像素坐标系的单位是pixel,我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下:其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm
    这里写图片描述

    那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。
    这里写图片描述

    其中相机的内参和外参可以通过张正友标定获取(戳这里查看张正友标定的资料)。通过最终的转换关系来看,一个三维中的坐标点,的确可以在图像中找到一个对应的像素点,但是反过来,通过图像中的一个点找到它在三维中对应的点就很成了一个问题,因为我们并不知道等式左边的Zc的值。
    关于三维重建不是我的方向,但是深度值的获取是我项目中的一个需要解决的问题,这将涉及到后面的立体视觉知识。

    【PPT下载】

    地址:http://download.csdn.net/detail/chentravelling/9833120

    展开全文
  • 世界坐标系,相机坐标系和图像坐标系的转换(Python)

    万次阅读 多人点赞 2020-02-05 16:45:40
    世界坐标系,相机坐标系和图像坐标系的转换(Python) 相机内参外参说明:https://panjinquan.blog.csdn.net/article/details/102502213 计算机视觉:相机成像原理:世界坐标系、相机坐标系、图像坐标系、像素坐标系...

    世界坐标系,相机坐标系和图像坐标系的转换(Python)


    相机内参外参说明:https://panjinquan.blog.csdn.net/article/details/102502213

    计算机视觉:相机成像原理:世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换:https://blog.csdn.net/chentravelling/article/details/53558096


    1.世界坐标->相机坐标


    2.相机坐标系->图像坐标系

    这里写图片描述

    此时投影点p的单位还是mm,并不是pixel,需要进一步转换到像素坐标系。

    3.图像坐标系与像素坐标系

    像素坐标系和图像坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm,属于物理单位,而像素坐标系的单位是pixel,我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下:其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm 

    这里写图片描述
    那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。 

    u=\frac{x}{dx}+u_{0}=\frac{xf_{x}}{Z_{c}}+u_{0} 

    u=\frac{x}{dx}+u_{0}=\frac{xf_{x}}{Z_{c}}+u_{0}


    python代码实现:

    以下是实现变换的关键代码

    相关可视化部分已经push到github:  https://github.com/PanJinquan/python-learning-notes

    https://github.com/PanJinquan/python-learning-notes/blob/master/modules/utils_3d/camera_tools.py

    # -*- coding: utf-8 -*-
    """
    # --------------------------------------------------------
    # @Project: Integral-Human-Pose-Regression-for-3D-Human-Pose-Estimation
    # @Author : panjq
    # @E-mail : pan_jinquan@163.com
    # @Date   : 2020-02-04 16:03:01
    # @url    : https://www.jianshu.com/p/c5627ad019df
    # --------------------------------------------------------
    """
    import sys
    import os
    
    sys.path.append(os.getcwd())
    
    import cv2
    import numpy as np
    from modules.utils_3d import vis_3d as vis
    from utils import image_processing
    
    human36m_camera_intrinsic = {
        # R,旋转矩阵
        "R": [[-0.91536173, 0.40180837, 0.02574754],
              [0.05154812, 0.18037357, -0.98224649],
              [-0.39931903, -0.89778361, -0.18581953]],
        # t,平移向量
        "T": [1841.10702775, 4955.28462345, 1563.4453959],
        # 焦距,f/dx, f/dy
        "f": [1145.04940459, 1143.78109572],
        # principal point,主点,主轴与像平面的交点
        "c": [512.54150496, 515.45148698]
    
    }
    
    kinect2_camera_intrinsic = {
    
        # R,旋转矩阵
        "R": [[0.999853, -0.00340388, 0.0167495],
              [0.00300206, 0.999708, 0.0239986],
              [-0.0168257, -0.0239459, 0.999571]],
        # t,平移向量
        "T": [15.2562, 70.2212, -10.9926],
        # 焦距,f/dx, f/dy
        "f": [367.535, 367.535],
        # principal point,主点,主轴与像平面的交点
        "c": [260.166, 205.197]
    
    }
    
    camera_intrinsic = human36m_camera_intrinsic
    # camera_intrinsic = kinect2_camera_intrinsic
    
    class CameraTools(object):
    
        @staticmethod
        def convert_wc_to_cc(joint_world):
            """
            世界坐标系 -> 相机坐标系: R * (pt - T):
            joint_cam = np.dot(R, (joint_world - T).T).T
            :return:
            """
            joint_world = np.asarray(joint_world)
            R = np.asarray(camera_intrinsic["R"])
            T = np.asarray(camera_intrinsic["T"])
            joint_num = len(joint_world)
            # 世界坐标系 -> 相机坐标系
            # [R|t] world coords -> camera coords
            # joint_cam = np.zeros((joint_num, 3))  # joint camera
            # for i in range(joint_num):  # joint i
            #     joint_cam[i] = np.dot(R, joint_world[i] - T)  # R * (pt - T)
            # .T is 转置, T is translation mat
            joint_cam = np.dot(R, (joint_world - T).T).T  # R * (pt - T)
            return joint_cam
    
        @staticmethod
        def convert_cc_to_wc(joint_world):
            """
            相机坐标系 -> 世界坐标系: inv(R) * pt +T 
            joint_cam = np.dot(inv(R), joint_world.T)+T
            :return:
            """
            joint_world = np.asarray(joint_world)
            R = np.asarray(camera_intrinsic["R"])
            T = np.asarray(camera_intrinsic["T"])
            # 相机坐标系 -> 世界坐标系
            joint_cam = np.dot(np.linalg.inv(R), joint_world.T).T + T
            return joint_cam
    
        @staticmethod
        def __cam2pixel(cam_coord, f, c):
            """
            相机坐标系 -> 像素坐标系: (f / dx) * (X / Z) = f * (X / Z) / dx
            cx,ppx=260.166; cy,ppy=205.197; fx=367.535; fy=367.535
            将从3D(X,Y,Z)映射到2D像素坐标P(u,v)计算公式为:
            u = X * fx / Z + cx
            v = Y * fy / Z + cy
            D(v,u) = Z / Alpha
            =====================================================
            camera_matrix = [[428.30114, 0.,   316.41648],
                            [   0.,    427.00564, 218.34591],
                            [   0.,      0.,    1.]])
    
            fx = camera_intrinsic[0, 0]
            fy = camera_intrinsic[1, 1]
            cx = camera_intrinsic[0, 2]
            cy = camera_intrinsic[1, 2]
            =====================================================
            :param cam_coord:
            :param f: [fx,fy]
            :param c: [cx,cy]
            :return:
            """
            # 等价于:(f / dx) * (X / Z) = f * (X / Z) / dx
            # 三角变换, / dx, + center_x
            u = cam_coord[..., 0] / cam_coord[..., 2] * f[0] + c[0]
            v = cam_coord[..., 1] / cam_coord[..., 2] * f[1] + c[1]
            d = cam_coord[..., 2]
            return u, v, d
    
        @staticmethod
        def convert_cc_to_ic(joint_cam):
            """
            相机坐标系 -> 像素坐标系
            :param joint_cam:
            :return:
            """
            # 相机坐标系 -> 像素坐标系,并 get relative depth
            # Subtract center depth
            # 选择 Pelvis骨盆 所在位置作为相机中心,后面用之求relative depth
            root_idx = 0
            center_cam = joint_cam[root_idx]  # (x,y,z) mm
            joint_num = len(joint_cam)
            f = camera_intrinsic["f"]
            c = camera_intrinsic["c"]
            # joint image_dict,像素坐标系,Depth 为相对深度 mm
            joint_img = np.zeros((joint_num, 3))
            joint_img[:, 0], joint_img[:, 1], joint_img[:, 2] = CameraTools.__cam2pixel(joint_cam, f, c)  # x,y
            joint_img[:, 2] = joint_img[:, 2] - center_cam[2]  # z
            return joint_img
    
    
    def demo_for_human36m():
        joint_world = [[-91.679, 154.404, 907.261],
                       [-223.23566, 163.80551, 890.5342],
                       [-188.4703, 14.077106, 475.1688],
                       [-261.84055, 186.55286, 61.438915],
                       [39.877888, 145.00247, 923.98785],
                       [-11.675994, 160.89919, 484.39148],
                       [-51.550297, 220.14624, 35.834396],
                       [-132.34781, 215.73018, 1128.8396],
                       [-97.1674, 202.34435, 1383.1466],
                       [-112.97073, 127.96946, 1477.4457],
                       [-120.03289, 190.96477, 1573.4],
                       [25.895456, 192.35947, 1296.1571],
                       [107.10581, 116.050285, 1040.5062],
                       [129.8381, -48.024918, 850.94806],
                       [-230.36955, 203.17923, 1311.9639],
                       [-315.40536, 164.55284, 1049.1747],
                       [-350.77136, 43.442127, 831.3473],
                       [-102.237045, 197.76935, 1304.0605]]
        joint_world = np.asarray(joint_world)
        # 关节点连接线
        kps_lines = ((0, 7), (7, 8), (8, 9), (9, 10), (8, 11), (11, 12), (12, 13), (8, 14), (14, 15),
                     (15, 16), (0, 1), (1, 2), (2, 3), (0, 4), (4, 5), (5, 6))
        # show in 世界坐标系
        vis.vis_3d(joint_world, kps_lines, coordinate="WC", title="WC", set_lim=True, isshow=True)
    
        kp_vis = CameraTools()
    
        # show in 相机坐标系
        joint_cam = kp_vis.convert_wc_to_cc(joint_world)
        vis.vis_3d(joint_cam, kps_lines, coordinate="CC", title="CC", set_lim=True, isshow=True)
        joint_img = kp_vis.convert_cc_to_ic(joint_cam)
    
        joint_world1 = kp_vis.convert_cc_to_wc(joint_cam)
        vis.vis_3d(joint_world1, kps_lines, coordinate="WC", title="WC", set_lim=True, isshow=True)
    
        # show in 像素坐标系
        kpt_2d = joint_img[:, 0:2]
        image_path = "./data/s_01_act_02_subact_01_ca_02_000001.jpg"
        image = image_processing.read_image(image_path)
        image = image_processing.draw_key_point_in_image(image, key_points=[kpt_2d], pointline=kps_lines)
        image_processing.cv_show_image("image_dict", image)
    
    
    if __name__ == "__main__":
        demo_for_human36m()
    

    效果:

    展开全文
  • 世界坐标系,相机坐标系,图像坐标系,像素坐标系 世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换 一、世界坐标系到相机坐标系 世界坐标系,也称为测量坐标系,它是一个三维直角坐标系(xw,yw,zw)。在...

    转载:

    世界坐标系,相机坐标系,图像坐标系,像素坐标系
    世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换
    在这里插入图片描述

    一、世界坐标系到相机坐标系

    世界坐标系,也称为测量坐标系,它是一个三维直角坐标系(xw,yw,zw)。在世界坐标系中可以描述相机和待测物体的空间位置。世界坐标系的位置根据实际情况自行确定。

    相机坐标系也是一个三维直角坐标系(xc,yc,zc)。相机坐标系的原点是镜头的光心,x、y轴分别与相面的两边平行,z轴为镜头的光轴,与像平面垂直。

    世界坐标系到相机坐标系的变换是刚体变换,也就是只改变物体的空间位置(平移)和朝向(旋转),而不改变物体的形状。用旋转矩阵R和平移向量t可以表示这种变换。
    在这里插入图片描述

    在齐次坐标下,旋转矩阵R是正交矩阵,可通过Rodrigues变换转换为只有三个独立变量的旋转向量。因此刚体变换用6个参数就可以表示(3个旋转向量,3个平移向量),这6个参数就是相机的外参。相机外参决定了空间点从世界坐标系到相机坐标系的变换。
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200227171533614.png

    二、相机坐标系到平面坐标系

    从相机坐标系到平面坐标系,属于透视投影关系,从3D转换到2D。

    平面坐标系,用物理单位表示像素的位置,单位是mm。坐标原点为摄像机光轴与图像坐标系的交点位置。

    在这里插入图片描述
    这一步完成了相机坐标系到理想的图像坐标系的转换,因为我们默认各个坐标系的变换是线性的。但实际上由于相机镜头中的镜片因为光线的通过产生不规则的折射,总是存在镜头畸变的。畸变的引入使得成像模型中的几何变换关系变为非线性。

    三、平面坐标系到像素坐标系

    像素坐标系以像素为单位,坐标原点在左上角。

    在这里插入图片描述
    把四个转换综合起来就是
    在这里插入图片描述

    展开全文
  • 世界坐标系-相机坐标系相机坐标系相对于世界坐标系的转换矩阵 相机坐标系-图像坐标系:属于透视投影关系,真实世界中的景象投射到相机中的转换矩阵,在这个过程中,损失了 景物深度 图像坐标系-像素坐标系:...

    世界坐标系-相机坐标系:相机坐标系相对于世界坐标系的转换矩阵

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述相机坐标系-图像坐标系:属于透视投影关系,真实世界中的景象投射到相机中的转换矩阵,在这个过程中,损失了 景物深度
    在这里插入图片描述
    图像坐标系-像素坐标系:像素和图像间的比例关系
    在这里插入图片描述
    在这里插入图片描述
    参考

    展开全文
  • 物体再空间中的坐标,说白了就是除了相机坐标系外(其实相等也没关系)的另一个坐标系,可以以空间任意一个点建立坐标系 相机坐标系 相机的成像是位于感光元件上,可以想象再往里存在一个相机的原点,以它建立...
  • 令R,T表示世界坐标系转换到相机坐标系的旋转矩阵和平移矢量,则P在相机坐标系的坐标为 (2)相机坐标系->图像坐标系 由上图的相似三角形可以得到: (3)图像坐标系->像素坐标系 如下图,(u,v)是P的像素坐标,...
  • 1、世界坐标系到相机坐标系之间的转换:世界坐标系是真实世界的基准坐标系,我们需要知道相机坐标系下的点在世界坐标中的位置,利用齐次坐标转换矩阵。 2、相机坐标系到图像坐标系之间的转换:该转换可以看成简单的...
  • 一、各坐标系介绍图像处理、立体视觉经常涉及到世界坐标系、相机坐标系、图像坐标系和像素坐标系。如下图所示:世界坐标系是为了确定相机的位置,在双目视觉中一般将世界坐标系原点定在左相机、右相机或两者X轴方向...
  • 相机坐标系(camera coordinate system):在相机上建立的坐标系,为了从相机的角度描述物体位置而定义,作为沟通世界坐标系和图像/像素坐标系的中间一环。单位为m。 图像坐标系(image coordinate...
  • 世界坐标系,相机坐标系,图像坐标系,图像像素坐标系这四个坐标系的转换实质就是刚体变换、透视投影和数字化图像这几个成像里的步骤。 一、世界坐标系到相机坐标系 世界坐标系,也称为测量坐标系,它是一个三维...
  • 世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换 图像处理、立体视觉等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图: 构建世界坐标系只是为了更好的描述...
  • 对于图像坐标系,相机坐标系和世界坐标系的学习和自己的一些理解,如果有错误欢迎指正和讨论。 图像坐标系 1.图像像素坐标系 原点:图像左上角P0点  单位:像素  横坐标u:图像数组中的列数  纵坐标v:图像...
  • 图像处理、立体视觉等等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系 构建世界坐标系只是为了更好的描述相机的位置在哪里,在双目视觉中一般将世界坐标系原点定在左相机或者右相机...
  • 相机坐标系和机械手坐标系的标定软件
  • 顶视图-世界坐标系-相机坐标系-Scara坐标系转换各坐标系方向转换关系标准外参转Scara外参预转换 各坐标系方向 Scara 和 针孔相机 由于指向方向不固定,相机坐标系仅供参考。 Scara 相机坐标系 后:xxx, 右:yyy,...
  • 这个过程中会涉及到四个坐标系,即世界坐标系、相机坐标系、图像坐标系、像素坐标系。下面将详细介绍四个坐标系的转换过程。首先,用一张图来直观表示四个坐标系之间空间的关系图中,下标w表示的是世界坐标系,下标c...
  • 参考博客1参考博客2世界 ——&... 图像 (内参:f)从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D。此时投影点p的单位还是mm,并不是pixel,需要进一步转换到像素坐标系f表示焦距。[Xc,Yc,Zc]T表示相机...
  • 三维视觉基础之世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换关系一、各坐标系介绍二、世界坐标系和相机坐标系之间的转换三、相机坐标系和图像坐标系之间的转换四、图像坐标系和像素坐标系之间的转换五...
  • 三维视觉基础之世界坐标系、相机坐标系、图像坐标系和像素坐标系之间的转换关系 一、各坐标系介绍 二、世界坐标系和相机坐标系之间的转换 三、相机坐标系和图像坐标系之间的转换 四、图像坐标系和像素坐标系...
  • 世界坐标系,相机坐标系和图像坐标系的转换(Python)相机内参外参说明:https://panjinquan.blog.csdn.net/article/details/102502213计算机视觉:相机成像原理:世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的...
  • 相机的成像过程涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。这篇博客介绍相机的成像过程,以及四个坐标系之间的装换关系。世界坐标系:是客观三维世界的绝对坐标系,也称客观坐标系。因为...
  • 在视觉 SLAM 中,我们引入了 4 个坐标...世界坐标系与相机坐标系之间仅相差一个旋转和一个平移,我们将图像中的坐标系旋转到与世界坐标系相同的方向,再将两个原点通过平移重合到一起即可完成变换。 1、旋转矩阵 ...
  • 我觉得首先我们要理解相机模型中的四个平面坐标系的关系:像素平面坐标系(u,v)、像平面坐标系(图像物理坐标第(x,y)、相机坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw),在每一篇介绍相机模型的文章中都有介绍。...
  • 我觉得首先我们要理解相机模型中的四个平面坐标系的关系:像素平面坐标系(u,v)、像平面坐标系(图像物理坐标第(x,y)、相机坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw),在每一篇介绍相机模型的文章中...
  • OpenCV学习——图像坐标系,相机坐标系和世界坐标系
  • 设该坐标系下存在一个物体P的坐标为(X, Y, C)相机坐标系:以相机光点为中心,X,Y轴平行于图像的两条边,光轴为Z轴所建立的坐标系。用(Xc, Yc, Zc)表示物体P在相机坐标系下的位置。世界坐标系和相机坐标系的关系:...
  • 相机坐标系转换

    2020-11-25 15:12:12
    这篇文章中清楚的讲述了相机坐标系的转化关系 计算机视觉:相机成像原理:世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换 相机外参:就是用来将世界坐标系转换到相机坐标系的 相机内参:就是用来将图像...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,199
精华内容 879
关键字:

相机坐标系