像素坐标系_python获取图片中像素点的坐标系 - CSDN
精华内容
参与话题
  • 图像处理、立体视觉等等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图: 构建世界坐标系只是为了更好的描述相机的位置在哪里,在双目视觉中一般将世界坐标系原点定在左相机...

    转:https://blog.csdn.net/chentravelling/article/details/53558096

     

    1.正文

    图像处理、立体视觉等等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图:
    这里写图片描述
    构建世界坐标系只是为了更好的描述相机的位置在哪里,在双目视觉中一般将世界坐标系原点定在左相机或者右相机或者二者X轴方向的中点。
    接下来的重点,就是关于这几个坐标系的转换。也就是说,一个现实中的物体是如何在图像中成像的。

    1.1世界坐标系与相机坐标系

    这里写图片描述

    于是,从世界坐标系到相机坐标系,涉及到旋转和平移(其实所有的运动也可以用旋转矩阵和平移向量来描述)。绕着不同的坐标轴旋转不同的角度,得到相应的旋转矩阵,如下图所示:
    这里写图片描述

    那么从世界坐标系到相机坐标系的转换关系如下所示:
    这里写图片描述

    1.2相机坐标系与图像坐标系

    从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D。
    这里写图片描述
    此时投影点p的单位还是mm,并不是pixel,需要进一步转换到像素坐标系。

    1.3图像坐标系与像素坐标系

    像素坐标系和图像坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm,属于物理单位,而像素坐标系的单位是pixel,我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下:其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm
    这里写图片描述

    那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。
    这里写图片描述

    其中相机的内参和外参可以通过张正友标定获取(戳这里查看张正友标定的资料)。通过最终的转换关系来看,一个三维中的坐标点,的确可以在图像中找到一个对应的像素点,但是反过来,通过图像中的一个点找到它在三维中对应的点就很成了一个问题,因为我们并不知道等式左边的Zc的值。
    关于三维重建不是我的方向,但是深度值的获取是我项目中的一个需要解决的问题,这将涉及到后面的立体视觉知识。

    展开全文
  • 世界坐标系、相机坐标系、图像平面坐标系

    万次阅读 多人点赞 2018-07-12 18:04:09
    一、四个坐标系简介和转换 相机模型为以后一切标定算法的关键,只有这边有相当透彻的理解,对以后的标定算法才能有更好的理解。...我觉得首先我们要理解相机模型中的四个平面坐标系的关系:像素平面坐标系(u,v...

    一、四个坐标系简介和转换

    相机模型为以后一切标定算法的关键,只有这边有相当透彻的理解,对以后的标定算法才能有更好的理解。本人研究了好长时间,几乎每天都重复看几遍,最终才会明白其推导过程。
         我觉得首先我们要理解相机模型中的四个平面坐标系的关系:像素平面坐标系(u,v)、像平面坐标系(图像物理坐标第(x,y)、相机坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw),在每一篇介绍相机模型的文章中都有介绍。
         我刚开始理解时,看着那一堆的公式十分的头晕,我相信很多初学者和我一样,但仔细想想,只不过是,我们假设了一些参数,使四个坐标系之间的坐标联系起来,这样我们就可以从拍摄的图片上一个点坐标一路反推出世界中的那个点的坐标,这样就达到了我们的目的,三维重建。而那些我们假设的参数,就是我们要标定的内外参数。


    1、像素坐标与像平面坐标系之间的关系 
          确定他们的关系之前,我们可以假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy。仔细看下他们的模型可以推出以下公式(这个还是比较好理解的):






    解释:1、dx,dy,u0,v0其实都是我们假设出来的参数,dxdy表示感光芯片上像素的实际大小,是连接像素坐标系和真实尺寸坐标系的,u0,v0是图像平面中心,最终是要我们求的内外参数。
    得出这个公式后我们可以运用线性代数的知识把方程用矩阵形式表示:

    当然我们也可以用另一种矩阵形式表示:

    2、相机坐标系与世界坐标系之间的关系 

         这两个坐标系之间的关系我们可以旋转矩阵R和平移矩阵T来得到以下关系:


                                           

                                                                        公式4

       解释:1、 在这个公式中,R为3*3矩阵,T为3*1,0为(0,0,0),简化用Lw表示后为4*4矩阵。

    3、成像投影关系(相机坐标系与像平面坐标系) 


         在相机模型中我们可以得到以下公式:


                                           

                                                                     公式5

               解释:1、

    同样我们用矩阵形式表示:

                                              

                                                                           公式6


    4、得到公式


    而我们可以将以上公式综合一下就可以得到:

      

    因此,内参数矩阵可以表示为:

    =


    外参矩阵可以表示为:,由旋转矩阵R和平移向量T组成


    当然在好多资料上都有这种做法:



    上图中表示的情况是像素坐标系和图像物理坐标系的两个坐标轴不是平行的关系,像素坐标系的两个坐标轴也不是垂直90°的关系,而图像物理坐标系的两个坐标轴是垂直关系。所以,我们在转换两个坐标轴的坐标之间的关系时就必须考虑像素坐标系两个坐标轴之间的夹角了。就有了上面的不同的内参矩阵,理解了就好了。


    二、图像坐标:我想和世界坐标谈谈(B)

             玉米将在这篇博文中,对图像坐标与世界坐标的这场对话中涉及的第二个问题:谈话方式,进行总结。世界坐标是怎样变换进摄像机,投影成图像坐标的呢?

            玉米做了一个简单的图示,在这里做一个提纲。图中显示,世界坐标系通过刚体变换到达摄像机坐标系,然后摄像机坐标系通过透视投影变换到达图像坐标系。可以看出,世界坐标与图像坐标的关系建立在刚体变换和透视投影变换的基础上。为了奖励刚体变和透视投影变换沟通了“世界上最远的距离”,玉米在图上奖励了他们两朵小红花。哈哈


     首先,让我们来看一下刚体变换是如何将世界坐标系与图像坐标系联系起来的吧。这里,先对刚体变换做一个介绍:

            刚体变换(regidbody motion):三维空间中, 当物体不发生形变时,对一个几何物体作旋转, 平移运动,称之为刚体变换

    因为世界坐标系和摄像机坐标都是右手坐标系,所以其不会发生形变。我们想把世界坐标系下的坐标转换到摄像机坐标下的坐标,如下图所示,可以通过刚体变换的方式。空间中一个坐标系,总可以通过刚体变换转换到另外一个个坐标系的。转一转,走一走,就到另外一个坐标系下了。以前可能是面朝大海,经过平移旋转,最终可能只能面朝冰山了,哈哈


    下面让我来看一下,二者之间刚体变化的数学表达。


    其中,XC代表摄像机坐标系,X代表世界坐标系。R代表旋转,T代表平移。R、T与摄像机无关,所以称这两个参数为摄像机的外参数(extrinsic parameter)可以理解为两个坐标原点之间的距离,因其受x,y,z三个方向上的分量共同控制,所以其具有三个自由度。

             R则为分别绕XYZ三轴旋转的效果之和。如下面所示:



     R=r1*r2*r3.其由三个方向的θ控制,故具有三个自由度。

               好了,刚体变换就讲完了。大家应该都了解,世界坐标系到摄像机坐标系之间的转换过程了吧。

              接下来,让我们看看摄像机坐标下的坐标如何投影到图像坐标系下,最终变为照片中的一个像素。这其中包含两个过程:一是从摄像机坐标到“空间图像坐标”(x,y)所发生的透视投影;二是从“连续图像坐标”到“离散图像坐标”(u,v)。后者我们已经在第一篇博文中解释过。所以在这里,主要介绍一下透视投影。

             透视投影(perspective projection): 用中心投影法将形体投射到投影面上,从而获得的一种较为接近视觉效果的单面投影图。有一点像皮影戏。它符合人们心理习惯,即离视点近的物体大,离视点远的物体小,不平行于成像平面的平行线会相交于消隐点(vanish point)。

             啰嗦这么多,其实大家看看示意图,看看公式,秒懂。


      以图中B(XB,YB)点为例,在小孔成像摄像机模型下(几何分析的最常用模型)。这里的f为摄像机的焦距,其属于摄像机的内参数(intrinsic parameter)。其在成像平面上的投影点b(xb,yb)的坐标利用简单的相似三角形比例关系很容易求出:


    上面两式也阐明了摄像机坐标与图像坐标之间的透视投影关系。

                好吧,现在玉米已经把图像坐标与世界坐标之间的这场对话所需经历的三个波折的过程加以了解释。即:刚体变换、透视投影、(x,y)换(u,v)(ps.这个在上一篇博文中讲过)。接下来玉米用一张图把三个过程连接起来。实现从世界坐标(X,Y,Z)到(u,v)之间的转换。让图像坐标与世界坐标直接对话。

             下图中的转换关系,都是用齐次坐标表达的,大家会发现这样的表达非常整洁。

             其实这张图显示的过程还有一个名字:摄像机模型(camera model)。其实也就是摄像机的几何模型了。

             将三者相乘,可以把这三个过程和在一起,写成一个矩阵:


    P就是世界坐标到图像坐标的直接联系人,P就表示了一个投影相机,有下面公式:


    注意在表示齐次坐标时,需要在符号上面加个小帽子。除去齐次坐标控制位P23P具有11个自由度。


           摄像机模型及其中涉及的坐标系等,是弄清3D重建几何框架的基础。可以把它们视为基本运算关系。后面对于三维重建几何框架的推导,都是要用到三个基本坐标系和摄像机模型的。

            </div>
                </div>
    
    展开全文
  •   0.前言 最近整理了“相机成像原理”和“视差与深度信息”相关的资料,然后做成了PPT,以备自己用,也提供给相关的...图像处理、立体视觉等等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、...

    来源:https://blog.csdn.net/chentravelling/article/details/53558096

     

    0.前言

    最近整理了“相机成像原理”和“视差与深度信息”相关的资料,然后做成了PPT,以备自己用,也提供给相关的图像、视觉方向的朋友参考。如有误,望海涵并指出。

    1.正文

    图像处理、立体视觉等等方向常常涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。例如下图: 
    这里写图片描述 
    构建世界坐标系只是为了更好的描述相机的位置在哪里,在双目视觉中一般将世界坐标系原点定在左相机或者右相机或者二者X轴方向的中点。 
    接下来的重点,就是关于这几个坐标系的转换。也就是说,一个现实中的物体是如何在图像中成像的。

    1.1世界坐标系与相机坐标系

    这里写图片描述

    于是,从世界坐标系到相机坐标系,涉及到旋转和平移(其实所有的运动也可以用旋转矩阵和平移向量来描述)。绕着不同的坐标轴旋转不同的角度,得到相应的旋转矩阵,如下图所示: 
    这里写图片描述

    那么从世界坐标系到相机坐标系的转换关系如下所示: 
    这里写图片描述

    1.2相机坐标系与图像坐标系

    从相机坐标系到图像坐标系,属于透视投影关系,从3D转换到2D。 
    这里写图片描述 
    此时投影点p的单位还是mm,并不是pixel,需要进一步转换到像素坐标系。

    1.3图像坐标系与像素坐标系

    像素坐标系和图像坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm,属于物理单位,而像素坐标系的单位是pixel,我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下:其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm 
    这里写图片描述

    那么通过上面四个坐标系的转换就可以得到一个点从世界坐标系如何转换到像素坐标系的。 
    这里写图片描述

    其中相机的内参和外参可以通过张正友标定获取(戳这里查看张正友标定的资料)。通过最终的转换关系来看,一个三维中的坐标点,的确可以在图像中找到一个对应的像素点,但是反过来,通过图像中的一个点找到它在三维中对应的点就很成了一个问题,因为我们并不知道等式左边的Zc的值。 
    关于三维重建不是我的方向,但是深度值的获取是我项目中的一个需要解决的问题,这将涉及到后面的立体视觉知识。

    展开全文
  • 一文理解像素坐标系、图像坐标系、相机坐标系、世界坐标系

    光心

    可以把凸透镜的几何中心近似看作是光心,因为实际上两者不重合。

    焦距

    是成像平面或者像素平面和光心之间的距离,焦距越大,人细节越清楚,视角越小;焦距越小,视野越广,但细节越看不清。
    在这里插入图片描述

    世界坐标系

    世界坐标系是为了描述相机的位置而被引入的,平移向量T是第一个坐标原点与第二个坐标原点的偏移量;
    世界坐标系(Ow,以空间一点为原点)

    世界坐标系(world coordinate)(xw,yw,zw),也称为测量坐标系,是一个三维直角坐标系,以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。

    map
    The coordinate frame called map is a world fixed frame, with its Z-axis pointing upwards.
    就是世界坐标系

    相机坐标系

    相机坐标系(Oc以小孔即光心为原点) (Xc,Yc,Zc)至图像坐标系(x,y)
    根据小孔成像原理,图像坐标系应在相机坐标系的另一边,为倒立反向成像,但为方便理解和计算,故投影至同侧。

    相机坐标系(camera coordinate)(xc,yc,zc),也是一个三维直角坐标系,原点位于镜头光心处,x、y轴分别与相面的两边平行,z轴为镜头光轴,与像平面垂直。
    在这里插入图片描述odom
    The coordinate frame called odom is a world-fixed frame.
    odom就是ium坐标系,和相机坐标系同级

    base_link
    The coordinate frame called base_link is rigidly attached to the mobile robot base.
    就是机器人坐标系,机器人上面可以放相机、IMU、轮式里程计等传感器

    图像物理坐标系

    成像平面坐标系(x,y):像素坐标系不利于坐标变换,因此需要建立图像坐标系XOY,其坐标轴的单位通常为毫米(mm),原点是相机光轴与相面的交点(称为主点),即图像的中心点,X轴、Y轴分别与u轴、v轴平行。故两个坐标系实际是平移关系,即可以通过平移就可得到。
    图像物理坐标系(O1以像平面中心为原点)

    像素坐标系

    像素坐标系uov是一个二维直角坐标系,反映了相机CCD/CMOS芯片中像素的排列情况。原点o位于图像的左上角,u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)。
    图像像素坐标系(O以像平面左下角为原点)

    像素坐标系和图像坐标系都在成像平面上,只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点,通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm,属于物理单位,而像素坐标系的单位是pixel,我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下:其中dx和dy表示每一列和每一行分别代表多少mm,即1pixel=dx mm

    重点就是u0和v0的值是在像素坐标系下的中心像素,比如600*400,那坐标就是(300,200)
    所以才可以有下面的加法

    伸缩变换及平移变换
    在这里插入图片描述
    四个坐标系之间存在着下述关系 ( 矩阵依次左乘 )
    在这里插入图片描述
    在这里插入图片描述
    一个三维中的坐标点,的确可以在图像中找到一个对应的像素点,但是反过来,通过图像中的一个点找到它在三维中对应的点就很成了一个问题,因为我们并不知道等式左边的Zc的值。

    6自由度 如何理解需要6个坐标才能确定一个刚体的位置?

    首先,在三维空间中,对于一个质点有三个自由度,需要三个坐标来确定它的位置,这一点应该无可争议。而对于一个刚体,它在三维方向有几何尺度,那么我们需要知道它的摆放方式,这种摆放方式的确定需要另外三个坐标。而为什么是三个坐标呢,因为我们需要三个夹角,刚体中的任意一条线与xyz轴的夹角,就是这三个坐标。

    如何理解其次坐标有啥用?

    在这里插入图片描述
    在这里插入图片描述

    如何理解相机外参数矩阵单应性矩阵H本征矩阵E基础矩阵F?

    1.相机外参数矩阵。告诉你现实世界点(世界坐标)是怎样经过旋转和平移,然后落到另一个现实世界点(摄像机坐标)上。

    2.相机内参数矩阵。内参数矩阵M:将空间三维点投影到像平面上的二维点(注意顺序关系)的矩阵。

    3.单应性矩阵H:一个平面上的点到另一个平面上的点的投影映射矩阵。多视场中会用到。

    4.本征矩阵E:(以双目视觉为例)将真实世界中的点P在左摄像机观测到的(左摄像机坐标系的)三维坐标Pl与右摄像机观测到的点P的(右摄像机坐标系中的)三维坐标Pl关联起来的矩阵。

    5.基础矩阵F:(以双目视觉为例)将点P投影到左摄像机图像坐标系中的二维坐标和右摄像机图像坐标系中的二维坐标点关联起来的矩阵。

    如何理解等距变换、相似变换、仿射变换和射影变换?

    等距变换就是对图像的旋转+平移 —图像相对原图大小不变。
    相似变换对图像的旋转+平移+缩放 —图像相对原图变小了一些。
    仿射变换就是对图像的旋转+平移+缩放+切变(shear),相比前两种变换图像的形状发生了改变,但是原图中的平行线仍然保持平行。
    射影变换就是对图像的旋转+平移+缩放+切变+射影,相比前三种变换图像的形变更为自由,原图中的平行线经过变换之后已经不在平行,而可能相交于一点,射影变换就是把理想点(平行直线在无穷远处相交)变换到图像上。应用示例是相机成像原理。

    展开全文
  • 像素坐标系与图像坐标系

    万次阅读 2018-08-20 15:11:09
    1. 像素坐标系: 如下图所示:像素坐标系u-v的原点为O0, 横坐标u和纵坐标v分别是图像所在的行和列, 在视觉处理库OpenCV中,u对应x,v对应y; 2. 图像坐标系: 图像坐标系x-y的原点是O1,为像素坐标系的中点...
  • 1.像素坐标系、像平面坐标希、相机坐标系、世界坐标系的定义;2.四个坐标系之间的相互转换关系
  • 世界坐标系,相机坐标系,图像坐标系,图像像素坐标系这四个坐标系的转换实质就是刚体变换、透视投影和数字化图像这几个成像里的步骤。 一、世界坐标系到相机坐标系 世界坐标系,也称为测量坐标系,它是一个三维...
  • OpenGL坐标系和像素坐标系

    千次阅读 2017-01-11 21:22:39
    像素坐标系是同样的中心点,右上是正方向,只是没有做归一化处理,是以像素为单位的。那么,归一化的坐标系和像素坐标最大的区别就是在于,像素是实际的单位,会根据像素数值所变化。而归一化坐标是一个比例,只和...
  • 一、各坐标系介绍图像处理、立体视觉经常涉及到世界坐标系、相机坐标系、图像坐标系和像素坐标系。如下图所示:世界坐标系是为了确定相机的位置,在双目视觉中一般将世界坐标系原点定在左相机、右相机或两者X轴方向...
  • 相机成像原理:世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换
  • https://blog.csdn.net/humanking7/article/details/44756073
  • 最近在做双目测距,需要用到相机标定、矫正等,但首先需要...首先要理解相机模型中的四个平面坐标系之间的关系:像素平面坐标系(u,v)、图像坐标系(x,y)、相机坐标系(Xc,Yc,Zc)和世界坐标系(Xw,Yw,Zw); ...
  • 1.我做了手眼标定之后,得到了坐标从相机坐标系到机械臂基坐标系的转换方法,但是如何得到坐标从像素坐标系到相机坐标系的转换关系,这样我就可以将坐标从像素坐标系转换到机器人基坐标系,就可以引导机器人抓取目标...
  • 世界坐标系-相机坐标系:相机坐标系相对于世界坐标系的转换矩阵 相机坐标系-图像坐标系:属于透视投影关系,真实世界中的景象投射到相机中的转换矩阵,...图像坐标系-像素坐标系:像素和图像间的比例关系 参考 ...
  • 世界坐标系与像素坐标系的点互相转换

    万次阅读 多人点赞 2017-11-27 18:42:00
    最近是多么的崩溃,昨天中了最新的cerber病毒,把我的电脑资料一扫而空,虽然有备份,但是已经是一周前的了。不得不加班加点补回来。 这篇博客,这是我第二次写,我凭着记忆,重新写一遍之前写的,因为之前写好了...
  • 最近在做自动泊车项目,利用视觉算法进行车位线检测,其中用到了二维图像坐标与世界坐标的相互转换,因此对相机的标定,相机的位姿计算研究了一番,抽空总结了一下,分享给广大网友。 在图像测量过程以及机器视觉...
  • 个坐标系: 世界坐标系、 相机坐标系、 图像坐标系、 像素坐标系以及这四个坐标系的转 换。 相机模型是光学成像模型的简化, 最基本的透镜成像原理如图1 所示: 图1透镜成像过程 其中 u 为物距, f 为焦距, v...
  • 参考博客1参考博客2世界 ——&gt; 相机 (外参:R,T ) [Xc,Yc,Zc]T表示相机坐标,[Xw,Yw,Zw,1]T表示归...此时投影点p的单位还是mm,并不是pixel,需要进一步转换到像素坐标系f表示焦距。[Xc,Yc,Zc]T表示相机...
  • 相机的成像过程涉及到四个坐标系:世界坐标系、相机坐标系、图像坐标系、像素坐标系。这篇博客介绍相机的成像过程,以及四个坐标系之间的装换关系。 相机理想成像模型: 世界坐标系: 客观三维世界的绝对坐标系,...
1 2 3 4 5 ... 20
收藏数 41,162
精华内容 16,464
关键字:

像素坐标系