相机模型坐标系关系及转换

相机模型坐标系关系及转换

简介

相机模型是以后一切标定算法的关键，简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程，由投影过程求出相机的外参数和内参数。

四个坐标系

• 世界坐标系（world coordinate）(Xw,Yw,Zw$X_w,Y_w,Z_w$)，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。
• 相机坐标系（camera coordinate）(Xc,Yc,Zc$X_c,Y_c,Z_c$)，也是一个三维直角坐标系，原点位于镜头光心处，X、y轴分别与相面的两边平行，Z轴为镜头光轴，与像平面垂直。
• 成像平面坐标系 (X,Y)$(X,Y)$：像素坐标系不利于坐标变换，因此需要建立图像坐标系XOY，其坐标轴的单位通常为毫米（mm），原点是相机光轴与相面的交点（称为主点），即图像的中心点，X轴、Y轴分别与U轴、V轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。
• 像素坐标系 (U,V$U,V$)是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。原点O位于图像的左上角，U轴、V轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素（整数）。

标定过程

1. 世界坐标系转换到相机坐标系，这是三维到三维点的转换，包括R，t（相机外参，确定了相机在某个三维空间中的位置和朝向）等参数

2. 从相机坐标系转换为成像平面坐标系（像素坐标系），这是三维点到二维点的转换，包括K（相机内参，对相机物理特性的近似）等参数

   ​

坐标转换

世界坐标系转换为相机坐标系

⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥=[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥$$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ O^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$$

其中R∈R3∗3$R\in {ℝ}^{3\ast 3}$为正交旋转矩阵，t∈R3∗1$t\in {ℝ}^{3\ast 1}$ 为三维平移向量

相机坐标系转化为成像平面坐标系

设成像平面上一点坐标m(x,y)$m(x,y)$ ，对应相机坐标系点M(xc,yc,zc)$M(x_c,y_c,z_c)$相机焦距f（相机坐标系原点与成像平面原点的距离），由三角形相似原理得

x=fxcZc，y=fyczc$$x=f\frac{x_c}{Z_c}，y=f\frac{y_c}{z_c}$$

换成矩阵形式

Zc⎡⎣⎢XY1⎤⎦⎥=⎡⎣⎢f000f0001000⎤⎦⎥⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥$$Z_c\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$$

成像平面坐标系转换为像素坐标系

假定每个像素在U,V轴方向上的物理尺寸为dx,dy（实际表示感光芯片上像素的实际大小，可以理解为一个像素所表示的成像平面的尺寸大小）

由

U−U0=xdx,V−V0=ydy$$U-U_0=\frac{x}{dx},V-V_0=\frac{y}{dy}$$

得

⎡⎣⎢UV1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢XY1⎤⎦⎥$$\left[\begin{array}{c}U\\ V\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$$

世界坐标系转像素坐标系

结合上上述三个矩阵变换可得最后转换矩阵为

Zc⎡⎣⎢UV1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢f000f0001000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=⎡⎣⎢αx000αy0u0v01000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=M1M2Xw=MXw$$Z_c\left[\begin{array}{c}U\\ V\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{\alpha }_x& 0& u_0& 0\\ 0& {\alpha }_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_2{X}_w=M{X}_w$$

其中M1,M2$M_1,M_2$ 为相机的内参和外参