相机参数矫正理解

参考文档

根据三角相似原理,可以将image plane替换成virtual image plane,然后就得到下图:

将3D点P=(X,Y,Z)T$P=(X,Y,Z{)}^T$投影到2D点p=(x,y)T$p=(x,y{)}^T$, f$f$为焦距

• 如果是最简单的正交投影:
  
  XZ=xf,YZ=yf⇒x=fXZ,y=fYZ$$\begin{gathered} \frac{X}{Z}=\frac{x}{f},\frac{Y}{Z}=\frac{y}{f} \\ \Rightarrow x=f\frac{X}{Z},y=f\frac{Y}{Z} \end{gathered}$$
• 但是摄像头感知的像素点可能不是正方形的,所以,在x,y$x,y$方向可能有不同的尺度缩放因子:k,l$k,l$
  
  x=kfXZ,y=lfYZ可重写为:x=fxXZ,y=fyYZ$$\begin{gathered} x=kf\frac{X}{Z},y=lf\frac{Y}{Z} \\ \text{可重写为:}x=f_x\frac{X}{Z},y=f_y\frac{Y}{Z} \end{gathered}$$

• 相机中心(上图中的点c)可能不在坐标系原点,所以可以定义相机中心的坐标为(cx,cy)$(c_x,c_y)$
  

  x=fxXZ+cx,y=fyYZ+cy那么,内参矩阵:K=⎡⎣⎢⎢⎢fx000fy0cxcy1⎤⎦⎥⎥⎥$$\begin{gathered} x=f_x\frac{X}{Z}+c_x,y=f_y\frac{Y}{Z}+c_y \\ \text{那么,内参矩阵}:K=\left[\begin{array}{lll}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right] \end{gathered}$$

  ---

• 上面推理成立的条件是相机帧(Camera frame)和世界帧(World frame)是对齐的,也就是相机帧和世界帧是平行的,而且相机帧所在的位置为联合坐标系中z=0$z=0$.可以利用旋转矩阵CWR${}_W^{C}R$和偏移矩阵CWT${}_W^{C}T$进行转化,C表示camera frame, W 表示 world frame:
  

  CX=CWR∗WX+CWT$${}^{C}X={}_W^{C}R\ast {}^{W}X+{}_W^{C}T$$
  
  CX${}^{C}X$: Coordinates of 3D scene point in camera frame.
  WX${}^{W}X$: Coordinates of 3D scene point in world frame.
  CWR${}_W^{C}R$: Rotation matrix of world frame in camera frame
  CWT${}_W^{C}T$: Position of world frame’s origin in camera frame
  偏移矩阵:T=⎡⎣⎢⎢TXTYTZ⎤⎦⎥⎥$T=\left[\begin{array}{l}{T}_X\\ T_Y\\ T_Z\end{array}\right]$,旋转矩阵:R=⎡⎣⎢⎢r11r21r31r12r22r32r13r23r33⎤⎦⎥⎥$R=\left[\begin{array}{lll}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]$
  旋转矩阵是正交的:
  
  RTR=I$$R^{T}R=I$$
  
  因此,R−1=RT$R^{-1}=R^T$.假如:R=⎡⎣⎢⎢⎢RT1RT2RT3⎤⎦⎥⎥⎥,$R=\left[\begin{array}{l}{R}_1^T\\ R_2^T\\ R_3^T\end{array}\right],$那么:
  
  RTiRj={10if i==jotherwise$$R_i^T{R}_j=\{\begin{array}{ll}1& \text{if }i==j\\ 0& \text{otherwise}\end{array}$$

联合内参和外参

x=KCX=K(CWR∗WX+CWT)$$x=K{}^{C}X=K({}_W^{C}R\ast {}^{W}X+{}_W^{C}T)$$