MV：成像几何(1)

1. 实物与图片坐标之间的转换

示例：用图像引导机器人的针头插入
任务:根据器官的透视投影图像进行多根针插入
真实世界坐标中的目标物体被摄像头捕捉到，并在图片坐标中存储为图片。（假设所有目标物都在同一平面）机器人以此为判断依据，把针头插入目标物。

1.1 校准

Calibration校准，是识别转换参数的过程

图片：
$\begin{bmatrix} x \\ y \end{bmatrix}$[xy​]
物体：
$\begin{bmatrix} X \\ Y \end{bmatrix}$[XY​]
$\begin{bmatrix} x \\ y \end{bmatrix}=PRT \begin{bmatrix} X \\ Y \end{bmatrix}$[xy​]=PRT[XY​]
T: translation平移 R: rotation旋转 P:perspective projection透视投影
$T(-w):\begin{bmatrix} X \\ Y \end{bmatrix}+ \begin{bmatrix} -v_x \\ -v_y \end{bmatrix}= \begin{bmatrix} X' \\ Y' \end{bmatrix}$T(−w):[XY​]+[−vx​−vy​​]=[X′Y′​]

$R(-\alpha):\begin{bmatrix} cos\alpha & -sin\alpha\\ sin\alpha & cos\alpha \end{bmatrix} \begin{bmatrix} X' \\ Y' \end{bmatrix} =\begin{bmatrix} X'' \\ Y'' \end{bmatrix}$R(−α):[cosαsinα​−sinαcosα​][X′Y′​]=[X′′Y′′​]
$P: -\beta\begin{bmatrix} X'' \\ Y'' \end{bmatrix}=\begin{bmatrix} x \\ y \end{bmatrix}$P:−β[X′′Y′′​]=[xy​]
$T:\begin{bmatrix} x \\ y \end{bmatrix}= \begin{bmatrix} a_{11}&a_{12}&a_{13} \\ a_{21}&a_{22}&a_{23} \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}$T:[xy​]=[a11​a21​​a12​a22​​a13​a23​​]⎣⎡​XY1​⎦⎤​
$a_{ij}:$aij​:transformation parameters转换参数
$\begin{bmatrix} x \\ y \end{bmatrix}= \begin{bmatrix} a_{11}&a_{12}&a_{13} \\ a_{21}&a_{22}&a_{23} \end{bmatrix} \begin{bmatrix} X \\ Y \\ 1 \end{bmatrix}= \begin{bmatrix} X&Y&1&0&0&0 \\ 0&0&0&X&Y&1 \end{bmatrix} \begin{bmatrix} a_{11} \\ a_{12} \\ a_{13} \\ a_{21}\\a_{22}\\a_{23} \end{bmatrix}$[xy​]=[a11​a21​​a12​a22​​a13​a23​​]⎣⎡​XY1​⎦⎤​=[X0​Y0​10​0X​0Y​01​]⎣⎢⎢⎢⎢⎢⎢⎡​a11​a12​a13​a21​a22​a23​​⎦⎥⎥⎥⎥⎥⎥⎤​
$\begin{bmatrix} x_1 \\ y_1 \\ x_2 \\ y_2 \\ \\ x_N\\y_N\end{bmatrix}=\begin{bmatrix} X_1&Y_1&1&0&0&0 \\ 0&0&0&X_1&Y_1&1 \\ X_2&Y_2&1&0&0&0\\0&0&0&X_2&Y_2&1\\\\X_N&Y_N&1&0&0&0\\0&0&0&X_N&Y_N&1 \end{bmatrix} \begin{bmatrix} a_{11} \\ a_{12} \\ a_{13} \\ a_{21}\\a_{22}\\a_{23} \end{bmatrix}$⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​x1​y1​x2​y2​xN​yN​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​X1​0X2​0XN​0​Y1​0Y2​0YN​0​101010​0X1​0X2​0XN​​0Y1​0Y2​0YN​​010101​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤​⎣⎢⎢⎢⎢⎢⎢⎡​a11​a12​a13​a21​a22​a23​​⎦⎥⎥⎥⎥⎥⎥⎤​
$a=(X^TX)^{-1}X^Tx$a=(XTX)−1XTx是最小误差$||x-Xa||^2$∣∣x−Xa∣∣2的解（最小二乘逼近）。
（最小二乘逼近的详细推导在supply中）

假设我们做了一系列的实验，期望输出$y$y被一个关于$t$t的线性函数近似，$y=C+Dt$y=C+Dt；
$\begin{matrix} y_1=C+Dt_1 \\ y_2=C+Dt_2\\...\\y_N=C+Dt_N \end{matrix}\rightarrow \begin{bmatrix} x_1 \\ y_1 \\ ... \\ y_N\end{bmatrix}= \begin{bmatrix} 1&t_1 \\ 1&t_2 \\ ... \\ 1&t_N \end{bmatrix}\begin{bmatrix} C \\ D \end{bmatrix} \rightarrow b=Ax$y1​=C+Dt1​y2​=C+Dt2​...yN​=C+DtN​​→⎣⎢⎢⎡​x1​y1​...yN​​⎦⎥⎥⎤​=⎣⎢⎢⎡​11...1​t1​t2​tN​​⎦⎥⎥⎤​[CD​]→b=Ax
$A^TAx=A^Tb\rightarrow A^TA\begin{bmatrix} \bar{C} \\ \bar{D} \end{bmatrix}=A^Tb\rightarrow \begin{bmatrix} \bar{C} \\ \bar{D} \end{bmatrix}=(A^TA)^{-1}A^Tb\rightarrow \begin{bmatrix} \bar{C} \\ \bar{D} \end{bmatrix}=\begin{bmatrix} N&\sum t_i \\ \sum t_i & \sum t_i^2\end{bmatrix}^{-1} \begin{bmatrix} \sum y_i\\ \sum t_iy_i \end{bmatrix}$ATAx=ATb→ATA[CˉDˉ​]=ATb→[CˉDˉ​]=(ATA)−1ATb→[CˉDˉ​]=[N∑ti​​∑ti​∑ti2​​]−1[∑yi​∑ti​yi​​]

2. 齐次坐标

Homogeneous coordinates齐次坐标，齐次向量对应于一条经过原点的直线。

$\begin{bmatrix} x \\ y \\ z \end{bmatrix} \leftrightarrow \begin{bmatrix} kx \\ ky \\ kz\\1 \end{bmatrix},k\neq0$⎣⎡​xyz​⎦⎤​↔⎣⎢⎢⎡​kxkykz1​⎦⎥⎥⎤​,k​=0
齐次坐标的优势：平移和透视变换可以用矩阵形式表示，连续几何变换可以表示为具有矩阵乘法的一系列矩阵。

图像点：
$u_i=\begin{bmatrix} x_i \\ y_i \end{bmatrix} \rightarrow \hat u_i=\begin{bmatrix} kx_i \\ ky_i \\ k \end{bmatrix}$ui​=[xi​yi​​]→u^i​=⎣⎡​kxi​kyi​k​⎦⎤​
实物点：
$X_0=\begin{bmatrix} x_0 \\ y_0 \\ z_0 \end{bmatrix} \rightarrow \hat X_0=\begin{bmatrix} kx_0 \\ ky_0 \\ kz_0 \\ k \end{bmatrix}$X0​=⎣⎡​x0​y0​z0​​⎦⎤​→X^0​=⎣⎢⎢⎡​kx0​ky0​kz0​k​⎦⎥⎥⎤​
在齐次坐标的平移：
$\begin{bmatrix} x \\ y \\ z\\1 \end{bmatrix}_{new}= \begin{bmatrix} 1&0&0&t_x \\ 0&1&0&t_y \\ 0&0&0&1 \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix}$⎣⎢⎢⎡​xyz1​⎦⎥⎥⎤​new​=⎣⎡​100​010​000​tx​ty​1​⎦⎤​⎣⎢⎢⎡​xyz1​⎦⎥⎥⎤​
$T^{-1}=\begin{bmatrix} 1&0&0&-t_x \\ 0&1&0&-t_y \\ 0&0&1&-t_z\\0&0&0&1 \end{bmatrix}$T−1=⎣⎢⎢⎡​1000​0100​0010​−tx​−ty​−tz​1​⎦⎥⎥⎤​
缩放：
$S=\begin{bmatrix} S_x&0&0&0 \\ 0&S_y&0&0 \\ 0&0&S_z&0\\0&0&0&1 \end{bmatrix}$S=⎣⎢⎢⎡​Sx​000​0Sy​00​00Sz​0​0001​⎦⎥⎥⎤​
旋转：

$R_{z,\theta}=\begin{bmatrix} cos\theta & sin\theta & 0 & 0 \\ -sin\theta & cos\theta & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix} R_{x,\alpha}=\begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & cos\alpha & sin\alpha & 0 \\ 0 & -sin\alpha & cos\alpha & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix} R_{y,\beta}=\begin{bmatrix} cos\beta &0 & -sin\beta & 0 \\ 0 & 1 & 0 & 0 \\ sin\beta & 0 & cos\beta & 0 \\ 0 & 0 & 0 & 1 \end{bmatrix}$Rz,θ​=⎣⎢⎢⎡​cosθ−sinθ00​sinθcosθ00​0010​0001​⎦⎥⎥⎤​Rx,α​=⎣⎢⎢⎡​1000​0cosα−sinα0​0sinαcosα0​0001​⎦⎥⎥⎤​Ry,β​=⎣⎢⎢⎡​cosβ0sinβ0​0100​−sinβ0cosβ0​0001​⎦⎥⎥⎤​
复合变换：
$A=R_{z,\theta}ST \rightarrow P'=AP$A=Rz,θ​ST→P′=AP
透视投影：从平面上的一点到三维空间的反透视变换对应于一条直线，即一个齐次向量。

$Z>>f$Z>>f
相似三角形:
$\frac{x}{f}=-\frac{X}{Z-f}=\frac{X}{f-Z}$fx​=−Z−fX​=f−ZX​
$\frac{y}{f}=-\frac{Y}{Z-f}=\frac{Y}{f-Z}$fy​=−Z−fY​=f−ZY​
矩阵形式的透视投影：
$c_h=Pw_h=\begin{bmatrix} 1 &0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & -\frac{1}{f} & 1 \end{bmatrix}\begin{bmatrix} kX \\ kY \\ kZ \\ k \end{bmatrix}= \begin{bmatrix} kX \\ kY \\ kZ \\ -\frac{kZ}{f}+k \end{bmatrix}$ch​=Pwh​=⎣⎢⎢⎡​1000​0100​001−f1​​0001​⎦⎥⎥⎤​⎣⎢⎢⎡​kXkYkZk​⎦⎥⎥⎤​=⎣⎢⎢⎡​kXkYkZ−fkZ​+k​⎦⎥⎥⎤​
图像点的笛卡尔坐标：
$c= \begin{bmatrix} x \\ y \\ z \\ \end{bmatrix}= \begin{bmatrix} \frac{fX}{f-Z} \\ \frac{fY}{f-Z} \\ \frac{fZ}{f-Z} \end{bmatrix}$c=⎣⎡​xyz​⎦⎤​=⎣⎢⎡​f−ZfX​f−ZfY​f−ZfZ​​⎦⎥⎤​
反透视变换映射图像点回到三维:
$W_h=P^{-1}C_h$Wh​=P−1Ch​
$P^{-1}=\begin{bmatrix} 1 &0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & -\frac{1}{f} & 1 \end{bmatrix}$P−1=⎣⎢⎢⎡​1000​0100​001−f1​​0001​⎦⎥⎥⎤​

3. Camera Model and Calibration

Camera Model：
实际中，摄像机和世界系统不一致，安装在gimbal万向架上的摄像机可以调整$x$x轴和$X$X轴之间的角度和$z$z轴和$Z$Z轴之间的角度。

1.从世界坐标原点到万向节中心的平移
2.$x$x轴平移(绕$z$z轴旋转一个角度$\theta$θ)
-平移角是在$x$x轴和$X$X轴之间测量的。
3.$z$z轴的倾斜(绕$x$x轴旋转一个$\alpha$α)
-倾斜角度是测量之间的$z$z和$Z$Z轴。
4.从万向节中心到摄像机坐标系原点的平移。
5.从意象点到世界点的透视转换。
$C_h=PT(r)R_x(\alpha)R_z(\theta)T(w_0)W_h$Ch​=PT(r)Rx​(α)Rz​(θ)T(w0​)Wh​
在齐次坐标下，场景点或实物点在世界坐标$X$X上的投影到图像点$u$u由一个简单的线性映射给出。
$u=MX\rightarrow \begin{bmatrix} kX \\ kY \\ kZ \\ k \end{bmatrix}= \begin{bmatrix} a_{11} & a_{12} &a_{13}&a_{14}\\ a_{21} & a_{22} &a_{23}&a_{24}\\ a_{31} & a_{32} &a_{33}&a_{34}\\ a_{41} & a_{42} &a_{43}&a_{44}\\ \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$u=MX→⎣⎢⎢⎡​kXkYkZk​⎦⎥⎥⎤​=⎣⎢⎢⎡​a11​a21​a31​a41​​a12​a22​a32​a42​​a13​a23​a33​a43​​a14​a24​a34​a44​​⎦⎥⎥⎤​⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​
如果缩放系数为1：
$\begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}= \begin{bmatrix} a_{11} & a_{12} &a_{13}&a_{14}\\ a_{21} & a_{22} &a_{23}&a_{24}\\ a_{31} & a_{32} &a_{33}&a_{34}\\ a_{41} & a_{42} &a_{43}&a_{44}\\ \end{bmatrix} \begin{bmatrix} x \\ y \\ z \\ 1 \end{bmatrix}$⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​=⎣⎢⎢⎡​a11​a21​a31​a41​​a12​a22​a32​a42​​a13​a23​a33​a43​​a14​a24​a34​a44​​⎦⎥⎥⎤​⎣⎢⎢⎡​xyz1​⎦⎥⎥⎤​
在接收平面上$z=0$z=0，忽略掉$z$z项：
$\begin{bmatrix} x \\ y \\ 1 \end{bmatrix}= \begin{bmatrix} a_{11} & a_{12} &a_{13}&a_{14}\\ a_{21} & a_{22} &a_{23}&a_{24}\\ a_{31} & a_{32} &a_{33}&a_{34}\\ a_{41} & a_{42} &a_{43}&1\\ \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}$⎣⎡​xy1​⎦⎤​=⎣⎢⎢⎡​a11​a21​a31​a41​​a12​a22​a32​a42​​a13​a23​a33​a43​​a14​a24​a34​1​⎦⎥⎥⎤​⎣⎢⎢⎡​XYZ1​⎦⎥⎥⎤​
有11个自由参数，可以改写为：
$\begin{bmatrix} x \\ y \end{bmatrix}=X\alpha \\ X= \begin{bmatrix} X&Y&Z&1&0&0&0&0&-xX&-xY&-xZ \\ 0 &0& 0& 0 &X&Y&Z&1&-yX&-yY&-yZ \end{bmatrix} \alpha= \begin{bmatrix} \alpha_1 \\ \alpha_2 \\ \alpha_3 \\ \alpha_4 \\ \alpha_5 \\ \alpha_6 \\ \alpha_7 \\ \alpha_8 \\ \alpha_9 \\ \alpha_{10} \\ \alpha_{11} \\ \end{bmatrix}$[xy​]=XαX=[X0​Y0​Z0​10​0X​0Y​0Z​01​−xX−yX​−xY−yY​−xZ−yZ​]α=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​α1​α2​α3​α4​α5​α6​α7​α8​α9​α10​α11​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​