两视图几何

• 基本矩阵F$F$的代数推导
  

  x反向投影：X(λ)=P+x+λC，PP+=I$$x反向投影：X(\lambda )=P^{+}x+\lambda C，P{P}^{+}=I$$
  
  
  l′:(P′C)×(P′P+x）=[e′]×P′P+x$$l^{\prime }:(P^{\prime }C)\times (P^{\prime }{P}^{+}x）=[e^{\prime }{]}_{\times }{P}^{\prime }{P}^{+}x$$
  
  
  F=[e′]×P′P+$$F=[e^{\prime }{]}_{\times }{P}^{\prime }{P}^{+}$$

• 其他表示
  

  P=K[I|0],P′=K′[R|t]$$P=K[I|0],P^{\prime }=K^{\prime }[R|t]$$
  
  
  则，P+=[K−10T],C=[01]$$则，P^{+}=\left[\begin{array}{c}{K}^{-1}\\ 0^T\end{array}\right],C=\left[\begin{array}{c}0\\ 1\end{array}\right]$$
  
  
  e=P[−RTt1]=KRTt,  e′=P′[01]=K′t$$e=P\left[\begin{array}{c}-R^{T}t\\ 1\end{array}\right]=K{R}^{T}t,e^{\prime }=P^{\prime }\left[\begin{array}{c}0\\ 1\end{array}\right]=K^{\prime }t$$
  
  
  F=[e′]×K′RK−1=K′−T[t]×RK−1=K′−TR[RTt]×K−1=K′−TRKT[e]×$$F=[e^{\prime }{]}_{\times }{K}^{\prime }R{K}^{-1}=K^{\prime -T}[t{]}_{\times }R{K}^{-1}=K^{\prime -T}R[R^{T}t{]}_{\times }{K}^{-1}=K^{\prime -T}R{K}^T[e{]}_{\times }$$

• 因为[e′]×$[e^{\prime }{]}_{\times }$的秩是2，射影F$F$的秩是2

• 基本矩阵的性质
  (1) F:(P,P′),  FT：(P′,P)$F:(P,P^{\prime }),F^T：(P^{\prime },P)$
  (2) l′=Fx,  l=FTx′$l^{\prime }=Fx,l=F^T{x}^{\prime }$
  (3) 对极点：Fe=0,FTe′=0$Fe=0,F^T{e}^{\prime }=0$
  (4) F$F$是秩2，自由度是7的齐次矩阵

• 对极线单应,l和l′$l和l^{\prime }$是对极线，k是不过对极点e的任何直线
  

  l′=F[k]×l,   l=FT[k′]×l′$$l^{\prime }=F[k{]}_{\times }l,l=F^T[k^{\prime }{]}_{\times }{l}^{\prime }$$
  
  

由特殊运动产生的基本矩阵

• 纯平移，F=[e′]×K′RK−1=[e′]×$F=[e^{\prime }{]}_{\times }{K}^{\prime }R{K}^{-1}=[e^{\prime }{]}_{\times }$
  
  

  x=(x,y,1)T,  Zx=PX=K[I|0](X,Y,Z,1)T,因为等号右边的第三个数是Z$$x=(x,y,1{)}^T,Zx=PX=K[I|0](X,Y,Z,1{)}^T,因为等号右边的第三个数是Z$$
  
  
  (X,Y,Z)T=ZK−1X,   Zx′=P′X=K[I|t](X,Y,Z,1)T=Zx+Kt/Z$$(X,Y,Z{)}^T=Z{K}^{-1}X,Z{x}^{\prime }=P^{\prime }X=K[I|t](X,Y,Z,1{)}^T=Zx+Kt/Z$$
  
  可以看出，相同的t$t$，Z$Z$越大，变化越小。可参考由火车窗口向外看的情况

• 一般运动，可以先旋转，在针对K不同可以增加变换，使得转换为上面的情况
  

  P=K[I|0],   P′=K′[R|t]$$P=K[I|0],P^{\prime }=K^{\prime }[R|t]$$
  
  射影变换H=K′RK−1$H=K^{\prime }R{K}^{-1}$（不改变摄像机中心），将第一幅图P↦K′[R|0]$P\mapsto K^{\prime }[R|0]$，之后有x′T[e′]xHx=0,  F=x′T[e′]xHx$x^{\prime T}[e^{\prime }{]}_{x}Hx=0,F=x^{\prime T}[e^{\prime }{]}_{x}Hx$，得x′=K′RK−1x+K′t/Z$x^{\prime }=K^{\prime }R{K}^{-1}x+K^{\prime }t/Z$

恢复摄像机矩阵

• H$H$表示3维射影变换的一个4×4矩阵，那么(P,P′)和(PH,P′H)$(P,P^{\prime })和(PH,P^{\prime }H)$的基本矩阵是相同的。也就是说由基本矩阵来确定摄像机矩阵最好的结果也要相差一个右乘3D射影变换

• 非零矩阵F$F$是(P,P′)$(P,P^{\prime })$的基本矩阵⟺P′TFP$⟺P^{\prime T}FP$是反对称矩阵

• 基本矩阵F$F$，可以选择P=[I|0],   P′=[[e′]×F|e′]$P=[I|0],P^{\prime }=[[e^{\prime }{]}_{\times }F|e^{\prime }]$，P′=[[e′]×F+e′vT|λe′]$P^{\prime }=[[e^{\prime }{]}_{\times }F+e^{\prime }{v}^T|\lambda e^{\prime }]$。其中，v$v$是任何3维矢量，λ$\lambda$是一个正标量

本质矩阵

• 归一化坐标：x^=K−1X=[R|t]X$\hat{x}=K^{-1}X=[R|t]X$
• P=[I|0], P′=[R|t],  E=[t]×R=K′TFK$P=[I|0],P^{\prime }=[R|t],E=[t{]}_{\times }R=K^{\prime T}FK$

• E$E$的自由度是5，3+3-1

• E$E$是本质矩阵⟺$⟺$它的奇异值中有2个相等而第三个是0

• 已知本质矩阵E=Udiag(1,1,0)VT$E=Udiag(1,1,0)V^T$和第一个摄像机矩阵P=[I|0]$P=[I|0]$，那么P′$P^{\prime }$有4中可能
  

  P′=[UWVT|u3],  [UWVT|−u3],  [UWTVT|u3],  [UWTVT|−u3]$$P^{\prime }=[UW{V}^T|u_3],[UW{V}^T|-u_3],[U{W}^T{V}^T|u_3],[U{W}^T{V}^T|-u_3]$$
  
  
  W=⎡⎣⎢010−100001⎤⎦⎥$$W=\left[\begin{array}{ccc}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right]$$
  
  只要用一个重构点X$X$作测试，验证它是否两个摄像机前面就可以确定唯一一个

应用

求出F$F$，进而求出本质矩阵E$E$，进而可以求出P′$P^{\prime }$。这样2个相机的相对位置和旋转就可知