本章主要描述了如何利用2张图片来恢复相机的参数以及物体在三维空间中的形状。
第一个问题：三维空间的点
- 根据$x_i \leftrightarrow x^{'}_i$计算基本矩阵$F$, 其具体过程在11章叙述
- 根据F求出摄像机外参$R,T$，具体过程参见结论 9.14
- 根据$R,T$，$x_i \leftrightarrow x^{'}_i$ 求解$X_i$，这个过程叫三角化（Triangulation），具体步骤在12章
要点：三角化唯一不能确定的点就是基线上的点。因为从两个光心出发的射线互相重合了
如果我们仅仅知道若干图像，是不可能恢复出三维空间点的绝对位置。 原因如下： 我们定义相似变换$H_S$
我们有$PX_i = (PH^{-1}_s) (H_sX_i)$,因为$\lambda$是任意的，所以有很多的$H_s$可以满足前式。几何解释参见书中265页图10.2.
如果摄像机的内参也不知道，那么$H$矩阵就是不相似变换了，而是投影变换，投影变换只能保持直线还是直线，但是直线之间的角度就无法保持了。
以下介绍几种不同的重建类型。
projective reconstruction的特点是相机没有标定。
结论 10.1：如果两幅图像中若干对应点已知，具体表示为$x_i \leftrightarrow x^{'}_i$，那么我们可以求出基本矩阵$F$, 只需要$F$就可以重建出三维空间中的点。而且任意更换相机投影矩阵，对重建没有影响，因为不同重建之间是等价的（比如第一次重建用的是$P_1,P^{'}_1$,第二次重建用的是$P_2,P^{'}_2$，但是点不能换，不管第一次重建还是第二次重建，都是用$x_i \leftrightarrow x^{'}_i$）具体见书266页
Stratified reconstruction指的是先有一个projective reconstruction， 然后再把它优化到 affine reconstruction 或者metric reconstruction。当然，需要注意的是affine 和 metric reconstruction都需要额外知道一些关于重建场景本身的信息，或者相机要被标定过。
我们现有一个project reconstruction的结果，记为$(P,P^{'},{X_i})$。 现在我们需要找出一个平面$\pi$, 使其成为无穷远平面$(0,0,0,1)$在图像上的投影。则必然存在一个$H$, 满足
找到了$H$以后，把$H$作用在所有重建得到的点上，就完成了affine reconstruction。affine的意思就是说把我们得到的某平面投影到无穷远处。那么如何找出$(0,0,0,1)$到底映射到已知图像上的什么地方？以下给出几个例子
简单来说就是摄像机从不同位置拍两幅图，但是摄像机本身只能有平移，不能有旋转。那么这两幅图中有一些点是没有移动的，比如月亮，比如一条延伸到无穷远处的公路。这样的话，月亮这一点的三维坐标写成$X_i$, 在两幅图像中的坐标写成$x_i,x^{'}_i$。这样三个点就确定了一个平面。该平面就是$(0,0,0,1)$投影到拍摄图像上的结果。这两图拍摄图像对应的基本矩阵$F$是一个斜对称（skew-symmetric）矩阵。
场景约束主要目的就是为了找三个在无穷远平面上的点。比方说两个平行线为一组，可以确定无穷远平面上的一个点，这样找三组就可以了。具体步骤参见12章，13章。 另外一个需要注意的是，在一副图像中找出无穷远点以后，可以利用基本矩阵找出第二幅图像中的对应点，不用重新算一遍。
第二种方法是用相交直线之间的比例关系，具体过程参见书47页
当我们找出了无穷远平面$(0,0,0,1)$在图像中的投影，我们实质上确定了一个映射$H_{\infty}$ ，$H_{\infty}$把图像$P$中的点映射到$P^{'}$。具体可以表示为$x^{'} = H_{\infty}x_i$。
怎样求出这个$H_{\infty}$? 假设我们现在有一个affine reconstruction，两个摄像机的外参表示为$P=[M|m]$,
在这种情况下如何求出affine reconstruction。我们有以下结论：
结论 10.4
metric reconstruction的要点是找到absolute conic。 比较实际的做法是在图像中找到absolute conic，该conic反投影回无穷远处的平面，就变成了cone，那么这个cone就定义了无穷远处的absolute conic。
结论 10.5
假设图像中的absolute conic已知，记为$\omega$, affine reconstruction的相机外参已知，记为$P=[M|m]$, 那么affine reconstruction就可以利用一个矩阵$H$变成metric reconstruction.
其中$A$ 满足
我们可以把上式右边用Cholesky factorization处理，就可以得到$A$
那么接下来的问题就是如何找到图像中的absolute conic？ (用$\omega$来表示该conic)。 我们可以对该conic施加一些约束，然后再求解它。有这么几个约束：
-
被重建场景中的正交性 消失点$v_1,v_2$分别来自两个正交的直线，那么他们满足
$v_1^{T} \omega v_2 = 0$ 确定一个conic需要五个参数，那么找三对$v_1,v_2$就可以解出这个方程。或者$v_1,v_2$ 分别来自一条直线和一个平面（直线与平面正交）。 则他们满足$l=\omega v$ -
相机内参 因为$\omega = K^{-T}K^{-1}$
-
根据上一条约束，我们知道$\omega$只和相机内参有关系，跟外参没关系。那么我们可以用同一个相机在两个不同位置拍摄。这个过程可以表示为 $\omega^{'} = H^{-T}{\infty} \omega H^{-1}{\infty}$。 找出足够多的
$H_{\infty}$ 也可以解出这个方程
我们有一个projective reconstruction，我们还知道$\omega$, 把$\omega$在无穷远平面上的位置记为$\Omega_{\infty}$, 然后$\omega$所在的平面记为$\pi_{\infty}$。那么从$\omega$到$\Omega_{\infty}$的矩阵就可以求解出来，参见书342页练习题(x),知道这个矩阵，把它作用在projective的重建结果上，就得到了metric 重建的结果。
假设我们知道一些三维点的gt，记为$X_{Ei}$, 重建出来的点记为$X_i$,那么他们满足$X_{Ei} = HX_i$，因为前文说过重建时有歧义的。我们把$X_i$替换为图像中的点$x_i$, 那么就有$x_i = PH^{-1}X_{Ei}$，找出足够多的点，解这个方程就可以了。当我们知道了$H$,就可以$H$乘到相机矩阵$P,P^{'}$上，这样projective重建就变成了真实的三维坐标。
参见书277页