双目相机一般由左眼和右眼两个水平放置的相机组成。当然也可以做成上下两个目，但我们见到的主流双目都是做成左右的。在左右双目的相机中，我们可以把两个相机都看作针孔相机。它们是水平放置的，意味两个相机的光圈中心都位于x轴上。它们的距离称为双目相机的基线（Baseline,记作b），是双目的重要参数。双目相机一般由左眼和右眼两个水平放置的相机组成。当然也可以做成上下两个目，但我们见到的主流双目都是做成左右的。在左右双目的相机中，我们可以把两个相机都看作针孔相机。它们是水平放置的，意味两个相机的光圈中心都位于x轴上。它们的距离称为双目相机的基线（Baseline,记作b），是双目的重要参数。
现在，考虑一个空间点P，它在左眼和右眼各成一像，记作PL,PR。由于相机基线的存在，这两个成像位置是不同的。理想情况下，由于左右相机只有在x轴上有位移，因此 P的像也只在x轴（对应图像的u轴）上有差异。我们记它在左侧的坐标为uL，右侧坐标为uR。那么，它们的几何关系如图1右侧所示。根据三角形P−PL−PR和P−OL−OR 的相似关系，有：
稍加整理，得：
这里d为左右图的横坐标之差，称为视差（Disparity）。根据视差，我们可以估计一个像素离相机的距离。视差与距离成反比：视差越大，距离越近。同时，由于视差最小为一个像素，于是双目的深度存在一个理论上的最大值，由fb确定。我们看到，当基线越长时，双目最大能测到的距离就会变远；反之，小型双目器件则只能测量很近的距离。
虽然由视差计算深度的公式很简洁，但视差d本身的计算却比较困难。我们需要确切地知道左眼图像某个像素出现在右眼图像的哪一个位置（即对应关系），这件事亦属于“人类觉得容易而计算机觉得困难”的事务。当我们想计算每个像素的深度时，其计算量与精度都将成为问题，而且只有在图像纹理变化丰富的地方才能计算视差。由于计算量的原因，双目深度估计仍需要使用GPU或FPGA来计算。