OpenCV 2.3 相机校准

Question

我正在尝试使用OpenCV 2.3 python 绑定来校准相机。我在 matlab 中使用了下面的数据并且校准工作，但我似乎无法让它在 OpenCV 中工作。我作为初始猜测设置的相机矩阵非常接近从 matlab 工具箱计算的答案。

import cv2
import numpy as np

obj_points = [[-9.7,3.0,4.5],[-11.1,0.5,3.1],[-8.5,0.9,2.4],[-5.8,4.4,2.7],[-4.8,1.5,0.2],[-6.7,-1.6,-0.4],[-8.7,-3.3,-0.6],[-4.3,-1.2,-2.4],[-12.4,-2.3,0.9],    [-14.1,-3.8,-0.6],[-18.9,2.9,2.9],[-14.6,2.3,4.6],[-16.0,0.8,3.0],[-18.9,-0.1,0.3],    [-16.3,-1.7,0.5],[-18.6,-2.7,-2.2]]
img_points = [[993.0,623.0],[942.0,705.0],[1023.0,720.0],[1116.0,645.0],[1136.0,764.0],[1071.0,847.0],[1003.0,885.0],[1142.0,887.0],[886.0,816.0],[827.0,883.0],[710.0,636.0],[837.0,621.0],[789.0,688.0],[699.0,759.0],[768.0,800.0],[697.0,873.0]]

obj_points = np.array(obj_points)
img_points = np.array(img_points)

w = 1680
h = 1050
size = (w,h)

camera_matrix = np.zeros((3, 3))
camera_matrix[0,0]= 2200.0
camera_matrix[1,1]= 2200.0
camera_matrix[2,2]=1.0
camera_matrix[2,0]=750.0
camera_matrix[2,1]=750.0 

dist_coefs = np.zeros(4)
results = cv2.calibrateCamera(obj_points, img_points,size, 
    camera_matrix, dist_coefs)

Answer 1

首先，您的相机矩阵是错误的。如果你阅读documentation，它应该是这样的：

fx  0 cx
 0 fy cy
 0  0  1

如果你看你的，你就搞错了：

fx  0  0
 0 fy  0
cx cy  1

首先，将camera_matrix 设置为camera_matrix.T（或更改构造camera_matrix 的方式。记住camera_matrix[i,j] 是行 i，列 j)。

camera_matrix = camera_matrix.T

接下来，我运行了你的代码，我看到“似乎无法让它工作”意味着以下错误（顺便说一下 - 总是说出“似乎无法让它工作”的意思在你的问题中 - 如果它是一个错误，发布错误。如果它运行但给你奇怪的数字，那么说）：

OpenCV Error: Assertion failed (ni >= 0) in collectCalibrationData, file /home/cha66i/Downloads/OpenCV-2.3.1/modules/calib3d/src/calibration.cpp, line 3161
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
cv2.error: /home/cha66i/Downloads/OpenCV-2.3.1/modules/calib3d/src/calibration.cpp:3161: error: (-215) ni >= 0 in function collectCalibrationData

然后我阅读了documentation（顺便说一句非常有用）并注意到obj_points 和img_points 必须是向量的向量，因为可以输入一组同一棋盘的多个图像的对象/图像点（/校准点）。

因此：

cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix, dist_coefs)

什么？我仍然遇到同样的错误？！

然后，我查看了 OpenCV python2 样本（在文件夹 OpenCV-2.x.x/samples/python2 中），并注意到 calibration.py 向我展示了如何使用校准函数（永远不要低估样本，它们通常比文档！）。

我尝试运行calibration.py，但它没有运行，因为它没有提供必要的camera_matrix 和distCoeffs 参数。所以我对其进行了修改以输入一个虚拟的camera_matrix 和distCoeffs，嘿，它可以工作了！

我可以看到我的obj_points/img_points 和他们的唯一区别是他们的有dtype=float32，而我的没有。

所以，我将我的obj_points 和img_points 更改为也有dtype float32（OpenCV 的python2 接口很有趣；当矩阵没有dtype 时，函数通常不起作用）：

obj_points = obj_points.astype('float32')
img_points = img_points.astype('float32')

然后我再试一次：

>>> cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix, dist_coefs)
OpenCV Error: Bad argument 
(For non-planar calibration rigs the initial intrinsic matrix must be specified) 
in cvCalibrateCamera2, file ....

什么？！至少是一个不同的错误。但我确实提供了一个初始内在矩阵！

所以我回到文档，注意flags 参数：

flags – 不同的标志，可能为零或组合 以下值：

CV_CALIB_USE_INTRINSIC_GUESScameraMatrix 包含有效的初始 进一步优化的 fx、fy、cx、cy 的值

...

啊哈，所以我必须明确地告诉函数使用我提供的初始猜测：

cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix.T, dist_coefs,
                    flags=cv2.CALIB_USE_INTRINSIC_GUESS)

万岁！有效！

（故事的寓意 - 仔细阅读 OpenCV 文档，如果您使用 Python cv2 接口，请使用最新版本（即在 opencv.itseez.com 上）。另外，请参阅 @987654357 中的示例@目录来补充文档。有了这两个东西你应该可以解决大部分问题。）

Answer 2

不管怎样，下面的代码 sn-p 目前在 2.4.6.1 下工作：

    pattern_size = (16, 12)
    pattern_points = np.zeros( (np.prod(pattern_size), 3), np.float32)
    pattern_points[:, :2] = np.indices(pattern_size).T.reshape(-1, 2).astype(np.float32)
    img_points = pattern_points[:, :2] * 2  + np.array([40, 30], np.float32)
    print(cv2.calibrateCamera([pattern_points], [img_points], (400, 400), flags=cv2.CALIB_USE_INTRINSIC_GUESS))

请注意，不需要 camera_matrix 和 dist_coefs。

Answer 3

在 math.coffee 的帮助下，我运行了这个 3d 校准。

import cv2
from cv2 import cv
import numpy as np

obj_points = [[-9.7,3.0,4.5],[-11.1,0.5,3.1],[-8.5,0.9,2.4],[-5.8,4.4,2.7],[-4.8,1.5,0.2],[-6.7,-1.6,-0.4],[-8.7,-3.3,-0.6],[-4.3,-1.2,-2.4],[-12.4,-2.3,0.9],[-14.1,-3.8,-0.6],[-18.9,2.9,2.9],[-14.6,2.3,4.6],[-16.0,0.8,3.0],[-18.9,-0.1,0.3],[-16.3,-1.7,0.5],[-18.6,-2.7,-2.2]]
img_points = [[993.0,623.0],[942.0,705.0],[1023.0,720.0],[1116.0,645.0],[1136.0,764.0],[1071.0,847.0],[1003.0,885.0],[1142.0,887.0],[886.0,816.0],[827.0,883.0],[710.0,636.0],[837.0,621.0],[789.0,688.0],[699.0,759.0],[768.0,800.0],[697.0,873.0]]

obj_points = np.array(obj_points,'float32')
img_points = np.array(img_points,'float32')

w = 1680
h = 1050
size = (w,h)

camera_matrix = np.zeros((3, 3),'float32')
camera_matrix[0,0]= 2200.0
camera_matrix[1,1]= 2200.0
camera_matrix[2,2]=1.0
camera_matrix[0,2]=750.0
camera_matrix[1,2]=750.0 

dist_coefs = np.zeros(4,'float32')

retval,camera_matrix,dist_coefs,rvecs,tvecs = cv2.calibrateCamera([obj_points],[img_points],size,camera_matrix,dist_coefs,flags=cv.CV_CALIB_USE_INTRINSIC_GUESS)

我现在唯一的问题是为什么从校准函数返回时 dist_coefs 向量的长度为 5 个元素。文档说“如果向量包含四个元素，则意味着 K3=0”。但实际上使用的是 K3，无论 dist_coefs 的长度（4 或 5）。此外，我似乎无法让标志 CV_CALIB_FIX_K3 工作，绑定到使用该标志来强制 K3 为零。现金说整数是必需的。这可能是因为我不知道如何一次做多个标志，我只是这样做，flags = (cv.CV..., cv.CV...)。

Just to compare, from the matlab camera cal routine the results are...
    Focal length: 2210. 2207.
    principal point: 781. 738.
    Distortions: 4.65e-2 -9.74e+0 3.9e-3 6.74e-3 0.0e+0
    Rotation vector: 2.36 0.178 -0.131
    Translation vector: 16.016 2.527 69.549

From this code,
    Focal length: 1647. 1629.
    principal point: 761. 711.
    Distortions: -2.3e-1 2.0e+1 1.4e-2 -9.5e-2 -172e+2
    Rotation vector: 2.357 0.199 -0.193
    Translation vector: 16.511 3.307 48.946

我想如果我能弄清楚如何强制 k3=0，其余的值就会对齐。

Answer 4

将 dist_coeffs 向量设为 5 维零向量，然后使用 CV_CALIB_FIX_K3 标志。您可以看到向量 (K3) 中的最后一个元素将为零。

当涉及到使用多个标志时，您可以对它们进行 OR。

示例：cv.CV_CALIB_USE_INTRINSIC_GUESS | cv.CV_CALIB_FIX_K3

Answer 5

使用Point3f 和Point2f 而不是Point3d 和Point2d 来定义object_points 和image_points，它会起作用。