如何在 Matlab 上找到稳定视频帧的旋转角度

Question

考虑我有以下稳定的视频帧，其中仅通过旋转和平移（无缩放）完成稳定：

如图所示，图像的右侧与之前的像素对称，即旋转后的黑色区域被对称填充。我添加了一条红线以更清楚地表明它。

我想找到稍后将使用的旋转角度。我可以通过 SURF 或 SIFT 功能完成此操作，但是，在实际情况下，我不会拥有原始帧。

我可能可以通过蛮力找到角度，但我想知道是否有更好更优雅的解决方案。请注意，对称部分的强度值与原始部分并不完全相同。我检查了一些值，例如，键盘上 V 字符的右上角像素在 原始部分中是 [51 49 47]，但在 对称副本中是 [50 50 47] 这意味着相应的像素不能保证是相同的RGB 值。

我将在 Matlab 或 python 上实现这一点，并使用ffmpeg 完成视频稳定。

编辑：我只有稳定的视频，无法访问原始视频或ffmpeg制作的文件。

感谢任何帮助/建议，

Answer 1

如果一个像素（可能）位于搜索到的对称线上

• 它的（first/second/thrid/...）左右点相等（=> dG，图 1 左）
• 它的 (first/second/thrid/...) 左（或右）值不同（=> dGs，图 1 中间）

因此，兴趣点的特点是 |dGs| - |dG| 的值较高（=> dGs_dG，图 1 右）

从图 1 的右图可以看出，仍然存在很多误报。因此，Hough 变换（图 2 左）将用于检测最强线对应的所有点（图 2 右）。绿线确实是搜索到的线。

调整

• 更改n：更高的值会丢弃更多的误报，但也会排除n 边框像素。这可以通过对边框像素使用较低的n 来避免。

• 更改阈值：dGs_dG 的更高阈值将丢弃更多误报。丢弃 dG 的高值也可能对丢弃原始图像中的边缘位置很有趣。

• 对称线的先验知识：利用霍夫变换的定义，可以丢弃所有通过图像中心部分的线。

生成图片的matlab代码为：

I = imread('bnuqb.png');
G = int16(rgb2gray(I));

n = 3; % use the first, second and third left/right point
dG = int16(zeros(size(G) - [0 2*n+2]));
dGs = int16(zeros(size(G) - [0 2*n+2]));
for i=0:n
  dG = dG + abs(G(:, 1+n-i:end-2-n-i) - G(:, 3+n+i:end-n+i));
  dGs = dGs + abs(G(:, 1+n-i:end-2-n-i) - G(:, 2+n:end-n-1));
end
dGs_dG = dGs - dG;
dGs_dG(dGs_dG < 0) = 0;
figure
subplot(1,3,1);
imshow(dG, [])
subplot(1,3,2);
imshow(dGs, [])
subplot(1,3,3);
imshow(dGs_dG, [])

BW = dGs_dG > 0;
[H,theta,rho] = hough(BW);
P = houghpeaks(H,1);
lines = houghlines(BW,theta,rho,P,'FillGap',50000,'MinLength',7);

figure
subplot(1,2,1);
imshow(H, [])
hold on
plot(P(:, 2),P(:, 1),'r.');

subplot(1,2,2);
imshow(I(:, n+2:end-n-1, :))
hold on
max_len = 0;
for k = 1:length(lines)
   xy = [lines(k).point1; lines(k).point2];
   plot(xy(:,1),xy(:,2),'g');
end