对齐两个极其相似但略有不同的视频

Question

我有两个 Super Smash Brothers 视频游戏的视频。在一个视频中，角色存在。在另一个视频中，角色不存在。视频的其他所有内容都完全相同，只是其中一个角色不可见。

当我输出这两个视频时，我必须在视频编辑器中手动对齐它们。一旦它们对齐，它们就会保持同步！但是，视频的开始时间是随机的，这就是问题所在。

有什么好方法可以自动对齐这两个不同但极其相似的视频？以下是示例框架。

目前的想法： 在视频中途随机取一帧，与同一位置的其他视频进行比较。使用像素之间的均方误差。前进 5 秒，后退 5 秒。取 MSE 差异最小的帧，并将其用作匹配帧，从开头的较长视频中移除偏移量。这似乎非常脆弱和缓慢。

Answer 1

您当前的想法很好，但根本不需要慢。由于图像的不同部分只是战士！我们可以假设那些战士总是在图像的中间，所以你只需要匹配图像的一小部分，比如我画的矩形：

此外，您还可以使用其他快速匹配方法，例如 ORB 功能。