实时视频拼接
本文为CSDN原创文章，转载请注明出处
初步视频拼接虚影问题的探讨
经过上述方案处理之后的初步拼接视频，将会存在目前视频拼接技术中一个普遍的问题，即重合区域存在运动物体产生虚影。效果图如下，
产生伪影的图像帧
可以看到，重叠区域内，存在运动物体时，出现了虚影，并且都是出现在缝合线附近，由远及近存在不同的差异，经过仔细分析和观察，联系生活实际，类比到将人的双眼作为摄像头，双眼保证焦距不变，放一根笔在两眼之间，笔由近到远运动，将会观察到笔也存在重影问题，并且与上图中效果一样。同时，倘若要使观察到的笔由近及远不出现重影问题，那么人的的双眼就需要不断的聚焦，汇聚于目标点，这样就能完美解决重影问题。
那么再重新回到摄像头的重影问题上，由于位置的不一样，两个摄像头采集到的图像产生了视差。初始化静态拼接模板时，背景帧的焦距是通过八个值取平均后求得，并且通过光束法平差，消除累积误差，联合两相机之间的参数。两摄像头光心汇聚于重叠区域的背景上，但当采集后续帧时，用的依然是背景帧的相机参数，倘若有前景物体出现在重叠区域时，此时若想要前景物体不出现虚影，则必须重新调整相机参数，将光心汇聚于前景物体上。因此，需要随时更新拼接模板。
而当随时更新拼接模板时，意味着每一帧拼接图像都需要重新进行特征点提取、匹配、描述、筛选，相机参数估计，图像变换以及寻找缝合线这几个步骤，这与每一帧图像分别进行整个过程的图像拼接无异，将会使视频帧率极大程度的降低，为此将会付出很多的代价，这是十分不可行的方式。因此，需要有选择性的更新拼接模板。方案如下：
得到背景帧之后，在重合区域内检测是否存在运动的物体，如果存在，则更新背景模板及获得新的拼接参数，如果不存在，则继续使用当前背景帧的相关参数进行后续帧的拼接。
因为检测的代价远远小于模板更新的代价，对每一拼接帧的重合区域进行运动物体检测，有选择性的更新背景模板，将可以极大地提高拼接速度，并且一定程度的地消除运动物体穿过缝合线时产生的虚影