视频拼接算法
本文为CSDN原创文章，转载请注明出处
视频拼接思想及总体框图
图像拼接是视频拼接的基础，是将多张图像生成一张全景图，衡量的指标主要在于全景图的质量，而对拼接速度的要求并不高。对于视频拼接而言，视频流的输入是源源不断的，需要将多个摄像头采集的图片进行拼接，每个摄像头的图像帧序列必须一一对应（时间一致性），即保证每次输入的对应的待拼接图片是在同一时刻进行采集的， 图片之间几乎不存在时间差，否则，当有运动物体在待拼接图像帧的重合区域时，将会导致许多误匹配，拼接图像将会产生严重的虚影和模糊现象，甚至无法匹配导致图像拼接失败。
在对应好相应图像拼接帧后，利用上一章介绍的图像拼接算法进行图像拼接，可以保证图像拼接的质量。但是在保证质量的同时，也要兼顾拼接速度。考虑到实用性，此图像拼接算法耗费的时间过多，根本无法用来做视频拼接，因此需要对算法进行优化，都思路进行拓展。
其中优化措施有以下几点：
- 固定摄像头位置，保证相机参数不改变。
- 打开摄像头，采集图像，为了消除摄像头刚开始采集图像时，摄像头之间存在一定的初始化时间差异这一现象，先等待摄像头稳定，再读取摄像头图像帧进行图像拼接，此拼接图像作为视频拼接的背景帧，选取的背景一定要是静态的。
- 对后续帧序列，由于相机位置是固定的，可以不再进行特征点提取、匹配、筛选以及相机参数计算等步骤，即变换矩阵不再逐帧计算，而是利用背景帧的拼接参数做处理，只对后续帧序列进行图像融合，从而生成拼接视频流。
通过该思路可看出，后续对应帧的拼接速度仅仅取决于图像融合的速度，也即是图像融合的速度决定视频拼接的速度。因为省去了每一对应图像帧的图像配准和图像变换，只进行图像采集，图像预处理和图像融合，大大减少了视频拼接的时间，提高了拼接图像的帧率。在兼顾质量的同时，也提高了速度。
对于首帧背景帧图像，流程框图如下：
生成背景帧之后，对后续帧的处理，流程如下，