Video Frame Interpolation via Adaptive Separable Convolution

输入相邻的2帧图像I1,I2,到一个encoder-decoder网络,encoder-decoder网络输出到4个子网络,4个子网络分别输出得到卷积核k1,h,k1,v,k2,h,k2,v.用预测的卷积核k1,h,k1,v,与输入帧I1进行卷积操作,卷积核k2,h,k2,v,与输入帧I2进行卷积操作,并将两个卷积结果相加,得到插值帧Π,公式下:

P1(x,y),P2(x,y)分别表示图像I1,I2中的以位置(x,y)为中心的块.

损失函数

计算ground truth image与插值帧Π的L1 norm:

计算图像的特征损失函数,即Perceptual loss :

ϕ为特征提取函数,为VGG-19的relu4_4层输出.

代码分析

github代码:https://github.com/sniklaus/pytorch-sepconv