最近谷歌发布3-D目标检测和姿态估计的新开源软件,借此大家了解一下其中采用的一些骨干技术。
这里介绍Motion Stills工具,来自谷歌博客内容:https://ai.googleblog.com/2016/06/motion-stills-create-beautiful-gifs.html
Motion Stills是Google Research的iOS应用,可充当Apple Live Photos的虚拟相机操作员。 使用视频稳定(video stabilization)技术将背景定格为静态照片或创建摇动的电影拍摄扫描。 由此产生的循环播放GIF和电影变得生动,并且可以通过消息传递或在社交媒体上轻松共享。
借助Motion Stills,提供身临其境的流媒体体验,使剪辑易于观看和共享。 还可以通过多个剪辑组合到电影蒙太奇来讲述亲身的冒险故事。 所有这些都可以在手机上正常运行,而无需Internet连接。
通过视频稳定数亿个内容并通过大量照片创建GIF动画来开创了这项技术。 算法使用线性规划(LP)来计算虚拟相机路径,该路径经过优化后可重播视频和连拍,就好像它们是用稳定的设备拍摄效果一样,产生静止背景或创建电影摄影扫描以消除晃动。
面临的挑战是,采用数据中心分布式运行的技术,并缩减后在手机上更快地运行。 通过时间二次采样,运动参数去耦以及Google Research的自定义线性求解器GLOP(https://developers.google.com/optimization/lp/glop)等技术,将运行速度提高了40倍。 就像在视频游戏中一样,通过计算低分辨率的扭曲纹理(warp textures)来执行实时GPU渲染,进一步提高了速度,并节省了存储空间。
短视频非常适合循环播放,因此添加循环优化功能,以便充分发挥拍摄效果。 其方法能够确定最佳的起点和终点,并丢弃模糊帧。
为了使背景在循环时保持稳定,Motion Stills必须将背景与场景的其余部分分开。 当前景元素遮挡视频的重要部分时,这是一项艰巨的任务,如下示例所示(左边:原始视频,右边:结果)。 新的方法以时间一致的方式将运动矢量分为前景(红色)和背景(绿色)。 使用运动模型的级联,将运动估计从简单模型转移到更复杂的模型,并在一路进行时让结果偏离。
Motion Stills无需登录即可在设备上使用的体验:即使处于冰川之上没有信号,也可以立即看到结果。 可以通过在社交媒体上使用motionstills展示剪辑结果。