TensorFlow Android 对视频的支持

Question

对于本地保存的视频，Android 上的 Tensorflow 是否有任何现有支持？提供的演示与相机紧密耦合，至少将其移植到视频中工作将是不平凡且耗时的。它的目的是处理来自正在直播的流中的原始帧。

Answer 1

您必须使用 MediaMetadataRetriever 或适当的工具为视频中的帧获取位图，然后将它们传递给 tensorflow 库以进行图像识别。

目前在 TensorFlow AFAIK 中不存在对“视频”流本身的支持，即使是演示也会截取相机预览的屏幕截图来识别。

如果您真的想识别视频流本身，那么您必须构建自己的模型。

否则，假设您已经拥有图形和标签文件并且不需要播放视频，则分析视频的过程如下（如果您想在分析过程中显示视频，那么您应该在活动中实现表面视图或纹理视图） ：

1. 使用 MediaMetadataRetriever 初始化 tensorflow 并加载所需的视频
2. 使用 getFrameAtTime 提取所需帧的位图并将位图缩放到适当的大小
3. 对位图进行图案化并运行推理方法（如果复制使用演示中的TensorflowImageClassifier.class，则可以直接传递位图）
4. 存储结果并循环到另一帧（2~4）

整个过程有点简化，但我希望你能从中得到提示。