从android studio中的视频中提取所有帧的最快方法？答案

【问题标题】：Fastest way to extract all frames from a video in android studio?从android studio中的视频中提取所有帧的最快方法？
【发布时间】：2021-09-14 23:00:45
【问题描述】：

目标：要从视频中提取所有帧，在机器学习模型中处理这些帧，并从这些处理过的帧中重建一个新视频。

问题：我目前能够从视频中提取帧，但速度非常慢。大约每秒 2 帧。我想将其加速到每秒至少 10-20 帧。

我正在使用 android 的原生 MediaMetadataRetriever 类将帧提取为 Bitmap 并将它们存储在 List 中

代码如下：

fun getAllFrames(uri: Uri): List<Bitmap> {
    val frameList = ArrayList<Bitmap>()

    setDataSource(context, uri)

    // playback duration (in ms) of the data source.
    val duration: String? = extractMetadata(METADATA_KEY_DURATION)
    val durationMillis = duration!!.toInt()
    val durationMicros = durationMillis * 1000

    // to get a video output with 30fps (input can be 60 or 30fps)
    val fps30 = ((1000/30)*1000).toLong()

    for (i in 0L..durationMicros step fps30) {

        val frame = getFrameAtTime(i, OPTION_CLOSEST)

        frame?.let {
           frameList.add(frame)
        }
    }

    return frameList
}

我查看了ffmpeg 和javaCV 库，但我没有看到准确有效地提取所有帧的方法（也许我错过了它？）。我想要一个像grabeAllFrames 这样的方法，而不是在getFrameAtTime 中使用时间间隔。

谁能给我任何提示如何实现这个目标？？？

【问题讨论】：

标签： android video-processing mediametadataretriever

【解决方案1】：

您正在处理的几乎所有视频都将以一种或另一种格式编码，这些编码格式，例如h.264，通常会压缩视频以节省存储空间和带宽。

权衡是您需要做一些工作来解压缩视频并获取每一帧，并且编解码器（编码器）越“高效”，它通常需要做的工作就越多。

大多数设备都有专用的硬件加速路径来解码和显示常见的视频编码格式，但这些通常针对显示而不是分析和修改视频进行了优化。

如果您可以选择在服务器端完成工作，则通常会更容易，因为可用的处理能力更强，而且可能有更多可用的库和服务。

如果您确实必须在移动设备上工作，那么可能值得研究适用于 Android 的 OpenCV，但需要注意的是编译起来可能很棘手，并且文档通常是基于 Eclipse 的。

当然，如果您对每帧的分析不太需要处理器，那么您应该能够达到每秒 2 帧以上的速度。

首先看一个很好的简单示例是颜色俱乐部检测，它每帧检测特定颜色的对象或斑点：https://github.com/opencv/opencv/tree/master/samples/android/color-blob-detection/src/org/opencv/samples/colorblobdetect

这个答案提供了一个带注释的摘录来解释它是如何工作的：https://stackoverflow.com/a/40918718/334402

值得补充的是，机器学习用例也可能需要处理器和时间，因此这两者的结合可能会降低您的用例速度。

【讨论】：