从实时android中的视频中提取帧答案

【问题标题】：Extract frames from a video in real-time android从实时android中的视频中提取帧
【发布时间】：2014-03-20 03:59:35
【问题描述】：

我正在做一个应用程序来录制视频。我想要的是，当应用程序录制视频时，每一帧也保存在 RGB 值的数组列表中，以便从中提取特定信息。我知道这两个过程（视频录制和提取帧）是异步的，但这不是问题：提取过程可以在视频录制之后完成。

谁能告诉我如何从视频中提取帧？

非常感谢。

【问题讨论】：

目前有三个答案，两个用于在录制过程中检查相机预览，一个用于检查录制后的输出。您可能应该澄清您的问题，以说明您到底想要做什么。

标签： android video camera frame extraction

【解决方案1】：

使用相机对象，您可以覆盖函数setPreviewCallback。从该函数中，您将获得一个字节数据数组。您可以将其转换为位图，也可以将它们保存在数组数组中。

假设您是扩展 SurfaceView 并实现 SurfaceHolder.Callback

代码看起来像，

mCamera.setPreviewCallback(new PreviewCallback() {
    public void onPreviewFrame(byte[] data, Camera camera) {

        //do some operations using data

    }
});

如果要获取RGB值可以使用这个函数，

static public void decodeYUV420SP(int[] rgb, byte[] yuv420sp, int width,
            int height) {
        final int frameSize = width * height;

        for (int j = 0, yp = 0; j < height; j++) {
            int uvp = frameSize + (j >> 1) * width, u = 0, v = 0;
            for (int i = 0; i < width; i++, yp++) {
                int y = (0xff & ((int) yuv420sp[yp])) - 16;
                if (y < 0)
                    y = 0;
                if ((i & 1) == 0) {
                    v = (0xff & yuv420sp[uvp++]) - 128;
                    u = (0xff & yuv420sp[uvp++]) - 128;
                }

                int y1192 = 1192 * y;
                int r = (y1192 + 1634 * v);
                int g = (y1192 - 833 * v - 400 * u);
                int b = (y1192 + 2066 * u);

                if (r < 0)
                    r = 0;
                else if (r > 262143)
                    r = 262143;
                if (g < 0)
                    g = 0;
                else if (g > 262143)
                    g = 262143;
                if (b < 0)
                    b = 0;
                else if (b > 262143)
                    b = 262143;

                rgb[yp] = 0xff000000 | ((r << 6) & 0xff0000)
                        | ((g >> 2) & 0xff00) | ((b >> 10) & 0xff);
            }
        }
    }

我认为这就是您想要的答案。如果我错了，请告诉我您的实际要求是什么

要获取绿色值，您可以使用以下代码，

static public void calculateColor(int[] rgb, int[] color,
            int width, int height, int component) {
        for (int bin = 0; bin < 256; bin++) {
            color[bin] = 0;
        } // bin

        int start = 0;
        int end = width * height;

        if (component == 0) // red
        {
            for (int pix = start; pix < end; pix += 3) {
                int pixVal = (rgb[pix] >> 16) & 0xff;
                color[pixVal]++;
            } // pix
        } else if (component == 1) // green
        {
            for (int pix = start; pix < end; pix += 3) {
                int pixVal = (rgb[pix] >> 8) & 0xff;
                color[pixVal]++;
            } // pix
        } else // blue
        {
            for (int pix = start; pix < end; pix += 3) {
                int pixVal = rgb[pix] & 0xff;
                color[pixVal]++;
            } // pix
        }
    }

调用此函数将返回每个像素的绿色值。如果您想要特定像素的绿色值，则必须修改此代码。

【讨论】：

非常感谢您提供此代码。它解决了我的问题。现在我遇到了最后一个问题。我只需要从 rgb 中保存绿色通道。在您看来，直接保存绿色通道而不是三个通道，而不是从它们那里获取绿色通道更好吗？我该怎么做？谢谢！ :)
嗨，我已经编辑了答案并包含了获取绿色值的功能。请检查
非常感谢。你好亲切！我修改了一些绿色通道的代码，现在它完美地解决了我的问题。

【解决方案2】：

可以在bigflake site 上找到从 .mp4 文件中提取帧的示例代码。它使用MediaCodec，在 API 16+ 上可用。如果您需要在旧设备上运行，最好的选择可能是ffmpeg。

RGB 数据每个像素需要 3 个字节。 10 秒 30 fps 的 720p 视频需要 1280*720*3*30*10 = 791 MB。除非您的视频帧非常小，否则保留大量视频帧可能不切实际（或不可能）。

【讨论】：

【解决方案3】：

在我看来，您想在视频录制过程中获取图像。

在这种情况下，您需要查看Build your camera app。本页介绍如何使用 android camera 类录制视频。

然后就可以通过Camera preview callback获取yuv图片了。

【讨论】：