使用新的 Android camera2 api 从 YUV_420_888 进行 JPEG 编码时的绿色图像

Question

我正在尝试使用新的相机 API。突发捕获太慢了，所以我在 ImageReader 中使用 YUV_420_888 格式并稍后进行 JPEG 编码，如下面的帖子所述：

Android camera2 capture burst is too slow

问题是当我尝试使用 RenderScript 从 YUV_420_888 编码 JPEG 时，我得到绿色图像，如下所示：

RenderScript rs = RenderScript.create(mContext);
ScriptIntrinsicYuvToRGB yuvToRgbIntrinsic = ScriptIntrinsicYuvToRGB.create(rs, Element.RGBA_8888(rs));
Type.Builder yuvType = new Type.Builder(rs, Element.YUV(rs)).setX(width).setY(height).setYuvFormat(ImageFormat.YUV_420_888);
Allocation in = Allocation.createTyped(rs, yuvType.create(), Allocation.USAGE_SCRIPT);

Type.Builder rgbaType = new Type.Builder(rs, Element.RGBA_8888(rs)).setX(width).setY(height);
Allocation out = Allocation.createTyped(rs, rgbaType.create(), Allocation.USAGE_SCRIPT);

in.copyFrom(data);

yuvToRgbIntrinsic.setInput(in);
yuvToRgbIntrinsic.forEach(out);

Bitmap bmpout = Bitmap.createBitmap(width, height, Bitmap.Config.ARGB_8888);
out.copyTo(bmpout);

ByteArrayOutputStream baos = new ByteArrayOutputStream();
bmpout.compress(Bitmap.CompressFormat.JPEG, 100, baos);
byte[] jpegBytes = baos.toByteArray();

数据变量（YUV_420_888数据）来自：

ByteBuffer buffer = mImage.getPlanes()[0].getBuffer();
byte[] data = new byte[buffer.remaining()];
buffer.get(data);

我在 JPEG 编码中做错了什么以使图像仅显示为绿色？

提前致谢

已编辑：这是我获得的绿色图像示例：

https://drive.google.com/file/d/0B1yCC7QDeEjdaXF2dVp6NWV6eWs/view?usp=sharing

Answer 1

所以这个问题有好几层的答案。

首先，我认为没有直接的方法可以将 YUV_420_888 数据的图像复制到 RS 分配中，即使分配的格式为 YUV_420_888。

因此，如果您没有将图像用于此 JPEG 编码步骤之外的任何其他操作，那么您可以直接使用分配作为相机的输出，方法是使用 Allocation#getSurface 和 Allocation#ioReceive。然后你可以执行你的 YUV->RGB 转换并读出位图。

但是，请注意，JPEG 文件实际上存储的是 YUV 数据，因此当您压缩 JPEG 时，Bitmap 将在保存文件时进行另一次 RGB->YUV 转换。因此，为了获得最大效率，您希望将 YUV 数据直接提供给可以接受它的 JPEG 编码器，并完全避免额外的转换步骤。不幸的是，这无法通过公共 API 实现，因此您必须使用 JNI 代码并包含您自己的 libjpeg 副本或等效的 JPEG 编码库。

如果您不需要非常快速地保存 JPEG 文件，您可以将 YUV_420_888 数据转换为 NV21 字节[]，然后使用 YuvImage，但您需要注意 YUV_420_888 数据的像素和行步长以及将其正确映射到 NV21 - YUV_420_888 很灵活，可以表示几种不同类型的内存布局（包括 NV21），并且在不同的设备上可能会有所不同。因此，在将布局修改为 NV21 时，确保正确进行映射至关重要。

Answer 2

你必须使用 RenderScript 吗？ 如果没有，您可以将图像从 YUV 转换为 N21，然后从 N21 转换为 JPEG，而无需任何花哨的结构。 首先你坐0号和2号飞机去N21：

private byte[] convertYUV420ToN21(Image imgYUV420) {
    byte[] rez = new byte[0];

    ByteBuffer buffer0 = imgYUV420.getPlanes()[0].getBuffer();
    ByteBuffer buffer2 = imgYUV420.getPlanes()[2].getBuffer();
    int buffer0_size = buffer0.remaining();
    int buffer2_size = buffer2.remaining();
    rez = new byte[buffer0_size + buffer2_size];

    buffer0.get(rez, 0, buffer0_size);
    buffer2.get(rez, buffer0_size, buffer2_size);

    return rez;
}

然后你可以使用YuvImage的内置方法来压缩成JPEG。 w 和 h 参数是图像文件的宽度和高度。

private byte[] convertN21ToJpeg(byte[] bytesN21, int w, int h) {
    byte[] rez = new byte[0];

    YuvImage yuv_image = new YuvImage(bytesN21, ImageFormat.NV21, w, h, null);
    Rect rect = new Rect(0, 0, w, h);
    ByteArrayOutputStream output_stream = new ByteArrayOutputStream();
    yuv_image.compressToJpeg(rect, 100, output_stream);
    rez = output_stream.toByteArray();

    return rez;
}

Answer 3

我设法让它工作，panonski 提供的答案不太正确，一个大问题是这种YUV_420_888 格式涵盖了许多不同的内存布局，其中NV21 格式非常具体（我不知道）不知道为什么默认格式会这样改，对我来说毫无意义）

请注意，由于几个原因，此方法可能会非常慢。

1. 因为NV21 交织色度通道，而YUV_420_888 包括具有非隔行色度通道的格式，唯一可靠的选择（据我所知）是逐字节复制。我很想知道是否有加快这个过程的技巧，我怀疑有一个。我提供了一个仅灰度选项，因为该部分是非常快速的逐行复制。

2. 当从相机抓取帧时，它们的字节将被标记为受保护，这意味着无法直接访问，必须复制它们才能直接操作。

3. 图像似乎是以反向字节顺序存储的，因此转换后最终的数组需要反转。这可能只是我的相机，我怀疑这里还有另一个技巧可以大大加快速度。

这里是代码：

private byte[] getRawCopy(ByteBuffer in) {
    ByteBuffer rawCopy = ByteBuffer.allocate(in.capacity());
    rawCopy.put(in);
    return rawCopy.array();
}

private void fastReverse(byte[] array, int offset, int length) {
    int end = offset + length;
    for (int i = offset; i < offset + (length / 2); i++) {
        array[i] = (byte)(array[i] ^ array[end - i  - 1]);
        array[end - i  - 1] = (byte)(array[i] ^ array[end - i  - 1]);
        array[i] = (byte)(array[i] ^ array[end - i  - 1]);
    }
}

private ByteBuffer convertYUV420ToN21(Image imgYUV420, boolean grayscale) {

    Image.Plane yPlane = imgYUV420.getPlanes()[0];
    byte[] yData = getRawCopy(yPlane.getBuffer());

    Image.Plane uPlane = imgYUV420.getPlanes()[1];
    byte[] uData = getRawCopy(uPlane.getBuffer());

    Image.Plane vPlane = imgYUV420.getPlanes()[2];
    byte[] vData = getRawCopy(vPlane.getBuffer());

    // NV21 stores a full frame luma (y) and half frame chroma (u,v), so total size is
    // size(y) + size(y) / 2 + size(y) / 2 = size(y) + size(y) / 2 * 2 = size(y) + size(y) = 2 * size(y)
    int npix = imgYUV420.getWidth() * imgYUV420.getHeight();
    byte[] nv21Image = new byte[npix * 2];
    Arrays.fill(nv21Image, (byte)127); // 127 -> 0 chroma (luma will be overwritten in either case)

    // Copy the Y-plane
    ByteBuffer nv21Buffer = ByteBuffer.wrap(nv21Image);
    for(int i = 0; i < imgYUV420.getHeight(); i++) {
        nv21Buffer.put(yData, i * yPlane.getRowStride(), imgYUV420.getWidth());
    }

    // Copy the u and v planes interlaced
    if(!grayscale) {
        for (int row = 0; row < imgYUV420.getHeight() / 2; row++) {
            for (int cnt = 0, upix = 0, vpix = 0; cnt < imgYUV420.getWidth() / 2; upix += uPlane.getPixelStride(), vpix += vPlane.getPixelStride(), cnt++) {
                nv21Buffer.put(uData[row * uPlane.getRowStride() + upix]);
                nv21Buffer.put(vData[row * vPlane.getRowStride() + vpix]);
            }
        }

        fastReverse(nv21Image, npix, npix);
    }

    fastReverse(nv21Image, 0, npix);

    return nv21Buffer;
}

Answer 4

如果我正确理解了您的描述，我可以在您的代码中看到至少两个问题：

1. 您似乎只是将图像的 Y 部分传递给 YUV->RGB 转换代码，因为看起来您只使用ByteBuffer buffer = mImage.getPlanes()[0].getBuffer(); 中的第一个平面，而忽略了 U 和 V 平面。

2. 我还不熟悉这些 Renderscript 类型，但看起来 Element.RGBA_8888 和 Bitmap.Config.ARGB_8888 指的是略有不同的字节顺序，因此您可能需要进行一些重新排序工作。

这两个问题都可能是结果图片呈绿色的原因。

Answer 5

这是一个答案/问题。 在几个类似的帖子中，建议使用此脚本： https://github.com/pinguo-yuyidong/Camera2/blob/master/camera2/src/main/rs/yuv2rgb.rs

但我不知道如何使用它。欢迎提供建议。

Answer 6

上述转换是否有效？因为我通过复制第一个和最后一个平面来尝试使用渲染脚本，但我仍然收到了一个绿色的过滤图像，就像上面的那个。