由于相机预览而产生 OutOfMemoryError

Question

我设法使用 opencv 打开了 Android 相机。但是当我使用修复相机方向的代码时 - “请参阅下面 onCameraFrame(..) 方法中提到的代码” - 应用程序在几秒钟后崩溃并且 logcat 在“logcat 部分”中生成 belwo 发布的消息。

解决这个问题：

1. 我尝试使用 SystemClock.sleep 强制应用延迟一段时间，但这不是一个好的解决方案，因为它会延迟相机预览

2. 我尝试尽可能减小帧大小，因此我使用 mOpenCvCameraView.setMaxFrameSize(320, 240) 将其设置为 320x240，“在代码部分中提到了”。但是这个解决方案设法让相机预览时间更长了几分钟，但最终应用程序也崩溃了。

请告诉我这种情况的正确解决方案是什么以及如何避免它？

Logcat：

10-07 14:42:43.445 30510-31656/com.example.bak.opencvcamera_00 E/cv::error(): OpenCV Error: Insufficient memory (Failed to allocate 307200 bytes) in void* cv::OutOfMemoryError(size_t), file /home/maksim/workspace/android-pack/opencv/modules/core/src/alloc.cpp, line 52
10-07 14:42:43.445 30510-31656/com.example.bak.opencvcamera_00 E/cv::error(): OpenCV Error: Assertion failed (u != 0) in void cv::Mat::create(int, const int*, int), file /home/maksim/workspace/android-pack/opencv/modules/core/src/matrix.cpp, line 411
10-07 14:42:43.450 30510-31656/com.example.bak.opencvcamera_00 E/org.opencv.core.Mat: Mat::n_1t() caught cv::Exception: /home/maksim/workspace/android-pack/opencv/modules/core/src/matrix.cpp:411: error: (-215) u != 0 in function void cv::Mat::create(int, const int*, int)
10-07 14:42:43.450 30510-31656/com.example.bak.opencvcamera_00 E/AndroidRuntime: FATAL EXCEPTION: Thread-9334
Process: com.example.bak.opencvcamera_00, PID: 30510
CvException [org.opencv.core.CvException: cv::Exception: /home/maksim/workspace/android-pack/opencv/modules/core/src/matrix.cpp:411: error: (-215) u != 0 in function void cv::Mat::create(int, const int*, int)
at org.opencv.core.Mat.n_t(Native Method)
at org.opencv.core.Mat.t(Mat.java:852)
at com.example.bak.opencvcamera_00.MainActivity.onCameraFrame(MainActivity.java:109)
at org.opencv.android.CameraBridgeViewBase.deliverAndDrawFrame(CameraBridgeViewBase.java:391)
at org.opencv.android.JavaCameraView$CameraWorker.run(JavaCameraView.java:350)

代码：

@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);

    setContentView(R.layout.activity_main);
    mOpenCvCameraView = (JavaCameraView) findViewById(R.id.surfaceView);
    mOpenCvCameraView.setOnTouchListener(this);
    mOpenCvCameraView.setVisibility(SurfaceView.VISIBLE);
    mOpenCvCameraView.setCvCameraViewListener(this);
    mOpenCvCameraView.setMaxFrameSize(320, 240);
}
...
...
...
@Override
public Mat onCameraFrame(Mat inputFrame) {
    mRgbaT = inputFrame.t();
    Core.flip(inputFrame.t(), mRgbaT, 1);
    Imgproc.resize(mRgbaT, mRgbaT, inputFrame.size());
    return mRgbaT;
}

更新：

我修改了以下方法，将 mRgbaT 声明为字段，并在捕获新帧后清除其内容...但问题仍然存在

@Override
public Mat onCameraFrame(Mat inputFrame) {

    if (mRgbaT != null) {
        mRgbaT.release();
    }

    mRgbaT = inputFrame.t();
    Core.flip(inputFrame.t(), mRgbaT, 1);
    Imgproc.resize(mRgbaT, mRgbaT, inputFrame.size());
    return mRgbaT;
}

Answer 1

我通过避免执行矩阵转置操作两次来解决它，如下代码所示：

@Override
public Mat onCameraFrame(Mat inputFrame) {
    if (mRgbaT != null) {
        mRgbaT.release();
    }

    mRgbaT = inputFrame.t();
    Core.flip(mRgbaT, mRgbaT, 1);
    Imgproc.resize(mRgbaT, mRgbaT, inputFrame.size());
    return mRgbaT;
}

Answer 2

根据我的经验，OpenCV4Android 在垃圾收集矩阵方面非常非常糟糕，所以我会将每个矩阵保存在单独的变量中并手动清理它们。

@Override
public Mat onCameraFrame(Mat inputFrame) {

    Matrix mat1 = new Mat();
    Matrix mat2 = new Mat();

    Core.flip(inputFrame.t(), mat1, 1);
    Imgproc.resize(mat1, mat2, inputFrame.size());

    mat1.release();
    inputFrame.release();

    return mat2;
}

如果您使用的是源代码形式的 OpenCV4Android，我还建议添加 modified.release(); here

Answer 3

您的 cpp 文件中应该存在一个循环，该循环会在每次调用时连续捕获图像。当您将图像大小调整为较低的分辨率时，应用运行时间会稍长一些，但仍会导致内存泄漏和崩溃。

您可以采取一种方法，在处理后清除每个图像并捕获新图像，这样您最终可能不会使用所有 RAM 空间。推荐你this link。