从 onCameraFrame、OpenCV、Android/Java 调用 HoughCircles() 方法时改变慢帧速率

Question

在android中使用openCV Java方法检测图像中的圆形物体时帧速率极慢

 Imgproc.HoughCircles(mGray, circles, Imgproc.CV_HOUGH_GRADIENT, 1, 50);

当我删除此方法时，它运行得很快，但在此回调中添加此方法后

  public Mat onCameraFrame(final CvCameraViewFrame inputFrame) {

帧速率减慢到每秒 1 到 2 帧，我不明白为什么它变得这么慢，我尝试将此方法放在单独的线程中，但没有帮助，唯一有效的方法是使用计数器和 if 语句每 10 帧运行一次方法。

在 OpenCV 示例中，有一个名为人脸检测的示例项目，它同时具有原生 C++ 和 Java 相机版本，并且它们都变化很快，当我使用类似的代码时，我怎么可能得到这个缓慢的便秘动作OpenCV？

我在这里做错了吗？在来自 openCV 示例的人脸检测项目中，他们获取每一帧并且不启动单独的线程。如何解决这个问题并让我的代码像 OpenCV 中的示例项目一样快速运行？

在另一个项目中，我也遇到了同样的帧速率慢的问题，在这个我没有使用 openCV 的练习项目中，它只是 android Camera 类，因为我从 onPreviewFrame( byte[] data, Camera camera) 方法并进行一些光处理，例如将 YUV 格式从字节数组转换为位图，并将其放入与相机视图相同的屏幕上的另一个视图中，结果是帧速率变慢。

编辑：在一些额外的实验中，我将 Imgproc.HoughCircles() 方法添加到 OpenCV 人脸检测示例项目中。将此方法放在 java 检测器的 onCameraFrame 方法中。

结果和我的项目一样，变慢了。所以 HoughCircles 方法可能比人脸检测方法 CascadeClassifier.detectMultiScale() 需要更多的处理能力，但这并不能解释我在 youtube 上观看了其他圆形检测项目并且在他们的视频中帧速率没有减慢的事实。这就是为什么我认为我所做的事情有问题。

这是我正在使用的代码示例

public class CircleActivity extends Activity implements CvCameraViewListener2 {

Mat                    mRgba;
Mat                    mGray;
File                   mCascadeFile;
CascadeClassifier      mJavaDetector;
CameraBridgeViewBase   mOpenCvCameraView;
LinearLayout linearLayoutOne;
ImageView imageViewOne;
int counter = 0;

private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {
    @Override
    public void onManagerConnected(int status) {
        switch (status) {
            case LoaderCallbackInterface.SUCCESS:
            {
                Log.i("OPENCV", "OpenCV loaded successfully");
                mOpenCvCameraView.enableView();

            } break;
            default:
            {
                super.onManagerConnected(status);
            } break;
        }
    }
};

    /** Called when the activity is first created. */
    @Override
    public void onCreate(Bundle savedInstanceState) {

        if (!OpenCVLoader.initDebug()) {
            // Handle initialization error
        }

        super.onCreate(savedInstanceState);

        setContentView(R.layout.activity_coffee);

        getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);

        mOpenCvCameraView = (CameraBridgeViewBase) findViewById(R.id.fd_activity_surface_view);

        mOpenCvCameraView.setCvCameraViewListener(this);


    }

    @Override
    public void onPause()
    {
        super.onPause();
        if (mOpenCvCameraView != null)
            mOpenCvCameraView.disableView();
    }

    @Override
    public void onResume()
    {
        super.onResume();
        OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_3, this, mLoaderCallback);
    }

    public void onDestroy() {
        super.onDestroy();
        mOpenCvCameraView.disableView();
    }

    public void onCameraViewStarted(int width, int height) {
        mGray = new Mat();
        mRgba = new Mat();

    }

    public void onCameraViewStopped() {
        mGray.release();
        mRgba.release();

    }

    public Mat onCameraFrame(final CvCameraViewFrame inputFrame) {
                mRgba = inputFrame.rgba();
                mGray = inputFrame.gray();
          if(counter == 9) {

              MatOfRect circles = new MatOfRect();

                Imgproc.HoughCircles(mGray, circles, Imgproc.CV_HOUGH_GRADIENT, 1, 50);

                // returns number of circular objects found
                Log.e("circle check", "circles.cols() " +  circles.cols());

           }

     counterAdder();

     return mRgba;

    } // end oncamera frame

   public void counterAdder() { 
        if (counter > 10) {
            counter = 0;

        }
        counter++;

    }


 }

Answer 1

降低相机帧的分辨率可能会有所帮助

mOpenCvCameraView.setMaxFrameSize(640, 480);

Answer 2

根据我的简短经验，HoughCircles 的运行时间很大程度上取决于图像。具有大量潜在圆圈的纹理图像比具有统一背景的图像需要更长的时间。希望这会有所帮助。

Answer 3

我也遇到过这个问题。 我尝试使用 mOpenCvCameraView.setMaxFrameSize(1280, 720); 降低相机分辨率

但是它仍然很慢。我一直在尝试与 Threads 并行工作，但它仍然是 3.5FPS。

public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame) {
    //System.gc();
    carrierMat = inputFrame.gray();
    Thread thread = new Thread(new MultThread(carrierMat, this));
    thread.start();
    try {
        thread.join();
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return carrierMat;
}

我的 MultThread 类是这样的

public class MultThread implements Runnable {
private Mat source;
private Context context;

public MultThread(Mat source, Context context) {
    this.source = source;
    this.context = context;
}

@Override
public void run() {
    //output = General.Threshold(source);
    int x = General.MSERP(source);
    Log.i("MtMTxtDtc:Main","x: " + x);
    if (x > 10){
        ((Vibrator) context.getSystemService(Context.VIBRATOR_SERVICE)).vibrate(500);

    }

}
}

Answer 4

您必须在后台而不是在主要活动中执行霍夫圆变换！

否则您的应用程序响应将太慢，并且可能由于应用程序无响应 (ANR) 错误而被操作系统杀死。

您需要将此课程添加到您的主要活动中，然后您就可以开始了。

 private class HoughCircleTransformTask
        extends AsyncTask<Mat, Void, Integer> {

    @Override
    protected Boolean doInBackground(Mat mGray) {

        MatOfRect circles = new MatOfRect();

        Imgproc.HoughCircles(mGray, circles, Imgproc.CV_HOUGH_GRADIENT, 1, 50);

        // returns number of circular objects found 
        // then display it from onPostExecute()
        return circles.cols();
    }

    @Override
    protected void onPostExecute(Integer circlesCols){

        // This is only logging
        // You can display it in a TextView as well in the main activity
        Log.e("circle check", "circles.cols() " +  circles.cols());

    }
}

只用一行代码从 onCameraFrame 调用它

    public Mat onCameraFrame(final CvCameraViewFrame inputFrame) {
        mRgba = inputFrame.rgba();
        mGray = inputFrame.gray();

        if(counter == 9) {
            // call AsyncTask   
            new HoughCircleTransformTask().execute(mGray);
        }

        counterAdder();
        return mRgba;

    } // end oncamera frame