ANDROID - 使用openCV进行颜色检测 - 如何？

Question

我的目标是使用 HSV 颜色空间以仅显示黄色对象的方式显示脱粒图像。我使用此代码（基于 openCV 2.3.1 android 示例给出的代码）：

protected Bitmap processFrame(VideoCapture capture) {
    //capture.retrieve(mGray, Highgui.CV_CAP_ANDROID_GREY_FRAME);
    //Imgproc.cvtColor(mGray, mRgba, Imgproc.COLOR_GRAY2RGBA, 4);

    capture.retrieve(mHSV, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);
    Imgproc.cvtColor(mHSV, mRgba, Imgproc.COLOR_RGB2HSV, 4);
    //Core.inRange(mRgba, new Scalar(20, 100, 100), new Scalar(30, 255, 255), mRgba);

    Bitmap bmp = Bitmap.createBitmap(mRgba.cols(), mRgba.rows(), Bitmap.Config.ARGB_8888);

    if (Utils.matToBitmap(mRgba, bmp))
        return bmp;

    bmp.recycle();
    return null;
}

基础（抽象）类包含“运行”方法：

protected abstract Bitmap processFrame(VideoCapture capture);

public void run() {
...
bmp = processFrame(mCamera);
...
canvas.drawBitmap(bmp, (canvas.getWidth() - bmp.getWidth()) / 2, (canvas.getHeight() - bmp.getHeight()) / 2, null);
...
}

我得到这个扭曲的预览，我认为我可以理解（HSV 格式），但为什么它会重复自己（我画一条绿线来强调它）4 次？什么是黑色水平线？ 我做错了什么？

最后一件事，背后的逻辑是什么：

Imgproc.cvtColor(mHSV, mRgba, Imgproc.COLOR_RGB2HSV, 4);

为什么是 COLOR_RGB2HSV？不应该是 COLOR_HSV2RGB 吗？

假设我已经解决了这个问题，我怎样才能用黄色对象的原始颜色制作灰度图像？我想使用 Core.inRange() 方法，但是当我这样做时，我得到了黑屏。

是的，我想我看起来像个彻头彻尾的混蛋，但我需要从某个地方开始，不是吗？

10 倍！

更新 1： 我试着用这种方式做 RGB->HSV->RGB：

 @Override
protected Bitmap processFrame(VideoCapture capture) {
    //capture.retrieve(mGray, Highgui.CV_CAP_ANDROID_GREY_FRAME);
    //Imgproc.cvtColor(mGray, mRgba, Imgproc.COLOR_GRAY2RGBA, 4);

    capture.retrieve(mRgba, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGB);
    Imgproc.cvtColor(mRgba, mHSV, Imgproc.COLOR_RGB2HSV,0);
    //Imgproc.cvtColor(mRgba, mRgba, Imgproc.COLOR_BGR2RGB, 4);
    //Core.inRange(mRgba, new Scalar(20, 100, 100), new Scalar(30, 255, 255), mRgba);
    Imgproc.cvtColor(mHSV,mRgba , Imgproc.COLOR_HSV2RGB,0);

    Bitmap bmp = Bitmap.createBitmap(mRgba.cols(), mRgba.rows(), Bitmap.Config.ARGB_8888);

    if (Utils.matToBitmap(mRgba, bmp))
        return bmp;

    bmp.recycle();
    return null;
}

我得到了：

?

更新 2：

我终于明白了，在设置一帧之前，必须先转换成RGBA空间。 所以我现在用如下代码尝试了阈值：

capture.retrieve(mRgba, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);
    Imgproc.cvtColor(mRgba, mHSV, Imgproc.COLOR_RGB2HSV,0);
    Core.inRange(mHSV, new Scalar(20, 100, 100), new Scalar(30, 255, 255), mHSVThreshed);
    Imgproc.cvtColor(mHSVThreshed, mRgba, Imgproc.COLOR_HSV2RGB, 0);
    Imgproc.cvtColor(mRgba, mRgba, Imgproc.COLOR_RGB2RGBA, 0);
    Bitmap bmp = Bitmap.createBitmap(mRgba.cols(), mRgba.rows(), Bitmap.Config.ARGB_8888);

但现在它让我强制关机......有什么想法吗？

Answer 1

朋友。我给你1个月的努力和大洋彼岸朋友的帮助的结果：

Ethan 是对的。但代码需要一些修复。

代码：

    capture.retrieve(mRgba, Highgui.CV_CAP_ANDROID_COLOR_FRAME_BGRA);
    Imgproc.cvtColor(mRgba, mHSV, Imgproc.COLOR_BGR2HSV,3);
    Core.inRange(mHSV, new Scalar(0, 100, 30), new Scalar(5, 255, 255), mHSVThreshed);
    Imgproc.cvtColor(mHSVThreshed, mRgba, Imgproc.COLOR_GRAY2BGR, 0);
    Imgproc.cvtColor(mRgba, mRgba2, Imgproc.COLOR_BGR2RGBA, 0);
    Bitmap bmp = Bitmap.createBitmap(mRgba2.cols(), mRgba2.rows(), Bitmap.Config.ARGB_8888);


    if (Utils.matToBitmap(mRgba2, bmp))...

首先，mat 是二进制 0 或 255，因此转换为灰度更“自然”。第二，从HSV到RGB的转换其实就是HSV-BGR！！。最后一件事是预览需要 RGBA 位图。

就是这样。希望其他人可以从这篇文章中受益。沙洛姆！

Answer 2

我认为 mHSVThreshed 是一个二进制垫

所以也许这条线：

Imgproc.cvtColor(mHSVThreshed, mRgba, Imgproc.COLOR_HSV2RGB, 0);

应该改为：

Imgproc.cvtColor(mHSVThreshed, mRgba, Imgproc.COLOR_GRAY2RGB, 0);

我也花了很多时间处理“展示”问题...

希望对您有所帮助...

Answer 3

据我所知，您获取 RGBA 中的图像帧并将其保存在名称“mHSV”下

capture.retrieve(mHSV, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);

所以你应该把它存储为 mRgba

在 cvtColor 中，您需要通过 COLOR_RGBA2HSV 将其转换为 HSV。假设您更改了名称，这将是：

Imgproc.cvtColor(mRgba, mRSV, Imgproc.COLOR_RGB2HSV, 0);

并且我假设图像的这种重复来自 cvtColor 函数中的“4”，因为您的 HSV 图片将只有 3 个通道。在那里输入一个 0，它应该会被自动检测到......

希望对你有帮助……

Answer 4

为什么是 COLOR_RGB2HSV？不应该是 COLOR_HSV2RGB 吗？

我会说它应该:)。 看起来像opencv如何抓取像素的问题。检查您的输入和输出图像是否具有相同的大小和通道数。

这个

capture.retrieve(mHSV, Highgui.CV_CAP_ANDROID_COLOR_FRAME_RGBA);

对我来说看起来也很奇怪，您是否将获得的 RGBA 图像存储为 HSV 格式的图像？ 这将解释问题。 尝试做这样的事情：RGB（捕获检索）=> HSV（cvt color）=>颜色检测=> RGB（再次cvt颜色）