StereoBM 没有提供正确的输出

Question

我看过很多关于这个问题的帖子，但这个不同。我的代码适用于一对图像，但不适用于另一对图像。

稍后，我想将来自两个摄像头的视频输入转换为立体声输出。我已经尝试过了，但这也与下面显示的图像（第二对图像）有相同的问题。

下图给出了预期的输出

以下图片输出不正确

如何更正我的代码以使其适用于所有图像？

这是我的代码

public static void main(String[] args)
{
    Mat left = Imgcodecs.imread("path", Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);
    Mat right = Imgcodecs.imread("path", Imgcodecs.CV_LOAD_IMAGE_GRAYSCALE);

    Core.normalize(left, left, 0, 255, NORM_MINMAX, CvType.CV_8U);
    Core.normalize(right, right, 0, 255, NORM_MINMAX, CvType.CV_8U);

    StereoBM bm = StereoBM.create(16, 15);

    Mat disparity = new Mat();
    bm.compute(left, right, disparity);
    ImageProcessor.showResult(disparity);
    mainFrame.setDefaultCloseOperation(WindowConstants.EXIT_ON_CLOSE);
}

public static void showResult(Mat img)
{
    Imgproc.resize(img, img, new Size(640, 480));
    MatOfByte matOfByte = new MatOfByte();
    Imgcodecs.imencode(".jpg", img, matOfByte);
    byte[] byteArray = matOfByte.toArray();
    BufferedImage buffImage = null;
    try
    {
        InputStream in = new ByteArrayInputStream(byteArray);
        buffImage = ImageIO.read(in);
        JFrame frame = new JFrame();
        frame.getContentPane().add(new JLabel(new ImageIcon(buffImage)));
        frame.pack();
        frame.setDefaultCloseOperation(WindowConstants.EXIT_ON_CLOSE);
        frame.setVisible(true);
    } catch (IOException e)
    {
        e.printStackTrace();
    }
}

Answer 1

在标准化后以灰度查看两张图像 - 就像您的算法看到的那样。至少，我会从那开始。

它采用灰色图像并检测边框。由于所有内容都已标准化，因此可能比来自真实对象的边界更容易看到来自背景的边界。

要解决这个问题，您可以使用不同的算法，例如 background subtraction。希望有帮助。

Answer 2

StereoBM 计算两个图像之间的相关性。在第二对中，您可以在墙上看到图案 - 这可能会导致问题（与另一个图案元素更好地相关）。如您所见，您的植物保持黑色（最远的元素，对应点之间的距离最短）。 在数字图像相关中，图像中强度的随机分布越多，结果越好。为了增加强度分布的随机性，对物体添加特殊的随机模式进行了很多研究。

https://orbi.ulg.ac.be/bitstream/2268/15779/2/Quality%20assessment%20of%20speckle%20patterns%20for%20digital%20image%20correlation%20(2006)%20(OCR).pdf

您可以通过添加最大距离约束或使用一些基于距离的函数修改图像来解决该问题。作为该函数的原点，您可以使用点，它有两个彼此最接近的相关点。然后你可以执行第二次迭代。