如何在 Unity 中识别非矩形图像？答案

【问题标题】：How to recognize a non-rectangular image in Unity?如何在 Unity 中识别非矩形图像？
【发布时间】：2019-09-06 15:48:48
【问题描述】：

上下文：

我正在尝试为移动设备创建一个 Unity 应用，该应用可以通过设备的物理摄像头识别汽车等大型物体。

我在查看 Wikiitude 和 Vuforia，但它们似乎都只适用于可以放在桌面上的小物体。除非我错过了什么？

我也在研究 Open CV 和 ARCore，但它们似乎只适用于矩形“标记”。例如，汽车不是矩形的，虽然从相同角度看汽车的形状总是相同的，但背景和通过窗户看到的汽车后面的物体总是不同的，导致 AR 库尝试匹配不是矩形的像素汽车的一部分。

问题：

如何创建一个可以通过手机的物理摄像头识别大物体或非矩形图像的 Unity 应用？

【问题讨论】：

Dude 如果你发现了这一点，请告诉我 ^^ 特别针对汽车：无论如何，你可能会遇到反射和折射材料的一些问题。到目前为止，我最接近的是VisionLib，它使用边缘检测。这是Fraunhofer 的一个研究项目。不幸的是，我还没有时间实际测试它，但它看起来很有前途（不用于商业用途）他们反应迅速，对反馈感到高兴
如果你有足够的数据，使用深度学习模型

标签： opencv unity3d vuforia arcore wikitude

【解决方案1】：

来自相机的图像不包含任何物体的比例 - 它只是一个像素阵列，从光检测设备（通常是 Cmos 传感器）捕获。应用程序无法知道物体是大还是小（至少在我们进入深度相机之前），因此识别图像的方法对于大物体和小物体是完全相同的。

就您问题的根源而言：根据图像识别对象是一个非常棘手的主题，只有当我们只教算法识别标记或 QRCode 时，它才能变得易于管理 - 这些都是专门设计的可识别的，这就是为什么有更多的图书馆在做这种事情。

Vuforia 尝试识别所有对象，这很神奇，而且不会在意对象的大小，所以你可以尝试使用它，这几乎是最简单的解决方案。

但是，这很可能只在相同的照明条件下工作，并且如果天气变化等，如果汽车脏，湿等等就会失败。

一般情况下，如接近人类识别物体的能力 - 尚不可能，人类在识别汽车之前训练他们的神经网络多年。

如需更多信息，请阅读这个关于图像识别的信息丰富的帖子（在这种情况下，可口可乐罐比一般的“汽车”要简单得多）

Image Processing: Algorithm Improvement for 'Coca-Cola Can' Recognition

这是一张图片，显示较大的东西在相机看来是一样的

【讨论】：

从技术上讲，当涉及规模时，存在明显的差异......因为透视。手机的相机是一个非常宽的视野镜头，因此较大的较远物体的“部分”重叠或弯曲的距离与一个小的近距离物体不同（假设一个完美的复制品仅在比例上有所不同）。这就是为什么尝试用手机拍摄风景的照片永远不会如您所愿。
@Draco18s 据我所知，这不是真的。您无法测量自上次反弹以来光子已经行进了多远，所以这并不重要，只要它们击中同一个地方。如果你做两倍大的东西，并增加匹配的距离，你会得到完全相同的图像。这在统一本身中很容易证明。对于固定大小的对象，是的，距离很重要（编辑答案）
@zambari 我理解您所说的从相机的角度来看物体的大小，但是 Vuforia 清楚地回答了“我可以识别大型物体，如汽车或建筑物吗？物体识别是针对可以放在桌面上并在室内找到的物体进行了优化。” （library.vuforia.com/content/vuforia-library/en/articles/…）我想这可能是因为库需要从不同的角度映射环境，而一个大的对象会使其非常困难，因为您需要在该对象周围移动。
在物体周围移动不是主要问题，改变照明条件是，我想他们需要一定量的视差来拾取几何图形，这对于建筑物来说比茶壶更难实现.感谢您指出参考，我不知道此建议
@zambari 同意，改变闪电条件可能是一个问题，尤其是在户外。如果强制一个非常高的对比度和/或尝试标准化相机输入上的曝光（在 Vuforia 中可能）怎么办？然后还应该创建一个具有相似对比度的自定义 3D 模型作为参考。希望具有可能对比背景的车轮、窗框、格栅、保险杠等的位置足以识别汽车，因为我猜在高对比度下形状会有点丢失。