我可以使用 3D 坐标作为 CNN 输入吗？答案

【问题标题】：Can I use 3D coordinates as a CNN input?我可以使用 3D 坐标作为 CNN 输入吗？
【发布时间】：2018-01-27 17:21:54
【问题描述】：

我对神经网络相当陌生，我计划使用 3D 数据（.obj 中的 3D 面部扫描）训练一个网络。我不想使用 3D CNN，而是将我的数据转换为类似图像的结构并训练 2D CNN。根据我的想法，这需要将我的 3D 点放在 2D 网格上，以便输入就像图像一样，但使用 XYZ 坐标而不是 RGB。这是一个可以与 CNN 合作的明智想法吗？如果是这样，构建 2D 投影的最佳方法是什么？

【问题讨论】：

我不知道你的最终目标是什么，但这些家伙最近在类似问题上做得很好：blog.kaggle.com/2017/06/29/…
首先我想尝试一些基本的年龄/性别分类，使用一些网格作物（例如鼻子）。谢谢你的链接，这是一个非常有趣的阅读，我可能会重新考虑我最初做 2D 投影的想法。虽然我仍然很好奇我的方法是否可行，如果可行，那么如何正确地做到这一点。
为此，一张简单的 2D 图像就足够了。所以我认为您想将您的 3D 图像转换为人的正面图像？对吗？
是的，但是这样做会丢失很多信息，不是吗？我认为从正面看不可见的点也可以放置在 2D 网格中，我的输入将是每个“像素”的 Xyz 形式
只使用 3D CNN？..

标签： tensorflow neural-network conv-neural-network

【解决方案1】：

是的，但是这样做会丢失很多信息，不是吗？我认为从正面看不可见的点也可以放置在 2D 网格中，我的输入将是每个“像素”的 Xyz 形式

【讨论】：

是的，您会丢失很多信息。但是您也会将问题简化很多，并且您想计算出一个人的年龄，因此对于 NN 回归，您应该保持简单。如果我是你，我会逐步进行，尝试一些简单的事情并不断增加复杂性（仅在必要时）。
如果我用正面图像做一个 CNN，我的输入将是 1 个通道的图像，没有 3D 坐标？
不，如果可以的话，采用 3 通道 (RGB)，您需要找到一个转换，将您的图像转换为具有 3 通道的 2D。我认为你需要更多地了解 CNN 的工作原理，看看这个教程，我总是向了解神经网络并想从 Conv 开始的人推荐它。 cs231n.github.io/convolutional-networks

【解决方案2】：

如何使用与额外的正面深度纹理交错的正面 RGB 图像，通过从正面渲染深度（或从原始扫描仪数据，如果是正面扫描）找到？我认为，对于具有四个通道的 2D CNN 来说，这将是一项工作。

【讨论】：