在机器学习中使用 CNN 将图像特征和数字特征结合在一起的最佳方法是什么？答案

【问题标题】：What is the best method of combining image feature and numeric feature together using CNN in Machine Learning?在机器学习中使用 CNN 将图像特征和数字特征结合在一起的最佳方法是什么？
【发布时间】：2020-10-11 09:44:21
【问题描述】：

我这里有这个问题：例如，如果需要同时使用图像数据和一些数字数据来预测疾病，那么特征将是这样的：

特征1：疾病的形象。形状：(batch_size, width,height)
特征 2：关于患者的数字数据（年龄、身高、性别、国家、工资...）形状：(batch_size,number_of_numeric_features)

模型的输出应该是0/1，0代表健康，1代表生病。

我知道一种方法是将平面特征用作形状：(width*height+number_of_numeric_feature) 在这种情况下，CNN 在图像分类中的优势将不会被利用。（前馈网络）

所以我的问题是：有没有使用 CNN 结合图像特征和数字特征的最佳解决方案？在 CNN 特征的一个通道中添加数字特征作为图像像素会有帮助吗？在这种情况下，作为像素的数字特征的位置距离没有任何意义，因为它们在两个像素的距离上没有关系。

【问题讨论】：

标签： machine-learning conv-neural-network feature-engineering

【解决方案1】：

您不应该在 CNN 中使用这样的数值数据，正如您自己提到的那样，这没有任何意义，但是有一种方法可以将您的图像与 CNN 一起使用，并使用另一个网络（例如 MLP）最后，您可以将 MLP 和 CNN 的输出组合在一起并将它们提供给另一个 MLP，或者只是从它们的输出中取平均值并比较结果。

【讨论】：