有没有办法同时使用图像和文本数据进行精确图像检测TensorFlow

Question

我正在使用 Tensorflow 开发一个基本的图像检测神经网络。它经过训练可以以大约 94% 的准确率识别食物。我想知道是否可以将带有图像的文本数据提供给神经网络以提高准确性。例如，如果要识别含糖甜食，则文本输入可以提供有关食用该类型食物的一般年龄（主要是儿童）、可能由此引起的任何健康影响（糖尿病）以及其他一般信息的信息.这在 TensorFlow 中可行吗？如果是这样，使用什么库？我在网上搜索过，什么都没找到。

谢谢

Answer 1

是的，这是可能的。您将需要创建一个具有 2 个输入的模型，一个用于图像，一个用于文本。该图像将作为卷积神经网络的输入。文本输入需要使用自然语言处理进行处理。有很多可用的教程。现在在您的模型中，您需要将卷积网络的最后一层与 NLP 网络的最后一层连接起来。请注意，这些必须具有适当的尺寸才能这样做。