Tensorflow Inception 模型的非常规使用答案

【问题标题】：Unconventional use of Tensorflow Inception modelTensorflow Inception 模型的非常规使用
【发布时间】：2017-07-01 14:51:29
【问题描述】：

Tensorflow 的初始模型通常与包含实际图像的实际图像数据一起使用，但是，我计划以一种非常规的方式使用它，并且想知道，1）这是否可能 2）结果是否可能如此糟糕以至于它会最好找到不同的方法。

我基本上有一组已转换为数字格式的文本数据，例如：

[-0.123123, 0.164564, ...]。

转换是这样的，相似的文本数据将在其各自的形式中具有相似的数字表示。实际数字表示已处理文档中每个单词的单词向量。然后将该数据保存为 .jpg 文件。我计划创建两个数据类，“相似”和“不相似”，其中相似包含已预先确定为相似的两个文档的串联，非相似包含已预先确定的两个文档的串联不相似。

希望当这个模型在这些数据上进行训练时，我可以输入一个图像数据，它是两个文档的数字矩阵形式的组合，如上所示，尽管不是传统意义上的实际图像，并且该模型将能够以“相似”或“不相似”的一定精度输出，这取决于构成输入网络的基本图像的两个文件。 Tensorflow 一开始会接受这样的输入吗？

【问题讨论】：

我敢打赌，即使是最简单的神经网络也会比文本数据的预训练初始模型做得更好。 Inception 是一种视觉模型，经过训练可以提取图像中的边缘、形状和图案以进行分类。您的实际上是一维信号，但转换为二维信号会使表示变得更糟，因为行将高度不相关。在我看来，将您的文本转换为词向量并训练 LSTM 将是一种更好的方法。

【解决方案1】：

inception 网络经过训练可以识别广泛的模式并以极高的准确性对照片进行分类，就像人眼一样。如果您能用肉眼分辨文档之间的差异或相似之处，那么 Inception 很有可能也会这样做:)

虽然 inception 的卷积层被训练到 ImageNet task，但大部分魔法都发生在最终的全连接层中，这些数据通过 softmax 分类器输入，然后输出类别和概率。

有一个叫做transfer learning 的东西可以将这些最终层重新训练为您选择的类别。这避免了重新训练 30 多个卷积层（非常耗时），同时利用了初始网络的模式识别能力。试一试，看看结果如何！

【讨论】：

我熟悉迁移学习的概念和最后层的再训练，这是我打算做的。希望能有好的结果。由于为再培训生成这些数据需要大量的时间成本，我只是想要其他人的意见。据您所知，是否有任何东西可以阻止 inception 对格式不正确的 Jpeg 进行培训，例如我将提供给它的那些？
我对 tensorflow jpeg 阅读器不太熟悉，但我想它需要一个有效的标题/结构才能解析图像的行和列。但是，为什么要使用 jpeg？ Inception 大概可以将 csv 文件转换为张量就好了。