使用 LSTM 的 TensorFlow Estimator 来接受图像答案

【问题标题】：Using Tensorflow Estimator for LSTMs to Accept Images使用 LSTM 的 TensorFlow Estimator 来接受图像
【发布时间】：2017-12-18 11:57:14
【问题描述】：

我想使用 Tensorflow 的 Estimator 来简化使用 LSTM 网络的训练。显然，要使用 tensorflow 的 Estimator，必须像这样定义一个模型函数：

def some_model_fn(features, labels, mode):
    ...

我使用占位符来获取输入和标签没有问题。如何将图像变成张量流 lstms 接受的形状，即 [batch_size, num_time_steps, num_features]？

【问题讨论】：

除非您正在实现自己的层（如卷积/lstm），否则您需要在将图像输入 LSTM 之前将它们展平。你可以通过np.flatten() 做到这一点。对于num_time_steps，您需要为 LSTM 提供后续图像（如滚动窗口）。如果您不处理有助于预测下一个图像的连续图像，则最好使用卷积网络或采用图像展平策略（例如将像素的行或列按顺序馈送到 LSTM 等...）
任务是手写识别，我以垂直条状输入图像。我先阅读图像，然后将其转置。

【解决方案1】：

我建议使用 numpy 将图像加载到多维数组中。这确实需要相当多的内存，具体取决于图像大小和时间步数。

【讨论】：

我要问的是我必须将图像尺寸折叠到 rnn dims 还是在读取图像时输入它们？
是的，您必须重新调整它们的大小。您可以使用 cv2.resize 或 scipy.misc.imresize 调整图像大小。如果您的网络的特征是作为一维向量输入的，您可以在调整大小后展平图像。