Keras - 监视嵌入层时张量板回调挂起答案

【问题标题】：Keras - tensorboard callback hangs when monitoring embedding layersKeras - 监视嵌入层时张量板回调挂起
【发布时间】：2018-08-02 15:37:23
【问题描述】：

我正在尝试将 keras 连接到 tensorboard，以便在模型中可视化我的嵌入层。我不知道为什么，但是在时代结束之后，keras 只是坐在那里什么都不做，不写日志文件或检查点。下面的代码（模型的定义无关紧要，它有一个嵌入层和几个 GRU 层，然后是 Dense 层）：

filepath="./logs/modelBasicGRU.h5"
checkpoint = ModelCheckpoint(filepath, monitor='val_loss', verbose=1, save_best_only=True, mode='min')
#do the embedding vizualization
tb_callback = TensorBoard(log_dir='./logs', histogram_freq=1, write_graph=False,
                          embeddings_freq=1, batch_size=32,
                          embeddings_layer_names=embeddings_layer_names)
#later you need to open cmd for environment and do tensorboard --logdir=\path\to\logs
#then go to localhost:port

callbacks_list = [checkpoint, tb_callback]


history = model.fit_generator(train_gen,
                              steps_per_epoch=10,
                              epochs=40,
                              validation_data=val_gen,
                              validation_steps=val_steps,callbacks=callbacks_list)

当纪元结束时，它只是处于这种状态：

Epoch 1/40
 9/10 [==========================>...] - ETA: 1s - loss: 6.8852e-04

我检查了我的日志目录——它不写检查点，也不在那里写任何日志文件。发生了什么？

注意 - 当我在等待 20 分钟后杀死它时，我明白了：

 File "C:\Users\maxim\Anaconda3\envs\Py35\lib\site-packages\keras\engine\training.py", line 2235, in evaluate_generator
    generator_output = next(output_generator)

  File "C:\Users\maxim\Anaconda3\envs\Py35\lib\site-packages\keras\utils\data_utils.py", line 712, in get
    time.sleep(self.wait_time)

我有一种感觉，它会无限地迭代生成器（而且我的生成器是以太的，它永远不会结束），而不是仅仅举出一批示例。

只是强调一下——我只需要嵌入层的可视化，我不需要 Tensorboard 中的其他任何东西。因此，如果有更简单的方法来可视化嵌入 - 请告诉我。

【问题讨论】：

标签： tensorflow keras tensorboard

【解决方案1】：

原来这是回调的一个已知问题：https://github.com/keras-team/keras/issues/3358

当导出到 TensorBoard 时，它期望验证数据在内存中，而不是生成器。这是构建正确的直方图和数据分布所必需的——因此 TensorBoard 需要立即查看整个数据集。另一方面，似乎即使您设置 histogram_freq=0（无直方图记录）它仍然无助于嵌入层，它们似乎也需要整个验证数据集。

据我所知，keras 团队试图让嵌入具有自己单独的参数 embedding_data，以确保您可以使用与验证数据不同的数据来可视化嵌入，但我没有看到它已实现： https://github.com/keras-team/keras/pull/7766

因此，目前唯一的解决方案是将验证集推送到内存中。第一个 github 链接有一个代码片段，它包装了 TensorBoard 回调，在导出到 tensorboard 之前，它填充了验证数据变量，有效地解决了问题——除了你仍然需要将尽可能多的验证数据推送到内存中的事实.

【讨论】：