从 Tensorflow 摘要中获取 CSV

Question

我有一些非常大的 tensorflow 摘要。如果这些是使用 tensorboard 绘制的，我可以从中下载 CSV 文件。

但是，使用 tensorboard 绘制这些图需要很长时间。我在the docs 中发现有一种方法可以直接在 Python 中读取摘要。这个方法是summary_iterator，可以这样使用：

import tensorflow as tf

for e in tf.train.summary_iterator(path to events file):
    print(e)

我可以使用这种方法直接创建 CSV 文件吗？如果是这样，我该怎么做？这样可以节省很多时间。

Answer 1

一种可能的方法是这样的：

from tensorboard.backend.event_processing import event_accumulator      
import numpy as np
import pandas as pd
import sys

def create_csv(inpath, outpath):
    sg = {event_accumulator.COMPRESSED_HISTOGRAMS: 1,
          event_accumulator.IMAGES: 1,
          event_accumulator.AUDIO: 1,
          event_accumulator.SCALARS: 0,
          event_accumulator.HISTOGRAMS: 1}
    ea = event_accumulator.EventAccumulator(inpath, size_guidance=sg)
    ea.Reload()
    scalar_tags = ea.Tags()['scalars']
    df = pd.DataFrame(columns=scalar_tags)
    for tag in scalar_tags:
        events = ea.Scalars(tag)
        scalars = np.array(map(lambda x: x.value, events))
        df.loc[:, tag] = scalars
    df.to_csv(outpath)

if __name__ == '__main__':
    args = sys.argv
    inpath = args[1]
    outpath = args[2]
    create_csv(inpath, outpath)

请注意，此代码会将整个事件文件加载到内存中，因此最好在集群上运行。有关EventAccumulator 的sg 参数的信息，请参阅this SO question。

另一个改进可能是不仅存储每个标量的value，还存储step。

注意代码 sn-p 已针对 TF 的最新版本进行了更新。 对于 TF ，请改用以下导入：

from tensorflow.tensorboard.backend.event_processing import event_accumulator as eva