如何读取tensorflow摘要回调生成的“local.trace”文件？答案

【问题标题】：How to read the "local.trace" file generated by tensorflow summary callback?如何读取tensorflow摘要回调生成的“local.trace”文件？
【发布时间】：2020-01-13 16:54:17
【问题描述】：

我无法找到读取 local.trace 文件的方法，该文件是在我拟合我的模型并启用摘要回调后生成的：

LOG_DIR = "/tmp/tfds-keras/tl"+str(counter)
model.fit(
    dataset,
    validation_data=dataset_test,
    epochs=EPOCHS,
    steps_per_epoch=DATASET_SIZE // BATCH_SIZE//10,
    validation_steps=20,
    callbacks=[tf.keras.callbacks.TensorBoard(log_dir=LOG_DIR, update_freq=100
                                            )],
)
counter=counter+1

文件被保存到：

└── tl1
    ├── events.out.tfevents.1568229131.aurora01
    ├── events.out.tfevents.1568229134.aurora01.profile-empty
    └── plugins
        └── profile
            └── 2019-09-11_15-12-14
                └── local.trace

并且目测显示它显示了gpu执行的操作信息。

...
'tf_data_parallel_interleave_worker_pool^P<80><AE><90><E5>^M"J^Z*edge_2139_metrics/acc/Identity::MemcpyDtoHH<C0><80><D8><F1><DB>^DP<C0><96><B1>^BZ^P
^Elabel^R^G4 bytes">^Z^^edge_2137_loss/mul::MemcpyDtoHH<80><A0><83><F5><DB>^DP<C0><9F><AB>^CZ^P
^Elabel^R^G4 bytes"^A^P^A^Z%edge_2130_IteratorGetNext::MemcpyHtoDH<C0><9D><EE><D7><C9>^DP<C0><FC><F0>5Z^U
^Elabel^R^L393216 bytes"^A^Z$edge_287_IteratorGetNext::MemcpyHtoDH<80><BD><99><DB><C9>^DP<80><D4><CB>1Z^R
^Elabel^R       256 bytes"^A^Z2edge_1494_loss/dense_loss/num_elements::MemcpyHtoDH<80><D9>ש<DB>^DP<80><92><F4>^AZ^P
^Elabel^R^G4 bytes"^A^Z&edge_1497_metrics/acc/Size::MemcpyHtoDH<80><F4>Ŭ<DB>^DP<C0><96><B1>^BZ^P
...

我尝试在 tensorboard 上打开 tl1 文件夹，虽然它显示了一个配置文件选项卡，但什么都看不到。

【问题讨论】：

你发现了吗？
我不认为我做到了，我继续前进。但现在我怀疑这是一个 nvprof 生成的文件，您可能可以使用 nvvp（NVIDIA Visual Profiler）读取它。不幸的是，我没有跟踪文件来测试它。

标签： tensorflow profiling tensorboard

【解决方案1】：

TensorFlow在我的场景中生成了五个文件，分别是：

.input_pipeline.pb
.kernel_stats.pb
.overview_page.pb
.tensorflow_stats.pb
.trace.json.gz

使用包tensorflow.python.platform.gfile 可以将pb 文件转换为pbtxt 或txt 文件。

.trace.json.gz 可以提取到json 文件中。你可以用任何语言阅读它。文件格式为 Chromium 的Trace Event Format。

【讨论】：