将 TensorBoard 图像序列转换为视频/GIF

Question

我有一个脚本，它生成一系列 matplotlib 图形并使用 TensorBoard SummaryWriter() 将它们写入磁盘。 TensorBoard 提供了移动一个小滑块以在图像序列中前后移动的能力，但我想将图像序列转换为视频或动画。有没有办法做到这一点？

编辑 1：这是我的代码当前所做的简化示例。我想把.add_figure写入日志文件的图片转换成gif。

import matplotlib.pyplot as plt
import numpy as np
from torch.utils.tensorboard import SummaryWriter

n = 200
nframes = 25
x = np.linspace(-np.pi*4, np.pi*4, n)
tensorboard_writer = SummaryWriter()

for i, t in enumerate(np.linspace(0, np.pi, nframes)):
    plt.plot(x, np.cos(x + t))
    plt.plot(x, np.sin(2*x - t))
    plt.plot(x, np.cos(x + t) + np.sin(2*x - t))
    plt.ylim(-2.5,2.5)
    fig = plt.gcf()
    tensorboard_writer.add_figure(
        tag='temp',
        figure=fig,
        global_step=i,
        close=True)

Answer 1

您可以使用 imageio 或 matplotlib 的 FuncAnimation 从一组表示帧的文件中创建动画。例如，我根据

创建了一组文件

import matplotlib.pyplot as plt
import numpy as np

n = 200
nframes = 25
x = np.linspace(-np.pi*4, np.pi*4, n)

for i, t in enumerate(np.linspace(0, np.pi, nframes)):
    plt.plot(x, np.cos(x + t))
    plt.plot(x, np.sin(2*x - t))
    plt.plot(x, np.cos(x + t) + np.sin(2*x - t))
    plt.ylim(-2.5,2.5)
    plt.savefig('frame.'+str(i)+'.png', bbox_inches='tight', dpi=300)
    plt.clf()

这会创建一系列 nframes（例如 25 个）文件，命名约定为 'frame.n.png'，其中 n 是帧号。两个传播的正弦波和创建的波在半个周期内绘制。

然后使用FuncAnimation 方法

import matplotlib.pyplot as plt
from matplotlib.animation import FuncAnimation

fig = plt.figure(figsize=(10, 6), dpi=300)
nframes = 25

def animate(i):
    im = plt.imread('frame.'+str(i)+'.png')
    plt.imshow(im)
    plt.axis('off')

anim = FuncAnimation(fig, animate, frames=nframes, interval=(2000.0/nframes))
anim.save('output.gif', writer='imagemagick')

使用 imageio 方法，您可以轻松完成

import imageio

nframes = 25
files = ['frame.'+str(i)+'.png' for i in range(nframes)]

frames = [imageio.imread(f) for f in files]
imageio.mimsave('output.gif', frames, fps=(nframes / 2.0))

任何一种方法都会产生这个动画：

但是，与FuncAnimation 方法相比，imageio 方法要快得多：

> $ time python3 imageio.py
real    0m9.483s
user    0m9.484s
sys     0m1.156s

> $ time python3 FuncAnimation.py
real    15m36.151s
user    3m28.375s
sys     12m3.578s

同样值得注意的是，FuncAnimation 方法生成的文件比 imageio 方法生成的文件小很多。

2.5M Jan 23 18:36 FuncAnimation.gif
 13M Jan 23 18:08 imageio.gif

如果您喜欢程序化方法，当然也可以使用ffmpeg 来执行此操作。