【问题标题】:How to speedup tensorflow compile time?如何加快 tensorflow 编译时间?
【发布时间】:2018-01-25 09:36:07
【问题描述】:

我正在对 tensorflow 核心做一些定制,所以我编译了好几次。目前,我的问题是每次编译大约需要 25 分钟,我想减少编译时间。 每次,我都使用link 处的指令进行编译 在配备 Intel i7 和 12GB RAM 的机器上。

执行 linux 命令 htop,我注意到我的 CPU 几乎一直在 100% 运行,而 RAM 似乎足够(它使用大约 8GB)。

有什么方法可以加快编译时间,无论是在硬件方面(也许 SSD 可以提供帮助?)和软件方面(例如,通过设置一些编译选项?)?

【问题讨论】:

  • 您是否尝试禁用 XLA?
  • 你在用ccache吗?
  • @Patwie XLA 已禁用
  • @janbernlöhr 目前,我没有使用它。它可以减少编译时间吗?如果是,有没有关于如何使用 ccache 编译 tensorflow 的教程?
  • @Dan 是的,它可以通过避免重新编译未更改的文件来明确提供帮助。您可以在此处找到有关如何设置 ccache 的手册:askubuntu.com/questions/470545/how-do-i-set-up-ccache 之后您需要再次运行 ./configure 以便 bazel 获取 gcc 的 ccache 包装版本。然后像往常一样运行构建,同时观察ccache -s 的输出以显示实际缓存命中。

标签: tensorflow compiler-optimization


【解决方案1】:

SSD 也会提高编译速度。您可以使用 bazel 选项 --jobs 来定义同时工作的作业数。

【讨论】:

    猜你喜欢
    • 2012-12-07
    • 1970-01-01
    • 2013-02-18
    • 2010-12-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-09-16
    相关资源
    最近更新 更多