【问题标题】:Do TFX pipelines support training on TPUs?TFX 管道是否支持在 TPU 上进行训练?
【发布时间】:2022-06-13 03:25:29
【问题描述】:

我是 TFX 新手,我想知道是否有可能创建一个 TFX 管道,该管道可以使用 TPUClusterResolver 中的 TPUStrategy 在 TPU 节点上训练 Keras 模型。查看 TFX 文档,我不清楚这是否可能。

非常感谢您对此的任何反馈!谢谢!

注意:我使用的是 TF v2

【问题讨论】:

  • 您好,我的回答对您有帮助吗?

标签: keras google-cloud-platform tensorflow2.0 tpu tfx


【解决方案1】:

是的,TFX 流水线为启用 TPU 的 Estimator 支持开箱即用的 TPU,同样的 model_config.model 可用于配置估算器,无论它是在 CPU 还是 TPU 上训练的。

要在 TPU 中训练,您应该遵循以下操作:

  1. 在您的部署文件中配置 tpu_footprint 和所需的 您的服务文件的 trainer 节。
  2. 包括一个空的TPUSettings 您的 custom_config 文件中的消息。
  3. 作为可选操作, 在中配置一个 TPUEstimator 特定的参数 model_config.tpu_estimator

【讨论】:

  • 嗨,对不起,我忘了说我使用的是 TF v2。
猜你喜欢
  • 2020-04-27
  • 1970-01-01
  • 1970-01-01
  • 2023-03-17
  • 2020-09-05
  • 2018-09-25
  • 2020-10-26
  • 2019-08-06
  • 2020-06-06
相关资源
最近更新 更多