【问题标题】:Do TFX pipelines support training on TPUs?TFX 管道是否支持在 TPU 上进行训练?
【发布时间】:2022-06-13 03:25:29
【问题描述】:
我是 TFX 新手,我想知道是否有可能创建一个 TFX 管道,该管道可以使用 TPUClusterResolver 中的 TPUStrategy 在 TPU 节点上训练 Keras 模型。查看 TFX 文档,我不清楚这是否可能。
非常感谢您对此的任何反馈!谢谢!
注意:我使用的是 TF v2
【问题讨论】:
标签:
keras
google-cloud-platform
tensorflow2.0
tpu
tfx
【解决方案1】:
是的,TFX 流水线为启用 TPU 的 Estimator 支持开箱即用的 TPU,同样的 model_config.model 可用于配置估算器,无论它是在 CPU 还是 TPU 上训练的。
要在 TPU 中训练,您应该遵循以下操作:
- 在您的部署文件中配置
tpu_footprint 和所需的
您的服务文件的 trainer 节。
- 包括一个空的
TPUSettings
您的 custom_config 文件中的消息。
- 作为可选操作,
在中配置一个 TPUEstimator 特定的参数
model_config.tpu_estimator。