使用 PyTorch 在 Cloud TPU 上训练 FairSeq RoBERTa 时，RPC 失败，状态 =“不可用：套接字已关闭”错误答案

【问题标题】：RPC failed with status = "Unavailable: Socket closed" Error when training FairSeq RoBERTa on Cloud TPU using PyTorch使用 PyTorch 在 Cloud TPU 上训练 FairSeq RoBERTa 时，RPC 失败，状态 =“不可用：套接字已关闭”错误
【发布时间】：2020-12-27 16:39:31
【问题描述】：

我按照教程“Pre-training FairSeq RoBERTa on Cloud TPU using Pytorch”设置了 Preemptible (v2-8) TPU 环境并训练我的 RoBERTa 模型。 PyTorch env 按照文档的说明基于 torch-xla-1.6。但是，它不会像往常一样在 GPU 中输出任何训练日志，并且会在 2-3 天内（间隔 12 小时）两次抛出 RPC 失败警告（见下文 - 网络端点已在此处删除）。

我每个 epoch 的训练步数是 161,529。根据文档，按照我的配置，v2-8 将花费 80 小时进行 5 个 epoch。但是，我的工作似乎悬而未决。

有什么建议吗？

 W    4566 tensorflow/core/distributed_runtime/rpc/grpc_remote_master.cc:160] RPC failed with status = "Unavailable: Socket closed" and grpc_error_string = "{"created":"@1599580717.037250202","description":"Error received from peer ipv4:<my_network_endpoint>:8470","file":"external/com_github_grpc_grpc/src/core/lib/surface/call.cc","file_line":1056,"grpc_message":"Socket closed","grpc_status":14}", maybe retrying the RPC

【问题讨论】：

据我记得这可能是由 tf 2.3.0 中的错误引起的。尝试改用 2.2.0
这是 PyTorch 环境，我使用的是标准的 torch-xla 图像
基于错误信息 - 看起来 pytorch 使用了 tensorflow

标签： pytorch tpu fairseq roberta-language-model

【解决方案1】：

在这种情况下，您的 TPU 可能已被抢占。请尝试使用非抢占式 TPU。

【讨论】：

请不要以使它们看起来像问题的方式编写答案。有一些系统可以检查 Not An Answer (NAA) 帖子。这个答案被其中一个人错误地接受了。请考虑对其进行编辑以使其看起来更像一个答案。改写“您可以尝试使用非抢占式 TPU 吗？”行。
即使使用非抢占式 TPU 也会出现此错误。