GCS 中的 Beam/Dataflow 警告和僵尸存储桶

Question

我们有一个使用模板功能的 Beam/Dataflow 管道（使用 Dataflow SDK 2.0.0-beta3 并在 GCP 上运行）。每当我们运行它时，它总是会发出以下警告：

11:05:30,484 0    [main] INFO  org.apache.beam.sdk.util.DefaultBucket - No staging location provided, attempting to use default bucket: dataflow-staging-us-central1-435085767562
11:05:31,930 1446 [main] WARN  org.apache.beam.sdk.util.RetryHttpRequestInitializer - Request failed with code 409, will NOT retry: https://www.googleapis.com/storage/v1/b?predefinedAcl=projectPrivate&predefinedDefaultObjectAcl=projectPrivate&project=<redacted>"

但是，我们正在设置--stagingLocation 参数，我们可以看到所有二进制文件/jar 等都已上传到我们在--stagingLocation 参数中指定的存储桶中。

但是，Beam/Dataflow 然后在我们项目的 GCS 中创建了以下僵尸桶：dataflow-staging-us-central1-435085767562

如果我们明确设置了--stagingLocation 参数，为什么会发生这种情况？

Answer 1

我怀疑这是BEAM-2143。具体来说，虽然错误提示需要指定--stagingLocation，但实际上需要指定--tempLocation。