谷歌云欧洲地区与大查询和数据流不匹配

Question

bigquery 数据集的docs 声明以下欧洲区域可用 (A)：

• 欧洲北部1
• 欧洲西部3
• 欧洲西部2
• 欧洲西部6

数据流的docs 表明这些是可用的欧洲区域 (B)：

• 欧洲西部1
• 欧洲西部4

如您所见，这些区域之间没有重叠。

我们正在构建一个应用程序

• 从 php 后端创建数据集、bigquery 表等。
• 使用 python 脚本卸载将数据从各种来源转移到 bigquery 到数据流

我们很愚蠢（事后看来）将我们的项目分成两部分，这些部分是独立完成的。两者都有效。从来没有人想到这会成为我们的问题（现在应该很明显了）：

• php api 不能和 B 一起工作
• 数据流脚本无法与 A 一起使用
• 数据流无法在区域之间读写
• 出于合规原因，我们无法在欧盟以外托管我们的数据。

我们如何解决我们的第 22 个问题？

Answer 1

您将 Regional Endpoint 与工作虚拟机为 Dataflow 管道启动并实际处理数据的实际区域/区域混淆了。

Regional Endpoint 处理元数据并协调您的 Dataflow 管道。如果您指定 --zone，那么这就是 Dataflow 的实际工作虚拟机将在其中启动的区域。