DataFlow gcloud CLI - “模板元数据太大”

Question

我已经在 DataPrep 中磨练了我的转换，现在正尝试使用 gcloud CLI 直接运行 DataFlow 作业。

我已经导出了我的模板和模板元数据文件，并尝试使用gcloud dataflow jobs run 运行它们并将输入和输出位置作为参数传递。

我收到了错误：

Template metadata regex '[ \t\n\x0B\f\r]*\{[ \t\n\x0B\f\r]*((.|\r|\n)*".*"[ \t\n\x0B\f\r]*:[ \t\n\x0B\f\r]*".*"(.|\r|\n)*){17}[ \t\n\x0B\f\r]*\}[ \t\n\x0B\f\r]*' was too large. Max size is 1000 but was 1187.

我没有在命令行中指定它，所以我知道它是从元数据文件中获取的——它直接来自 DataPrep，未经我编辑。

我有 17 个输入位置 - 一个包含源数据，其他所有都是查找。每个都有一个正则表达式，外加一个。

如果它在 DataPrep 提示时正在运行，但不会通过 CLI 运行，我是否遗漏了什么？

Answer 1

在这种情况下，我怀疑根本原因是数据流 API 或 Dataprep 中不存在的 gcloud 限制。在这种情况下，最好的办法是在公共跟踪器中打开一个新的Cloud Dataflow issue 并在那里提供详细信息。