请迁移 JSON-RPC 和全局 HTTP 批处理端点 - 数据流模板答案

【问题标题】：Please migrate off JSON-RPC and Global HTTP Batch Endpoints - Dataflow Template请迁移 JSON-RPC 和全局 HTTP 批处理端点 - 数据流模板
【发布时间】：2018-10-22 17:19:56
【问题描述】：

我收到了一封以标题 ^ 为主题的电子邮件。说明一切。我没有直接使用指定的端点（storage@v1）。有问题的项目是将数据汇集到 BigQuery 的回发捕手

App Engine > Pub Sub > Dataflow > Cloud Storage > BigQuery

相关问题here 表示 Dataflow 可能间接使用它。我只使用 Cloud PubSub to GCS Text template。

如果我依赖模板，推荐的操作方案是什么？

【问题讨论】：

标签： google-api google-cloud-dataflow google-cloud-pubsub

【解决方案1】：

我认为警告可能来自使用旧版本存储 API 的数据流作业。请将 Dataflow/Beam SDK 版本升级到 2.5 以上。

因为您使用的是我们的 PubsubToText 模板。最简单的方法是：

停止您的管道。请务必在询问时选择“排水”。
使用最新版本从同一订阅重新启动管道（如果您使用 UI，则会自动完成）。
检查 SDK 版本。至少应为 2.7。

之后，您应该不会再看到任何警告。

【讨论】：

根据 PubSub 文档“......无法检索发布到没有订阅的主题的消息。”不会停止管道会导致一段时间内没有该主题的订阅者（这是该主题的唯一订阅者/处理器），随后我会丢失在步骤 1）和步骤 2 之间发布的任何消息)?
在新项目中设置测试并确认文档指定的行为（丢失发布到没有订阅者的主题的消息）。我设置了一个临时流程来捕获在更新我的主要流程时出现的任何内容，然后手动将这些数据传输到我的数据集中。停止然后开始一个新的工作确实更新了 SDK。谢谢！