如何自定义 GCP 数据流模板？答案

【问题标题】：How to Customize GCP Dataflow template?如何自定义 GCP 数据流模板？
【发布时间】：2021-01-13 18:03:35
【问题描述】：

我打算使用 Pub/Sub to Text Files on Cloud Storage 数据流模板，并在写入 Cloud Storage 之前进行少量自定义，例如处理（按摩）PubSub 消息。

我编写了 apache-beam 管道代码，但对如何部署它感到困惑。它消耗的参数会和Pub/Sub to Text Files on Cloud Storage一模一样

来自documentation 我知道我可以使用 Google 提供的模板之一或创建您自己的模板。但是除了创建我自己的模板之外，还有更好的方法来自定义 Google 提供的模板，因为它可以满足我的大部分要求

【问题讨论】：

【解决方案1】：

我认为我们处于全有或全无的境地。唯一不需要创建自己的模板的自定义是通过参数公开的，它们是do no accept Ptransforms。

由于您需要修改提取的 Pub/sub 消息，因此您需要创建自己的 PTransform，将其集成到您的管道中并生成关联的模板。

鉴于这只是一点点添加，您最好的方法是克隆模板源并将它们复制到您自己的本地 Beam 项目中（或从克隆的项目中生成它）。 !!不要修改示例模板本身。只是可用的代码示例here!! 按照documentation 中的说明生成模板。你可以这么称呼它。

【讨论】：