在更新 Dataflow 管道时强制更新 SideInput

【问题标题】：Force update of SideInput on updating Dataflow pipeline在更新 Dataflow 管道时强制更新 SideInput
【发布时间】：2020-07-06 12:29:43
【问题描述】：

我有一个正在运行的 Dataflow 管道，它获取活动租户的配置（存储在 GCS 中）并将其作为 sideInput 输入ActiveTenantFilter。配置很少更新，因此我决定在每次更新时使用--update 标志重新部署管道。

但是，当使用更新标志时，不会再次获取文件，即保持状态。是否可以强制在重新部署管道时更新此 PCollectionView？

【问题讨论】：

【解决方案1】：

你是对的，当你--update一个管道时，它会处理新数据但不会重新加载旧数据。听起来您想要的是slowly updating side inputs，不幸的是尚未实现。您可以尝试排空并重新启动管道。

【讨论】：

在我的例子中，工作是由 Terraform 启动的。因此，排空并重新开始并不是那么简单。最后，我决定在FilterNonActive 租户转换的@setup 方法中获取配置。实际上，设置是在更新管道时重新执行的。将密切关注更新侧输入的进度。感谢您的回答！
@robertwb 似乎它与PeriodicImpulse 一起到达那里，但我无法完全理解如何让它在本地工作..