在多个运行器（服务器）上运行 ApacheBeam Pipeline

Question

我已经编写了一个完整的基于 apacheBeam 的管道，并使用直接运行器在本地对其进行了测试。但是，我想知道是否可以在多个服务器上运行此管道？我看到 ApacheBeam 通常在具有自动缩放功能的 GCP 上运行。但我想定义一组私有服务器作为我的运行器来运行我的管道。

任何指针或建议将不胜感激。

ps：这里是 apache beam 的文档：https://beam.apache.org/releases/pydoc/2.20.0/_modules/apache_beam/options/pipeline_options.html

Answer 1

您可以在Flink 等OSS 运行器上以分布式方式运行Beam 管道。请参阅compatibility matrix 中支持的跑步者集。