【发布时间】:2021-10-06 18:56:44
【问题描述】:
我很想知道用于外部数据访问的 Asynchronous I/O Flink API 是否也可用于 Beam。我找不到任何具体的东西。我知道 Beam 使用 Flink 作为执行框架,因此 Beam 也可以使用异步 I/O,但我不确定 API 是否已定义。
【问题讨论】:
标签: apache-beam
我很想知道用于外部数据访问的 Asynchronous I/O Flink API 是否也可用于 Beam。我找不到任何具体的东西。我知道 Beam 使用 Flink 作为执行框架,因此 Beam 也可以使用异步 I/O,但我不确定 API 是否已定义。
【问题讨论】:
标签: apache-beam
我没有在 Beam 的 Flink 运行程序代码库中找到任何相关内容,我认为这并不容易(甚至不确定是否可能),因为所有 Beam IO 都以必须运行的统一方式实现不同的跑步者。因此,任何特定的数据处理事物或优化都必须由该运行器直接使用,用于在此平台(在您的情况下为 Flink)上运行 Beam 管道,在管道转换阶段并且仍然保持在 Beam 模型的限制内.
【讨论】: