【问题标题】:Asynchronous I/O BEAM API for External Data Acces用于外部数据访问的异步 I/O BEAM API
【发布时间】:2021-10-06 18:56:44
【问题描述】:

我很想知道用于外部数据访问的 Asynchronous I/O Flink API 是否也可用于 Beam。我找不到任何具体的东西。我知道 Beam 使用 Flink 作为执行框架,因此 Beam 也可以使用异步 I/O,但我不确定 API 是否已定义。

【问题讨论】:

    标签: apache-beam


    【解决方案1】:

    我没有在 Beam 的 Flink 运行程序代码库中找到任何相关内容,我认为这并不容易(甚至不确定是否可能),因为所有 Beam IO 都以必须运行的统一方式实现不同的跑步者。因此,任何特定的数据处理事物或优化都必须由该运行器直接使用,用于在此平台(在您的情况下为 Flink)上运行 Beam 管道,在管道转换阶段并且仍然保持在 Beam 模型的限制内.

    【讨论】:

      猜你喜欢
      • 2013-06-19
      • 1970-01-01
      • 2013-03-09
      • 2011-03-14
      • 1970-01-01
      • 2012-09-14
      • 2020-08-18
      • 2016-09-29
      • 1970-01-01
      相关资源
      最近更新 更多