【问题标题】:Chaining Flink Sinks链接 Flink 接收器
【发布时间】:2021-05-04 16:58:58
【问题描述】:

背景

  • 我是 Flink 新手,来自 Apache Storm 背景
  • 致力于开发无损 gRPC 接收器

症结

  • 有限的编号。重试次数将根据 gRPC 端点返回的错误代码进行
  • 之后数据会被刷新到 Kafka Queue 进行离线处理
  • 重试的决定将基于返回的错误代码。

问题

是否可以链接另一个接收器,以便响应(成功或错误)也可用于下游的任何自定义处理?

【问题讨论】:

  • 一般来说这是不可能的,你必须解决这个问题,要么在单个接收器中提供这两种功能,要么使用一些现有的功能(如 AsyncIO)写入 gRPC,然后将故障接收到 kafka,但如果您需要任何强有力的保证,这可能会更难。

标签: apache-flink flink-streaming


【解决方案1】:

答案是comment by Dominik Wosiński

一般来说这是不可能的,您必须解决这个问题,或者通过在单个接收器中提供这两个功能,或者使用一些现有的功能(如 AsyncIO)写入 gRPC,然后将故障接收到 kafka,但这可能更难如果您需要任何强有力的保证。

【讨论】:

    猜你喜欢
    • 2021-09-09
    • 1970-01-01
    • 2018-01-05
    • 1970-01-01
    • 1970-01-01
    • 2021-04-15
    • 2017-05-25
    • 2019-06-20
    • 2018-12-07
    相关资源
    最近更新 更多