【问题标题】:How to handle backpressure in flink streaming job?如何处理 flink 流作业中的背压?
【发布时间】:2017-12-28 13:30:40
【问题描述】:

我正在运行一个流式 flink 作业,它使用来自 kafka 的流式数据,并对 flink map 函数中的数据进行一些处理,并将数据写入 Azure 数据湖和弹性搜索。对于 map 函数,我使用了 1 的并行性,因为我需要在我作为全局变量维护的数据列表中一个一个地处理传入的数据。现在,当我在 flink 开始从 kafka 获取流数据时运行作业时,它的背压在 map 函数中变得很高。是否有任何设置或配置可以避免 flink 中的背压?

【问题讨论】:

标签: apache-flink flink-streaming


【解决方案1】:

给定运算符的背压表明 next 运算符正在缓慢地消耗元素。根据您的描述,似乎其中一个接收器性能不佳。考虑扩大接收器、注释掉接收器以进行故障排除和/或调查您是否达到了 Azure 速率限制。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-09-27
    • 1970-01-01
    • 1970-01-01
    • 2017-05-19
    • 2019-06-20
    • 1970-01-01
    相关资源
    最近更新 更多