【发布时间】:2017-12-28 13:30:40
【问题描述】:
我正在运行一个流式 flink 作业,它使用来自 kafka 的流式数据,并对 flink map 函数中的数据进行一些处理,并将数据写入 Azure 数据湖和弹性搜索。对于 map 函数,我使用了 1 的并行性,因为我需要在我作为全局变量维护的数据列表中一个一个地处理传入的数据。现在,当我在 flink 开始从 kafka 获取流数据时运行作业时,它的背压在 map 函数中变得很高。是否有任何设置或配置可以避免 flink 中的背压?
【问题讨论】:
-
您好 dhinesh,欢迎来到 SO!我想为您提供一些 SO 文档,这些文档可能会帮助您提出更好的问题。例如,您可能对topics we discuss here、the way to ask a 'good' question 和the way to create a minimal, complete and verifiable example 感兴趣。如果您觉得它有用,您仍然可以编辑您的问题。
标签: apache-flink flink-streaming