【问题标题】:Optimal heartbeat.timeout configuration for flink jobsflink 作业的最佳 heartbeat.timeout 配置
【发布时间】:2021-10-13 23:21:39
【问题描述】:

我们应该如何确定 flink 作业的最佳 heartbeat.timeout 配置。我正在使用 flink 1.10.3,由于心跳超时异常,我的服务失败。当前设置的默认值是 50 秒。

【问题讨论】:

    标签: exception timeout apache-flink heartbeat


    【解决方案1】:

    也许你可以修改conf/flink-conf.yaml,或者通过-D动态参数

    可能对你有帮助 https://ci.apache.org/projects/flink/flink-docs-master/docs/deployment/cli/

    【讨论】:

      【解决方案2】:

      在我的 flink 工作中,我尝试将 heartbeat.timeout 从 50s 增加到 5min,但没有奏效,并且异常不断出现。 在我的情况下,心跳超时异常的原因是任务管理器在堆内存耗尽时崩溃。 所以我尝试将 taskmanager.memory.managed.fraction 从 0.4 更改为 0.05,这反过来又增加了堆内存。 现在,心跳故障的频率降低了,管道也可以从故障中重新启动。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2010-09-23
        • 2021-01-05
        • 1970-01-01
        • 1970-01-01
        • 2019-09-17
        • 1970-01-01
        相关资源
        最近更新 更多