【问题标题】:Need some clarification regarding error handling in kafka connect需要一些关于 kafka connect 中的错误处理的说明
【发布时间】:2022-05-18 01:11:36
【问题描述】:

我正在查看以下网站KIP:298: Error Handling in Connect

在示例 2 中,下面的配置会做什么?更多信息或示例可以帮助我理解。:-

# retry for at most 10 minutes times waiting up to 30 seconds between consecutive failures
errors.retry.timeout=600000
errors.retry.delay.max.ms=30000

还有一件事是,在处理 sink 连接器时,当我因为重复记录而遇到一些错误时,它会继续尝试一段时间,如何设置我们自己的重试限制?强> 我尝试设置errors.retry.timeout=0,即使重复键错误在一定次数内连续重试,但如果错误是由于架构或序列化程序引起的,则不会重试。

最后,errors.log.enable 如果这是真的,这些日志存储在哪里?我正在检查连接日志,但无法找到默认日志与 errors.log.enable 设置为 true 时的区别。

【问题讨论】:

    标签: apache-kafka apache-kafka-connect


    【解决方案1】:

    不确定如何解决您的问题,但是当 errors.log.enable=true 时,您应该会看到为您的连接器创建了 2 个附加主题,yourconnector-erroryourconnector-success,您应该能够在 @987654324 中看到连接器故障消息@话题。

    【讨论】:

      猜你喜欢
      • 2021-09-28
      • 2019-05-14
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多