td-agent fluentd 无法向 Kafka 发送消息

Question

我有一个 td-agent 毫无问题地向 Kafka 队列发送消息。但现在我收到以下错误。我没有运气重新启动代理。我没有运气手动刷新缓冲区。

欢迎任何关于正在发生的事情的建议

2019-03-20 16:44:06 +0100 [warn]: #0 Send exception occurred: 无法向 test-250-events/0 发送消息 2019-03-20 16:44:06 +0100 [警告]：#0 异常回溯：/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/ lib/kafka/producer.rb:330:in deliver_messages_with_retries' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:inblock in Deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/instrumenter.rb:23:in instrument' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:indeliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:281:in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:inwrite' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/compat/output.rb:131:in write' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:intry_flush' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1394:in flush_thread_run' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:445:inblock（2级）在开始' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin_helper/thread.rb:78:in `block in thread_create' 2019-03-20 16:44:06 +0100 [info]：#0 初始化 kafka 生产者：kafka 2019-03-20 16:44:06 +0100 [警告]：#0 未能刷新缓冲区。 retry_time=5 next_retry_seconds=2019-03-20 16:44:05 +0100 chunk="58471660306e5c7712d0c2ff1a546048" error_class=Kafka::DeliveryFailed error="无法将消息发送到 test-250-events/0" 2019-03-20 16:44:06 +0100 [警告]：#0 抑制相同的堆栈跟踪

从服务器与 Kafka 集群有连接：

user@server:~$ telnet digital.servicebus.windows.net 9093 正在尝试 13.69.64.0 ... 连接到 digital-dev-01.servicebus.windows.net。 转义字符是'^]'。

提前谢谢你

Answer 1

我们遇到了完全相同的问题。在 Azure 北欧的 Kubernetes 集群中使用 Kafka 输出运行 fluentd。

3 月 19 日下午 1 点左右，它刚刚从多个集群停止工作。

编辑：我们最终找到了解决方案。基本上确保你有更高版本的 ruby​​-kafka 和/或 fluent-kafka-plugin

我们通过在我们的 Kubernetes 清单中实现这一点。

容器： - 名称：流利的 图片：fluent/fluentd-kubernetes-daemonset:v1.3.3-debian-kafka-1.2 命令：[“/bin/sh”] args: ["-c", "cp /fluent-config/*.conf /fluentd/etc/ && gem install fluent-plugin-detect-exceptions && gem install fluent-plugin-prometheus && gem update fluent-plugin-kafka && /fluentd/entrypoint.sh"]