容器是否可以在完成时发送 kafka 事件？

【问题标题】：Is possible for a container to send kafka event when finishes?容器是否可以在完成时发送 kafka 事件？
【发布时间】：2021-09-09 17:40:54
【问题描述】：

我们刚刚迁移到 kubernetes 集群，我想知道是否可以在容器/pod 自动完成时发送 kafka 事件，并将 stdout 作为消息。现在我们使用 fluentd 和弹性搜索，但是一个 pod 的输出被用作下一个 pod 的输入，我们需要不断地轮询弹性搜索，以了解输出何时准备好，这会导致整体执行的性能问题

【问题讨论】：

请编辑问题以将其限制为具有足够详细信息的特定问题，以确定适当的答案。

标签： apache-kafka kubernetes-pod

【解决方案1】：

我不确定您当前的设置，但我首先想到的是：

在每个节点自己的 pod 上使用 fluentd 或 Logstash 等内容
配置对 Kubernetes 日志文件夹 /var/log/containers/* 的卷访问权限
将 Kafka 输出用于 fluentd 或 Logstash，并在日志文件夹上使用文件输入（尾部）

这种方法需要在每个节点上进行上述配置，但需要对日志位置等进行最少配置。

这不是我个人配置的，而是为将来考虑的。

更多信息here

【讨论】：

我希望有另一种方式，因为 fluentd 在输出中插入一些控制字符，因为我们使用一个 pod 的输出作为另一个 pod 的输入，我认为迟早会导致问题