【问题标题】:Kubernetes logs split in kibanaKubernetes 日志在 kibana 中拆分
【发布时间】:2021-01-13 03:26:33
【问题描述】:

我在 Azure 中有 Kubernetes 系统,并使用以下指令来安装 fluent、elasticsearch 和 kibana:https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch 我可以在 kibana 中看到我的 pod 日志,但是当我发送的日志超过 16k 字符时,它就被拆分了。

如果我发送 35k 个字符。它分为 3 个日志。

如何增加 1 个日志的限制?我希望能够在一个日志中看到 36k 个字符。

image here

【问题讨论】:

标签: elasticsearch kubernetes kibana


【解决方案1】:

https://github.com/fluent-plugins-nursery/fluent-plugin-concat

作业是否合并到一个日志中。 解决 docker 的最大日志行(16Kb) 解决我的容器日志中的长行被分成多行 解决消息的最大大小似乎是 16KB 因此对于 85KB 的消息,结果是在不同的块中创建了 6 条消息。

【讨论】:

    【解决方案2】:

    半年前我是digging this topic。简而言之,这是一种预期行为。

    Docker 以 16K 的大小将日志消息分块,因为日志消息有 16K 的缓冲区。如果消息长度超过 16K,则应由 json 文件记录器拆分,并在端点处合并

    看起来 Fluentbit 的 Docker_mode 选项可能会有所帮助,但我不确定您如何准确地解析容器日志。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-08-31
      • 2020-08-05
      • 1970-01-01
      • 1970-01-01
      • 2015-01-01
      • 1970-01-01
      相关资源
      最近更新 更多