【发布时间】：2021-01-19 18:09:49
【问题描述】：
是否有配置选项来控制每批推送到 Elastic Search 的记录数？ 在 Logstash 中，可以使用以下相关配置选项 --pipeline.batch.size --pipeline.batch.delay
【问题讨论】：
标签： elasticsearch plugins logstash fluentd
【发布时间】：2021-01-19 18:09:49
【问题描述】：
在 Logstash 中，pipeline.batch.size 没有指定推送到 Elasticsearch 的记录数，而是指定进入每个输入管道的记录数（默认情况下，每个可用 CPU 一个，但可以在 pipeline.workers 中指定） .
假设您在 8 核上运行，默认情况下，您将有 8 个输入管道处理 125 条记录，总计 1000 条记录。这 1000 条记录将通过过滤器和输出插件并行流动。
对于输出部分，比如elasticsearch 插件，您无法选择每批输出多少条记录。默认情况下，插件会尝试发送记录in 20MB batches。
关于 Fluentd，您需要利用 buffering configuration 和一些 specific buffer options。
这里还有一个good article，介绍如何针对 Fluentd 进行调整。
【讨论】：