使用 fluentd 和 elasticsearch 进行实时数据同步答案

【问题标题】：Real time data syncing using fluentd and elasticsearch使用 fluentd 和 elasticsearch 进行实时数据同步
【发布时间】：2019-06-17 11:00:46
【问题描述】：

我正在使用 fluentd 将数据从 kafka 同步到 Elasticsearch。但是 fluentd 需要 60 秒才能将数据同步到 elasticsearch。我想要实时数据同步。有没有我必须包含的配置参数。

我试过了

<source>
  @type kafka
  brokers localhost:9092
  topics xxx
</source>
<match xxx>
  @type elasticsearch
  scheme http
  port 9200
  <buffer tag>
    @type memory
    flush_thread_count 4
  </buffer>
</match>

【问题讨论】：

标签： fluentd

【解决方案1】：

我们使用flush_interval参数，像这样：

  <buffer>
    flush_interval        5s
    flush_thread_count    4
  </buffer>

【讨论】：

这有帮助吗？