改进 ElasticSearch 索引的各种方法是什么？

Question

我正在使用 ELK 来处理和监控相当大的日志文件。我正在从本地文件系统推送日志。

但我面临几个问题：

1. 由于数据量大，使用 LogStash 进行解析非常慢。随着过滤器插件的增加，它变得更慢。 （3.2GB 的日志需要 4 多天！）
2. 在 Kibana 中对这些索引进行 API 调用和构建可视化效果也很慢。

我该如何解决这些问题？

1. 迁移到云解决方案：AWS 还是 Google Cloud？但这些可能需要 增加的费用。
2. 改进索引技术。如何在 ES 中实现这一点？

任何帮助都是有益的。谢谢！

预计到达时间：

我的 logstash 配置：

input {
    file {
        path => "/home/adb/data/**/**/*.gz" #path to subfolder (2nd level) containing .gz files
        mode => "read"
        file_completed_action => "log"
        file_completed_log_path => "/home/adb/data/log.txt"
    }
}

filter {
    csv {
        separator => "&"
        columns => ["T", "D", "CID", "RT", "RP" ...]
    }

    kv {
        source => "RP"
        target => "RP"
        value_split => "#"
        field_split => "*"
    }

    mutate {
        split => { "RT" => "*" }
    }

    date {
                match => ["T", "yyyy-MM-dd HH:mm:ss"]
                timezone => "UTC"
                target => "ET"
        }

     mutate {
                convert => {
                        "RT" => "integer"
                }
        }

}

output {
    elasticsearch {
        hosts => "localhost"
        index => "trial1"
        document_type => "A_C"
    }
    stdout {}
}

Answer 1

在使用弹性搜索索引时使用 logstash 处理大量数据时，索引可能会很慢。您可以将 apache kafka 放在应用程序和 logstash 之间以加快索引速度。