Kibana、Logstash 用于大数据环境答案

【问题标题】：Kibana, Logstash for big data enviornmentKibana、Logstash 用于大数据环境
【发布时间】：2013-12-12 13:19:18
【问题描述】：

我们可以使用Logstash 和Kibana 进行大数据分析吗？

我将使用 Hadoop 来存储我的数据。在尝试任何事情之前，我想知道是否有人已经尝试过。

【问题讨论】：

【解决方案1】：

我实际上已经将 HDFS + ElasticSearch + Kibana + Logstash 用于使用 Hive。它工作得很好。尽管如果您尝试将数据从 ElasticSearch 加载到 Hive 中，但没有正确声明数据类型，您的数据可能会得到 NULL 值。

--- Hive 连接 ---
确保 es-hadoop-hive-2.0.2.jar 和 es-hadoop-2.0.2.jar 文件位于您的 Hive 目录中。

请按照 ElasticSearch 网站上的文档了解更多详细信息。

【讨论】：

【解决方案2】：

您的数据有多大？

目前，我使用 Logstash + ElasticSearch + Kibana 来分析超过 50 GB 的日志数据。

Elasticsearch 还与 Hadoop 集成。
检查此链接：http://www.elasticsearch.org/overview/hadoop/

【讨论】：

大约 100-125 GB 的数据将在我的服务器上累积一周，我想分析一下。我已经浏览了您分享的链接，非常好。我正在从您的设置中寻找更多见解，例如您设置的系统性能，以及您的系统配置。在 Kibana 中放置各种过滤器时，您是否遇到任何类型的延迟。

【解决方案3】：

一周内 125GB（猜测）1k 文档大约是 200/秒，这对于任何 logstash/elasticsearch 配置索引都没有问题。

去给自己找 6 台机器：

三个 elasticsearch 数据节点，每个节点有 64GB 的 RAM。
三台机器运行 elasticsearch 主节点（RAM 要求低得多）。这些也可以是客户端节点（用于索引和搜索请求），并且可以运行 logstash 和 kibana，如果您对它们进行了一些增强。

【讨论】：