使用 es-hadoop 索引日志答案

【问题标题】：Indexing logs with es-hadoop使用 es-hadoop 索引日志
【发布时间】：2015-07-20 12:29:50
【问题描述】：

我是 elasticsearch 的新手，想对存储在 HDFS 上的网站日志进行索引，以便快速查询。我有一个结构良好的管道，它每 20 分钟运行一次脚本以将数据摄取到 HDFS 中。我想将 elasticsearch 与其集成，以便它还根据特定字段对这些日志进行索引，从而使用 spark SQL 提供更快的查询结果。所以，我的问题是，我可以仅基于特定字段索引我的数据吗？此外，我的日志以 avro 文件格式保存。 es 是否提供了直接索引 avro 序列化数据的方法，还是我需要将其转换为其他格式？

提前谢谢你。

【问题讨论】：

标签： hadoop elasticsearch hdfs avro

【解决方案1】：

我建议您查看 Elasticsearch、Logstash 和 Kibana 堆栈，它们应该足以满足您的要求。将它放在 HDFS 上然后使用 ES 将是额外的开销。

相反，您可以使用 Logstash 将数据泵入 ES，在您希望查询的任何字段上建立索引，并在不到 10 分钟的练习中构建简单的仪表板。查看本教程以获得更好的分步指南。

http://hadooptutorials.co.in/tutorials/elasticsearch/log-analytics-using-elasticsearch-logstash-kibana.html

【讨论】：

那么，如果我将日志也存储在elasticsearch中，是不是需要双倍的空间？
我的意思是，只存储到 ES 中。