通过 Hadoop 的 Elasticsearch 和 Splunk 连接答案

【问题标题】：Elasticsearch and Splunk connection via Hadoop通过 Hadoop 的 Elasticsearch 和 Splunk 连接
【发布时间】：2017-04-07 02:36:26
【问题描述】：

我目前正在与一家在弹性搜索中拥有日志数据的公司进行试验。（他们目前使用整个 ELK 堆栈）。

Splunk 有一个名为 Hunk 的插件，可让您从 Splunk 的界面查询 HDFS / Hadoop 数据。我已经能够得到这个工作。

我的问题是，有没有办法使用 es-hadoop 以某种方式将两者“桥接”在一起？那当 Hunk 查询我的 hdfs 时，它最终也会拉入 Elasticsearch 数据？

（他们公司想看看是否可以在不复制数据的情况下使用 Splunk）

谢谢。

【问题讨论】：

你看过logstash吗？不过，为什么要使用 Splunk？
他们使用整个 ELK 堆栈，我会澄清这一点。他们想试验 Splunk，但不复制数据。
明白了。不幸的是，我相信 Hunk 严格搜索 HDFS 数据。 ES和Hadoop之间的连接器只是HDFS到ES的一种方式
那么这里唯一明显的解决方案是所有日志数据都应该存储在 HDFS 中，然后由连接器根据需要访问？
没有使用 Splunk / Hunk 的个人经验，这就是我通常看到的数据存储方式。另一种解决方案是在日志源拆分数据，然后同时输入 Hadoop 和 ElasticSearch，但正如您所说，您不想复制。

标签： hadoop elasticsearch splunk

【解决方案1】：

Splunk 在 2016 年弃用了 HUNK，并发布了 Hadoop Connect。现在您可以从 HDFS 读取、写入、探索和导出。没有与读取、写入或探索 HDFS 集群相关的 Splunk 许可费用。因此，您可以使用来自 HDFS 的数据来创建统计解决方案，而无需支付任何费用。 Splunk 打赌，您会希望将汇总数据和精炼数据集放入 Splunk 中，以使企业受众更容易使用它们。 https://www.splunk.com/blog/2012/12/20/connecting-splunk-and-hadoop/

【讨论】：