【发布时间】:2016-04-27 01:08:25
【问题描述】:
是否可以将来自 Logstash 或 Elasticsearch 的日志的实时输入流接收到 Spark Streaming 中?
我看到有一个内置的 Flume 接收器。但是任何现有的 Logstash 或 Elasticsearch 的自定义接收器?
【问题讨论】:
-
来自elastic.co/guide/en/logstash/current/output-plugins.html,没有输出插件可以触发。但logstash->kafka->spark 是可能的。您也可以编写自己的插件。但我很好奇,为什么不用flume?
-
简单的原因真的是我更喜欢 Logstash 而不是 Flume
标签: elasticsearch apache-spark logstash spark-streaming