【问题标题】:Logstash or Elasticsearch integration with Apache Spark streamingLogstash 或 Elasticsearch 与 Apache Spark 流式集成
【发布时间】:2016-04-27 01:08:25
【问题描述】:

是否可以将来自 Logstash 或 Elasticsearch 的日志的实时输入流接收到 Spark Streaming 中?

我看到有一个内置的 Flume 接收器。但是任何现有的 Logstash 或 Elasticsearch 的自定义接收器?

【问题讨论】:

  • 来自elastic.co/guide/en/logstash/current/output-plugins.html,没有输出插件可以触发。但logstash->kafka->spark 是可能的。您也可以编写自己的插件。但我很好奇,为什么不用flume?
  • 简单的原因真的是我更喜欢 Logstash 而不是 Flume

标签: elasticsearch apache-spark logstash spark-streaming


【解决方案1】:

目前可能最好的解决方案似乎是使用 kafka 的 logstash 输出插件,然后使用 spark kafka 接收器读取 kafka 主题

http://spark.apache.org/docs/latest/streaming-kafka-integration.html

【讨论】:

    猜你喜欢
    • 2019-09-18
    • 2018-06-04
    • 1970-01-01
    • 1970-01-01
    • 2020-05-12
    • 2021-01-11
    • 1970-01-01
    • 1970-01-01
    • 2019-10-26
    相关资源
    最近更新 更多