【问题标题】:Spark Streaming Context blocking REST endpointsSpark Streaming Context 阻塞 REST 端点
【发布时间】:2018-12-21 04:18:13
【问题描述】:

我正在开发一个使用 Spring Boot、Kafka 和 Spark 的小项目。到目前为止,我已经能够在一个项目中创建一个 Kafka 生产者,并作为消费者创建一个 Spark-Kafka 直接流。

我能够看到消息通过并且事情似乎按预期工作。但是,我在运行消费者的项目上有一个休息端点。每当我禁用 Direct Stream 时,端点都可以正常工作。但是,当我运行流时,邮递员说没有响应。我在服务器日志中看不到任何内容表明曾经收到过请求。

Spark 消费者在项目启动时由 bean 启动。这是否会阻止 localhost:8080 上的正常服务器启动?

【问题讨论】:

    标签: java spring-boot apache-spark apache-kafka spark-streaming


    【解决方案1】:

    最初,我通过将 StreamingContext 注释为 Bean 来启动它。相反,我让应用程序实现了 CommandLineRunner,并在重写的 run 方法中调用了启动 Streaming Context 的方法。这使 Apache 能够启动并解决问题。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-08-04
      • 1970-01-01
      • 1970-01-01
      • 2020-03-19
      • 2017-04-18
      相关资源
      最近更新 更多