【问题标题】:Spark Streaming jobs exception handlingSpark Streaming 作业异常处理
【发布时间】:2017-08-21 14:41:58
【问题描述】:

在我的火花流(Kafka 消费者)代码中有一些错误。我实现了异常处理,但从未被捕获。我尝试了已检查和未检查的异常。

我的代码正在执行器中运行。当它在执行程序而不是驱动程序中运行时,我如何捕获异常?

请给我建议。

【问题讨论】:

  • code sn-p 可能有助于理解您的问题并建议修复?

标签: apache-spark apache-kafka spark-streaming


【解决方案1】:

Spark 是一个并行框架。即使您在代码中添加了 try catch 代码,但在其他线程中也会引发异常。所以你的代码不能捕获任何异常。

【讨论】:

  • 谢谢。是的,即使它只在多个执行程序中运行。如果有人知道如何解决,请在此处解释。
猜你喜欢
  • 2017-08-24
  • 2016-02-14
  • 2018-10-26
  • 2017-03-29
  • 2018-07-15
  • 1970-01-01
  • 1970-01-01
  • 2016-05-26
  • 2020-03-08
相关资源
最近更新 更多