Spark Streaming 作业在 HD Insights 上 7 天后完全失败，没有错误日志

Question

我们得到的唯一错误日志是： 由于 ApplicationMaster 尝试 appattempt_1575912755011_0035_000005 超时，应用程序 application_1575912755011_0035 失败 5 次。申请失败。

是什么原因造成的？ 分辨率是多少？

Answer 1

检查是否相关：https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-troubleshoot-application-stops

如果这没有帮助，您可以尝试使用 Quest（内置易于使用的 Spark Streaming）在 Qubole 中运行您的流式传输作业，或者按原样运行 Spark Streaming：https://docs.qubole.com/en/latest/user-guide/data-engineering/quest/quest-intro.html

最好， 挖矿