从 Azure HDInsight 获取 Spark Yarn 日志

Question

目前通过 LIVY，我正在向 Azure HDInsight 集群发布/提交 Spark 作业。工作完成后，我正在查看 Spark History Server 以获取纱线日志。

每个 Spark 作业的 Livy 日志不提供纱线日志。

我们能否以编程方式从 Azure HDInsight 获取 Spark Yarn 日志。我们在 Azure 中是否有任何 REST 调用或自定义工具来获取 Yarn 日志

Answer 1

为了将来调查此问题，您能否提供有关该场景的更多信息：

• 您究竟如何将 Spark 作业提交到 Azure HDInsight？
• 您是否在关注任何文章，如果是，请提供文章的链接，或者请分享确切的步骤？
• 当您从 Ambari UI 启动 YARN UI 时，您是否能够在提交 spark 作业时看到关联的 application_id？

同时，您可以结帐Debug Apache Spark jobs running on Azure HDInsight。

我们能否以编程方式从 Azure HDInsight 获取 Spark Yarn 日志。我们在 Azure 中是否有任何 REST 调用或自定义工具来获取 Yarn 日志

使用这些 API 将远程作业提交到 HDInsight Spark 群集。所有任务操作都符合 HTTP/1.1 协议。确保您使用带有 Spark 管理员凭据的 HTTP 基本身份验证对 Spark 集群管理端点进行身份验证。

参考：Azure HDInsight Spark - Remote Job Submission REST API

您可以按以下格式向 livy 端点提交 GET：https://<your_hdi_url>/livy/batches/<id of your job>/log

参考：Get the full log of a batch job。