如何使用 Python 或 Pyspark 或 scala 在数据块中获取笔记本的作业运行结果日志

【问题标题】：How to get job run result logs of notebook in databricks using Python or Pyspark or scala如何使用 Python 或 Pyspark 或 scala 在数据块中获取笔记本的作业运行结果日志
【发布时间】：2019-04-01 14:49:15
【问题描述】：

我必须使用 python 或 pyspark 或 scala 在数据块中获取笔记本的作业运行结果日志，并将这些日志详细信息写入文件。我无法获取这些日志。有人可以帮我解决这个问题吗？

【问题讨论】：

标签： python-3.x pyspark azure-data-lake azure-databricks

【解决方案1】：

当您在 databricks 中创建集群时，有一个选项卡可以在其中指定日志目录（默认为空）。

日志是写在 DBFS 上的，所以你只需要指定你想要的目录。

clusters/log-delivery

【讨论】：

感谢 Steven 的回复。如何仅获取一个特定作业运行 ID 日志的日志？如果我每 5 分钟在 dbfs 中创建目标路径，它将登录到该路径，但如果我只需要特定于该作业的运行 ID，那么如何获取它。提前致谢
@pythonUser 你可能应该打开另一个问题，因为我不知道那个特定点