【问题标题】:How to re-direct logs from Azure Databricks to another destination?如何将 Azure Databricks 中的日志重定向到另一个目标?
【发布时间】:2019-03-02 19:41:38
【问题描述】:

我们可以使用一些帮助来了解如何将 Spark 驱动程序和工作日志发送到 Azure Databricks 之外的目的地,例如Azure Blob 存储或使用 Eleastic-beats 的弹性搜索。

配置新集群时,get reg log delivery destination 的唯一选项是 dbfs,参见

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html.

非常感谢任何输入,谢谢!

【问题讨论】:

    标签: databricks azure-databricks elastic-beats


    【解决方案1】:

    也许以下内容会有所帮助:

    首先为 Spark 驱动程序和工作器日志指定一个 dbfs 位置。
    https://docs.databricks.com/user-guide/clusters/log-delivery.html

    然后,创建一个挂载点,将 dbfs 文件夹链接到 Blob 存储容器。 https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs

    希望有帮助!

    【讨论】:

    • 谢谢!当我必须在路径中使用/mnt 指定它时,它就可以工作了,例如dbfs:/mnt/databricks-cluster-logs。仅指定 dbfs:/databricks-cluster-logs 不起作用。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-04-17
    • 2021-01-27
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多