ML 组件在指向 Azure Data Lake Store Gen2 的 Azure Databricks (7.3.9) 中不起作用答案

【问题标题】：ML Components not working in Azure Databricks (7.3.9) pointing to Azure Data Lake Store Gen2ML 组件在指向 Azure Data Lake Store Gen2 的 Azure Databricks (7.3.9) 中不起作用
【发布时间】：2021-06-22 20:35:58
【问题描述】：

我在尝试通过处理本地 Pycharm 指向 Azure Databricks 集群的 Kmeans Elbow 方法将 Matplotlib 图存储在 Azure Data Lake Store Gen2 中时遇到问题。

对于下面的 ML 代码示例，我遇到了错误。

弯头曲线：

import matplotlib.pyplot as plt

plt.savefig(graph_path, bbox_inches='tight')

找不到类 shaded.databricks.azurebfs.org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem。 OSError：[Errno 22] 无效参数：'abfss://cluster-container@project.dfs.core.windows.net/project/output/Elbow-Curve-20210325-222650.png'

注意：当指向本地 spark 和本地文件夹结构时，代码运行没有任何问题，问题在于 Databricks 或 Azure Data Lake Store Gen2。

非常感谢任何帮助！

【问题讨论】：

标签： azure pyspark databricks azure-databricks databricks-connect

【解决方案1】：

Matplotlib 对 ADLS 一无所知 - 它旨在与本地文件系统一起使用。因此，要将图像存储在 ADLS 上，您需要执行以下操作：

将图像存储在驱动程序的本地文件系统中，例如/tmp/my-image.png
使用dbutils.fs.cp 命令将图像复制到ADLS 中，如下所示（详见documentation）：

dbutils.fs.cp("file:/tmp/my-image.png", graph_path)

【讨论】：