如何将 Great Expectations Html 验证结果保存到 Databricks DBFS 或 Azure Blob答案

【问题标题】：How to Save Great Expectations Html validation results to Databricks DBFS or Azure Blob如何将 Great Expectations Html 验证结果保存到 Databricks DBFS 或 Azure Blob
【发布时间】：2022-06-16 06:45:49
【问题描述】：

前段时间我问了这个问题

如何将远大期望结果从 Apache Spark 保存到文件 - 带数据文档

How to Save Great Expectations results to File From Apache Spark - With Data Docs

答案集中在查看 Databricks 中的结果，但是我想知道如何将 Html 结果保存到文件中 - 无论是在 Databricks DBFS 上还是在 Azure ADLS / Blob 上。

Alex Ott，提到以下内容：

如果您不使用 Databricks，则可以将数据呈现为 HTML 并将其存储为存储在某处的文件

但是，我不确定他是否暗示如果我不使用 Databricks 就无法存储文件？

无论如何，有人可以告诉我如何存储/保存文件：

我尝试了以下代码，但收到错误消息：

ResourceNotFoundError: The specified filesystem does not exist.

错误指向：

file.create_file()

我使用的代码如下：

with open('/dbfs/mnt/lake/RAW/pitstops_suite.html', 'r') as file:
    data = file.read()

file = DataLakeFileClient.from_connection_string("DefaultEndpointsProtocol=https;AccountName=adlsbiukadlsdev;AccountKey=sz8sRd66FLYMjjqa7GfxW1V/ZyMWdmc0YQ==;EndpointSuffix=core.windows.net", file_system_name="polybase", file_path="pitstops_suite.html")

##htmp test
file.create_file()
file.append_data(html, offset=0, length=len(html))
file.flush_data(len(html))

有什么想法吗？

【问题讨论】：

标签： azure-databricks great-expectations

【解决方案1】：

这样的事情应该可以工作：

#Engine
from great_expectations.dataset.sparkdf_dataset import SparkDFDataset
#Doc related
from great_expectations.render.renderer import ProfilingResultsPageRenderer, ExpectationSuitePageRenderer
from great_expectations.render.view import DefaultJinjaPageView

df = SparkDFDataset(df)

df.expect...
df.expect...

validations = df.validate()
    
profiling_html_filepath = "path"

document_model = ProfilingResultsPageRenderer().render(validations)
dbutils.fs.mkdirs(profiling_html_filepath)
dbutils.fs.put(profiling_html_filepath, document_model, True)

【讨论】：