对流数据使用很高的期望答案

【问题标题】：Using great expectations with streamed data对流数据使用很高的期望
【发布时间】：2021-03-15 18:44:04
【问题描述】：

我对测试流数据抱有很大的期望（我将样本收集到一个批次中并测试该批次）。问题是我不能使用文档，因为这将导致生成 1000 个 html 页面中的 100 个。我想做的是在点击特定测试结果时（通过索引页面）使用我的api生成从json结果请求的页面。是不是很大的期望只能生成 1 个 html 可以在关闭时处理掉？

【问题讨论】：

标签： great-expectations

【解决方案1】：

如果您使用的是 ValidationOperator / Checkpoint，则使用 UpdateDataDocsAction 操作仅支持构建在该运行中经过验证的资源，并且是推荐的方法。

如果您直接与 DataContext API 交互，则 DataContext 上的 build_data_docs 方法支持资源标识符选项，您可以使用该选项来请求仅构建单个资产。我认为要获得您正在寻找的行为（该页面的真正短暂构建），您需要将其与临时位置的站点配置配对，例如/tmp.

关于 build_data_docs 方法的文档在这里： https://docs.greatexpectations.io/en/latest/autoapi/great_expectations/data_context/data_context/index.html#great_expectations.data_context.data_context.BaseDataContext.build_data_docs

请注意，resource_identifiers 参数需要，例如ValidationResultIdentifier 对象，如：

context.build_data_docs("local_site", resource_identifiers=[ValidationResultIdentifier(
    run_id="20201203T182816.362147Z",
    expectation_suite_identifier=ExpectationSuiteIdentifier("foo"),
    batch_identifier="b739515cf1c461d67b4e56d27f3bfd02",
)])

【讨论】：

太棒了，我会试试这个。谢谢你:)