【问题标题】:Great Expectations Row Based Dimensions远大期望基于行的维度
【发布时间】:2022-06-13 12:24:26
【问题描述】:

我有这样的数据:

[   {
        "name": "Apple",
        "price": 1,
        "type": "Food"
    },
    {
        "name": "Apple",
        "price": 0.90,
        "type": "Food"
    },
    {
        "name": "Apple",
        "price": 1000,
        "type": "Computer"
    },
    {
        "name": "Apple",
        "price": 900,
        "type": "Computer"
    }
]

使用 Great Expectations 自动配置文件,price 的有效范围是 0.901,000。是否有可能让它在type 维度上切片,所以食物会是0.901,而计算机会是9001000?还是我需要先使用 dbt 转换数据?我知道将创建维度的列,但我不知道具体的值。

另外,关于行之间差异的相同问题。就像他们有一个时间戳,而不是 9001000,它会验证 -100 的值变化。

【问题讨论】:

  • 您需要按多少种类型进行分组? 2,10,100?
  • 您已标记 dbt;你是在 Python 中使用 Great Expectations,还是使用 dbt 端口 github.com/calogica/dbt-expectations
  • @tconbeer ge 在 python 中。 dbt 是 DAG 的一部分
  • @sgdata 我不知道。它来自我定期轮询的提要,我正在寻找重大变化。也许最好做更多的转换,并创建一个百分比变化表。

标签: dbt great-expectations


【解决方案1】:
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2019-02-09
  • 1970-01-01
  • 1970-01-01
  • 2021-09-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多