【问题标题】:how to bigquery transfers: dataset projection如何进行 bigquery 传输:数据集投影
【发布时间】:2020-04-06 09:09:46
【问题描述】:

Google 似乎在 BigQuery 的数据传输:数据投影上开放了一项新的(测试版)功能。

看起来我们可以将所有带有数据采样的表复制到另一个数据集。

遗憾的是,缺乏关于如何将表格样本从一个数据集传输到另一个数据集的文档。在源的定义中,询问了过滤器,但不知道如何填写(见下面的截图)。 “过滤器输入”旁边的问号提示没有帮助,因为它说:“在 BigQuery 中项目数据集时使用过滤器获取数据集片段。”

令人困惑的是,源数据集中有许多表,因此看起来不像在 SQL 中那样编写特定于表的过滤器。相反,我期待类似的东西:好的,取 20% 的行,具体取决于...的可能字段上的数据分布(希望如此)

有人知道如何在这里编写过滤器吗?

【问题讨论】:

  • 如果您单击配置顶部的链接This is the Dataset Projection configuration. Learn more ,您将看到详细解释这一点的文档。我不确定我是否可以直接分享它,因为它仍然显示为 Alpha。
  • 我怎么没看到?谢谢你。让我检查一下。我会在这里更新

标签: google-bigquery


【解决方案1】:

感谢“Ben P”的指导。我认为仍然不可能从数据中获得有代表性的样本。它是一个带有一些扩展正则表达式的 SELECT 查询。

我认为因为是测试版,所以不适合在这里分享文档。但是文档显示了如何根据通常的 SELECT/WHERE 过滤器和谓词值来获取一些列和行。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-06-08
    • 1970-01-01
    • 1970-01-01
    • 2011-03-30
    • 1970-01-01
    • 2018-01-30
    相关资源
    最近更新 更多