【发布时间】:2017-08-10 13:13:37
【问题描述】:
我正在尝试使用数据流将数据上传到 bigquery 分区表中。我已成功按日期上传数据并使用 bigquery 每月获取此数据,但我的 moto 是每月/每年上传数据。有没有办法使用数据流来做到这一点。
【问题讨论】:
标签: google-bigquery google-cloud-dataflow
我正在尝试使用数据流将数据上传到 bigquery 分区表中。我已成功按日期上传数据并使用 bigquery 每月获取此数据,但我的 moto 是每月/每年上传数据。有没有办法使用数据流来做到这一点。
【问题讨论】:
标签: google-bigquery google-cloud-dataflow
您可以使用每个月的开始日期来进行“每月”分区。例如,对于 8 月,您会将所有内容存储在 yourtable$20170801 分区中。您需要一些应用程序端逻辑来确定您使用 Dataflow 写入的表的适当 $YYYYmmdd 后缀。
【讨论】: