【问题标题】:Specifying schema update options for BigQueryIO in Apache Beam在 Apache Beam 中为 BigQueryIO 指定架构更新选项
【发布时间】:2017-11-12 08:47:34
【问题描述】:

是否可以在 Apache Beam 中为 BigQueryIO 指定架构选项? Afaik 通常可以使用com.google.api.services.bigquery.model.JobConfigurationLoad 指定在将新字段插入表时应该更新架构:

JobConfigurationLoad loadConfig = new JobConfigurationLoad();
..
loadConfig.setSchemaUpdateOptions(Arrays.asList("ALLOW_FIELD_ADDITION", "ALLOW_FIELD_RELAXATION"));

但是如何使用 Apache Beam 中的 BigQueryIO 类来指定它?我正在使用 Apache Beam SDK 2.1.0。

【问题讨论】:

    标签: google-bigquery google-cloud-dataflow apache-beam


    【解决方案1】:

    Beam 目前不支持此功能。已经为此提交了a feature request。它应该很容易实现(欢迎贡献:)),但我认为现在没有人积极致力于它。

    【讨论】:

      猜你喜欢
      • 2018-02-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多