【问题标题】:Google Bigquery: Incompatible table partitioning specificationGoogle Bigquery:不兼容的表分区规范
【发布时间】:2017-01-09 19:38:01
【问题描述】:

从未分区的临时表提交复制作业到按天分区的最终表时,我收到了

cause:java.io.IOException: ErrorMessage: Incompatible table partitioning specification. Expects partitioning specification interval(type:day), but input partitioning specification is none; 

那么复制作业到分区表的输入表是否有任何限制,如何克服?使用加载作业在 hadoop bigquery-connector 类中创建临时表。而且 JobConfigurationLoad 根本没有 TimePartitioning 的规范。

【问题讨论】:

    标签: hadoop google-api google-bigquery


    【解决方案1】:

    能否请您暂时尝试在所需日期使用分区元表?我在内部提交了一个问题来支持这种情况。像下面这样的东西应该可以工作:

    bq --project_id=<project> cp <source_table> <destination_partitioned_table$20160809>
    

    【讨论】:

    • 嗨,帕万!感谢您的回复!主要问题是 - 我可以指定不存在的部分吗?我的意思是,例如,如果我指定destination_partitioned_table$20160801 并且它没有数据会自动创建吗?
    • 是的,在这种情况下会自动创建。
    猜你喜欢
    • 2020-05-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-21
    • 2015-06-25
    • 2013-01-29
    • 2020-06-05
    相关资源
    最近更新 更多