【问题标题】:Google BigQuery: How to add partition manuallyGoogle BigQuery:如何手动添加分区
【发布时间】:2017-05-17 21:58:28
【问题描述】:

我有一个每日分区表,其中一个分区包含 1000 万行。我想将昨天的数据从 10 个 csv 文件(每个文件包含 100 万行)中再添加 1000 万行到另一个分区中。我必须手动创建昨天的分区然后将数据加载到其中吗?我该怎么做?有什么方法可以使用“BQ load”命令直接将以前的日期记录加载到预先存在的表中?

【问题讨论】:

  • “每日分区表,单个分区保存 10M 行”是什么意思?你的意思是每个分区每天大约有 1000 万行?
  • 是的,克里斯...到目前为止,我已经创建了一个带有今天日期 (20170517) 的分区,并从 GCS 加载了 10M 条记录。我必须对昨天的 csv 文件重复此操作。我希望,我必须先创建 20170516 分区,然后我才能从 GCS 加载它。

标签: google-bigquery


【解决方案1】:

你不需要做任何特别的事情,只需指定tablename$partitiontime作为加载命令的目的地,即

bq --time_partitioning_type=DAY --source_format=CSV
  'dataset.tbl$20170516' /tmp/file.csv

【讨论】:

  • 感谢 Mosha Pasumansky...这解决了我的问题。感谢您的帮助。
  • @BhavikDesai - 那么你应该投票并接受他的回答。
猜你喜欢
  • 2018-02-27
  • 1970-01-01
  • 1970-01-01
  • 2012-06-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多