【问题标题】:cannot export partition by date table from BigQuery to GCP无法按日期表从 BigQuery 导出分区到 GCP
【发布时间】:2021-07-20 13:06:15
【问题描述】:

我正在尝试将分区表导出到 GCP 存储桶。 我的主要目标是在 GCP 中创建每日文件。

这是我对提取的第一个简单测试:

bq extract --destination_format=CSV test.test_table$20210719 gs://test_partition/part_col=20210716/test_*.csv

test_table 是一个分区表,我确实有 2021-07-19 日期的 7k 行。 但是,当我运行这条线时,我得到了这个

BigQuery error in extract operation: Error processing job 'test-net:bqjob_1234456789: Not found: Table test-
net:temp.test_partitiontime0210719 was not found in location EU

正如您在上面看到的表名是temp.test_partitiontime0210719,它的开头没有2。每当表名中包含 $ 符号时,删除它之后的第一个字符。

我已尝试应用此 GCP documentation。 另外,我试过这个comment,但它对我没有用。

如何将特定日期的分区表提取到 GCP?

【问题讨论】:

  • 应该是unix问题。尝试在您的 dataset.table 名称周围添加简单的引号
  • 很好用。谢谢你。如果你在下面输入你的答案,我可以用你的答案将此问题标记为已解决:)

标签: google-cloud-platform google-bigquery extract partitioning bq


【解决方案1】:

这是 linux 的副作用。如果你把$something linux 搜索一个带有键something 的环境变量。

要跳过它,你可以使用简单的引用 ' 对 linux 说:“嘿,不要评估这个环境变量令牌”,所以这样做

bq extract --destination_format=CSV 'test.test_table$20210719' gs://test_partition/part_col=20210716/test_*.csv

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-07-24
    • 2021-10-21
    • 1970-01-01
    • 2019-01-15
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多