【问题标题】:BigQuery auto-detect schema cause load of Google Drive CSV to failBigQuery 自动检测架构导致加载 Google Drive CSV 失败
【发布时间】:2017-03-22 16:47:46
【问题描述】:

我使用 BigQuery 已经有一段时间了,我通过从 http 地址获取 CSV 来加载我的数据,使用 Drive API 将其上传到 Google Drive,然后使用 BigQuery API 将其附加到 BigQuery。

我总是通过 API 指定自动检测架构,并且在 2017 年 3 月 16 日之前它在 cron 上运行良好。

3 月 16 日,它停止工作。 CSV 仍可正常加载到 Google 云端硬盘,但 BigQuery 无法获取。

我通过尝试使用 BigQuery UI 手动加载相同的 CSV 开始进行故障排除,并注意到一些奇怪的事情:使用自动检测架构似乎阻止了 CSV 的加载,因为当我手动输入架构时它加载正常。

我认为问题可能是一些流氓数据,但自动检测模式现在对我不起作用,即使有非常基本的测试表,比如...

身份证名称 1 保罗 2彼得

有没有其他人发现自动检测架构突然停止工作。

API 上的某些默认设置可能已更改?

【问题讨论】:

  • 自动检测发生了一些变化,但为了解决您的问题 - 请提供最小的重现案例
  • 谢谢你,莫莎。要重现创建包含两条记录、两列(id 和字符串)和一个标题行的 CSV。上传到 Google 云端硬盘。然后使用 Web UI 将数据集添加到 BigQuery,选择 Google Drive、CSV 并粘贴文件共享 URL。检查自动检测架构,它将失败。手动输入模式,它会成功,虽然我在这种情况下随后查询数据时遇到了问题(你也可以试试吗?)

标签: csv google-api google-bigquery


【解决方案1】:

今天 - 3 月 23 日,我无法通过 GDrive 让它工作。

注意:第一次使用 BigQuery/Google Cloud Storage。

我有一个包含 134MB 公交车站的大型 CSV。

尝试将其上传到 GDrive,但无法将其导入大查询。

刚刚试用了 Google Cloud Storage Bucket,它工作正常。

【讨论】:

    猜你喜欢
    • 2017-12-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-27
    • 1970-01-01
    • 1970-01-01
    • 2020-04-17
    • 2015-09-05
    相关资源
    最近更新 更多