【发布时间】:2017-03-22 16:47:46
【问题描述】:
我使用 BigQuery 已经有一段时间了,我通过从 http 地址获取 CSV 来加载我的数据,使用 Drive API 将其上传到 Google Drive,然后使用 BigQuery API 将其附加到 BigQuery。
我总是通过 API 指定自动检测架构,并且在 2017 年 3 月 16 日之前它在 cron 上运行良好。
3 月 16 日,它停止工作。 CSV 仍可正常加载到 Google 云端硬盘,但 BigQuery 无法获取。
我通过尝试使用 BigQuery UI 手动加载相同的 CSV 开始进行故障排除,并注意到一些奇怪的事情:使用自动检测架构似乎阻止了 CSV 的加载,因为当我手动输入架构时它加载正常。
我认为问题可能是一些流氓数据,但自动检测模式现在对我不起作用,即使有非常基本的测试表,比如...
身份证名称 1 保罗 2彼得
有没有其他人发现自动检测架构突然停止工作。
API 上的某些默认设置可能已更改?
【问题讨论】:
-
自动检测发生了一些变化,但为了解决您的问题 - 请提供最小的重现案例
-
谢谢你,莫莎。要重现创建包含两条记录、两列(id 和字符串)和一个标题行的 CSV。上传到 Google 云端硬盘。然后使用 Web UI 将数据集添加到 BigQuery,选择 Google Drive、CSV 并粘贴文件共享 URL。检查自动检测架构,它将失败。手动输入模式,它会成功,虽然我在这种情况下随后查询数据时遇到了问题(你也可以试试吗?)
标签: csv google-api google-bigquery