【问题标题】:google cloud data Prep - error when importing dataset from BigQuery谷歌云数据准备 - 从 BigQuery 导入数据集时出错
【发布时间】:2018-09-11 10:05:16
【问题描述】:

当我在数据准备流程中尝试将 bigquery 表作为数据集导入时,出现以下错误:

无法创建数据集:I/o 错误。

我尝试导入许多 bigquery 表(来自同一个 BQ 数据集),所有这些表都成功导入,除了这个有很多列(超过 2700 列!)。 可能是因为列数太多,但我在 Docs 中看不到任何此类限制!

当我选择表格时 ----> 我有这样的消息“预览不可用”:

点击“导入”后:

有人知道为什么会发生这种情况或有什么建议吗?

【问题讨论】:

  • 一些它似乎也发生在我这边的大数据集上(大约 80k 行和 2000 列)。尝试了高级设置并删除了类型推断,但也没有用。

标签: google-cloud-platform google-bigquery google-cloud-dataprep


【解决方案1】:

Dataprep 文档没有最大列数限制,因此这不太可能是问题所在。

另一方面,我在导入数据时看到了诸如“I/O 错误”或简单的红色图标之类的一般消息,它们与data type conversion between Dataprep and BigQuery 有关。

我认为在 BQ 中找到与 Dataprep 不兼容的类型并转换为兼容的类型应该可以解决您的问题。

【讨论】:

    猜你喜欢
    • 2019-12-08
    • 2017-10-26
    • 2014-01-07
    • 2018-05-25
    • 2022-09-27
    • 2019-04-15
    • 2018-11-23
    • 2019-07-18
    • 1970-01-01
    相关资源
    最近更新 更多