【问题标题】:BigQuery - data transfer success but destination table stays emptyBigQuery - 数据传输成功,但目标表保持为空
【发布时间】:2021-04-06 08:15:43
【问题描述】:

最终目标:将 csv 文件内容从谷歌云存储桶传输到 BigQuery 数据集中的表中。

问题:数据传输似乎工作正常,未显示任何错误/警告,但数据未能到达目标表。

  • 预先创建的数据集/表
  • bkt 创建并上传了一个 csv 文件
  • 创建并配置数据传输以将所有文件从上述存储桶传输到我的目标表。
  • 传输是按需定义的。

我是 bigQuery 和 GCP 的新手,但数据传输的想法对我来说似乎很直观。 我假设我在这里遗漏了一些东西,但流程没有通知我。 所以我认为这可能是权限(我有 bigQuery Admin 角色等等......) 我认为这是一个位置/地区的事情,但所有资源都在欧盟..

你能帮我理解我还缺少什么吗? 附上一些可能有帮助的图片。

Bucket Configuration (where my csv resides)

Destination Table details

Transfer Configuration

Data Transfer output showing a successful action

提前致谢。

【问题讨论】:

  • 您能否检查您的 id 上是否具有最低“BigQuery 数据编辑”角色?这可能是个问题。
  • 非常感谢 Vibhor 的回答。在我使用 BQ 数据编辑器更新我的角色后,我设法完成了这项工作。我仍然不明白为什么我没有收到任何通知,这对我来说似乎是一个问题/错误。无论如何,您能否将其发布为答案,以便我接受它作为正确答案。

标签: google-bigquery google-cloud-data-transfer


【解决方案1】:

请在您的 ID 上至少拥有“BigQuery 数据编辑器”角色来解决您的问题。

【讨论】:

  • 什么是“最低 'BigQuery Data Editor' 角色”??
【解决方案2】:

不确定出了什么问题,因为没有返回错误,但在这种情况下我通常会检查两点:

  • 您是否尝试重新加载 BigQuery 工作区?它不会自动刷新,因此您必须重新加载才能看到更改(如果有的话..)

  • 您是否尝试过直接从工作区加载 csv(在 UI 中从云存储创建表),而不设置数据传输?这样,如果您的文件有问题,您可以立即检查

【讨论】:

  • 感谢您的回答 :) 。我确实尝试过重新加载,但没有成功。我会尝试您关于直接加载的建议,但上面关于“BigQuery 数据编辑器”角色的评论解决了它。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-05-09
  • 2021-10-28
  • 1970-01-01
  • 2021-02-23
  • 1970-01-01
相关资源
最近更新 更多