【问题标题】:BigQuery load CSV file 'successful' although the table does not updateBigQuery 加载 CSV 文件“成功”,但表未更新
【发布时间】:2018-03-16 15:16:50
【问题描述】:

我正在尝试将 CSV 上传到 Google BigQuery 中预先存在的表,尽管该表没有更新。它说工作加载“成功”,我没有错误。除了当我进入检查表时,它不会添加新“添加”的 CSV 的行。

我有设置“附加到表格”,虽然它没有附加到表格。

我尝试过的事情包括:复制具有相似名称的表以便能够选择“覆盖表”/“如果为空则写入”,即使我知道这不是我想要的,我已经增加了'允许的错误数'即使没有错误,启用'允许引用的换行','允许锯齿行'和'忽略未知值'一起并分开,使用自动检测模式重新创建表,手动创建模式,设置所有将架构中条目的值设置为 STRING,将所有值设置为它们应该适用的数据类型。我更改了分隔符只是为了发现这些值是用逗号分隔的(谁会猜到!)虽然我注意到,当我更改分隔符时,它实际上会将行添加到表格中。我使用 Numbers 打开 CSV 文件,然后再次将其导出为 CSV 文件。

我已经没有什么可以尝试的不同想法了。如果有人知道什么可以帮助我,或者如果我遗漏了任何细节,请告诉我。

如果这更多是针对其他 SlackExchange 网站的问题,或者这只是一个愚蠢的问题,我深表歉意。

谢谢大家!

编辑 2018/03/19 : 工作负载的结果:

Job Load Successful
Job ID  fire2018dgk:EU.bquijob_836dd47_1622f49b68e
Creation Time   Mar 16, 2018, 3:49:53 PM
Start Time  Mar 16, 2018, 3:49:55 PM
End Time    Mar 16, 2018, 3:49:57 PM
User    fire2018@fog.com
Destination Table   firefog:data-warehouse.dgk
Write Preference    Append to table
Source Format   CSV
Delimiter   ,
Skip Leading Rows   1
Allow Quoted Newlines   true
Allow Jagged Rows   true
Source URI  uploaded file
Schema  
id: STRING
timestamp: STRING
abandonned: STRING
campaign_type: STRING
campaign: STRING
call_type: STRING
holds: STRING
hold_time: STRING
call_time: STRING
talk_time: STRING
agents_email: STRING
priority: STRING
phone_number: STRING
date: STRING
day_of_week: STRING
time_of_call: STRING

2018/03/19 更新: 我遇到的这个问题不仅限于这个表,我在数据库中的另一个表上也有这个问题,但奇怪的是我正在使用以前的工作负载,我知道它可以从我过去的许多其他上传中工作使用相同的作业负载完成。

【问题讨论】:

  • 您能分享一下您是如何开展工作并检查结果的吗?
  • @Daria 在这里我添加了加载结果希望这能让事情更清楚

标签: database csv google-cloud-platform google-bigquery google-cloud-storage


【解决方案1】:

我从未使用过 BigQuery,这只是我的猜测。 csv 文件中列的顺序与表的顺序不匹配。在 mysql 中有一个命令“describe table_name”,您可以在其中查看表中列的顺序。

另一件事是确保您没有指向不存在的表的外键。

长话短说,你的 csv 列的顺序和上传 csv 文件很重要。

再次,我刚刚在 mysql 的这个问题上浪费了 3 天,我想分享我的意见。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-12-05
    • 2019-01-24
    • 1970-01-01
    • 2016-07-30
    • 2020-03-14
    • 1970-01-01
    • 1970-01-01
    • 2022-07-11
    相关资源
    最近更新 更多