【问题标题】:BigQuery Table creation optionsBigQuery 表创建选项
【发布时间】:2020-08-31 20:55:27
【问题描述】:

当我们在特定数据集下创建表时,我们有 5 个选项,例如空表、谷歌云存储和上传等。我的问题是,如果它是云存储,那么这张表是在 BigQuery 还是云存储中创建的?因为我的目的是将数据转储到云存储中,然后加载到 BigQuer。空表也是如此,因为我们明确定义了 schema ,我知道该表将驻留在 BQ 中。 我已通过以下脚本加载数据:

bq 加载 --source_format=CSV --skip_leading_rows=1 --autodetect --ignore_unknown_values \ commerce.balltoball gs://balltoballbucket/head_usa_names.csv

我想 balltoballbucket 是指存储桶,而 commerce.balltoball 是 BigQuery 的引用。

为新手问题道歉。感谢您的帮助。

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    如果您的 bq load 有效,那么 UI 应该适合您。文档在这里: https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-csv#loading_csv_data_into_a_table(然后选择 Console 标签)

    • 从 GCS 存储桶中选择文件:gs://balltoballbucket/head_usa_names.csv
    • 文件格式:CSV
    • 数据集名称:commerce
    • 表格名称:balltoball
    • 其他选项见页面:

    (可选)点击高级选项。

    关于表的存储位置,如果您选择Native table 作为表类型,则它存储在 BigQuery 存储中,External table 用于让数据保留在 GCS 上,并且只有在有查询命中时才从 GCS 读取桌子。

    【讨论】:

    • 谢谢张,它可以工作,但我的问题是该表存储在 Storage 或 BigQuery 中的什么位置。
    • 更新了一张图片。
    • 非常感谢张。非常感谢您的帮助。
    • 如果您觉得有帮助,请接受答案和/或投票 :)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-11-06
    • 2019-01-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多