【问题标题】:moving BQ (bigquery) table to GCS (google cloud storage) using R使用 R 将 BQ(bigquery)表移动到 GCS(谷歌云存储)
【发布时间】:2020-06-16 23:28:13
【问题描述】:

如何使用 R 将表从大查询移动到谷歌云存储?我正在研究大型查询库,但到目前为止还没有运气。

【问题讨论】:

    标签: r google-cloud-platform google-bigquery


    【解决方案1】:

    使用 bigrquery package,您可以使用 bq_table_save() 函数,在 reference manual 中找到它。

    使用 bq_table_save() 将 .csv 文件导出到 Cloud Storage

    作为一般建议,请查看为 packages 提供的信息,在参考手册或文档中快速搜索可能会为您节省大量时间。

    【讨论】:

    • 请注意,任何遇到与我相同的问题的人 - 如果您发现导出的文件格式混乱,请尝试在 bq_table_save() 中指定destination_format = "CSV"。它默认使用“NEWLINE_DELIMITED_JSON”(至少在我的情况下......)
    【解决方案2】:

    你需要使用导出:

    bq --location=location extract \
    --destination_format format \
    --compression compression_type \
    --field_delimiter delimiter \
    --print_header=boolean \
    project_id:dataset.table \
    gs://bucket/filename.ext
    

    【讨论】:

    • 谢谢,Felipe,我将如何使用 R 来做到这一点?
    猜你喜欢
    • 2019-09-22
    • 2018-12-18
    • 2019-06-10
    • 1970-01-01
    • 2014-10-30
    • 1970-01-01
    • 1970-01-01
    • 2017-02-10
    • 2018-10-30
    相关资源
    最近更新 更多