【问题标题】:Concatenate 1000 CSV file directly in Google Cloud Storage? Without duplicated headers?直接在 Google Cloud Storage 中连接 1000 个 CSV 文件?没有重复的标题?
【发布时间】:2021-05-20 04:46:45
【问题描述】:

是否可以直接在 Google Cloud Storage 中将 1000 个具有标题的 CSV 文件连接到一个没有重复标题的文件中?我可以通过将文件下载到本地硬盘驱动器轻松做到这一点,但我更愿意在 Cloud Storage 中本地完成。

它们都有相同的列,并且有标题行。

【问题讨论】:

    标签: google-cloud-platform google-cloud-storage


    【解决方案1】:

    我写了 an article 来使用 BigQuery 处理 CSV 文件。为了避免多个文件,并且如果卷小于 1Gb,推荐的方式如下

    1. 在 BigQuery 中使用您的所有 CSV 创建一个临时表。
    2. 使用Export API(不是导出功能)

    如果您需要更多指导,请告诉我。

    【讨论】:

    • 非常简洁,感谢您描述此解决方案
    • 等等,我试过你的解决方案,它把结果分解成多个 csv 文件,我如何将它导出到一个文件中?
    • 如果您使用我文章中的解决方案,是的,您将拥有多个 CSV。这就是为什么我说:不要使用函数,而要使用导出 API。如果大小小于 1Gb,则导出 API 允许您将表(而不是查询)导出到一个文件
    • 啊好的,明白了
    猜你喜欢
    • 2018-11-18
    • 1970-01-01
    • 2014-02-21
    • 1970-01-01
    • 2020-01-15
    • 1970-01-01
    • 1970-01-01
    • 2016-02-06
    • 1970-01-01
    相关资源
    最近更新 更多