【问题标题】:Date based Folder creation in Google Cloud Storage在 Google Cloud Storage 中创建基于日期的文件夹
【发布时间】:2020-08-08 19:33:36
【问题描述】:

用例:

我必须每天将请求/响应对象存储在 Google Cloud Storage 中,想要每天创建文件夹(桶/年/月/日格式)并将所有对象存储在当前日期/日内。 我的典型流程如下:

Json 消息到 PubSub --> Cloud Function (Python) ---> Google Cloud Storage 每天。

查询: 由于 Cloud Function 可以为 PubSub 中的每个事件触发并行(每天数百万条消息)并且可能在 GCS 中创建重复的文件夹,有没有办法在给定日期在 GCS 中创建对象之前同步文件夹创建?

【问题讨论】:

    标签: google-cloud-functions google-cloud-storage


    【解决方案1】:

    在 Google Cloud Storage 中,文件名包含完整路径 (flat namespace)。

    例如,假设文件的名称是“your-bucket/abc/file.tx”,而不仅仅是“file.txt”

    话虽如此,云存储中不存在文件夹,您不必担心创建文件夹或同时创建文件夹,只需要避免创建同名文件即可。

    【讨论】:

    • 谢谢,将进行负载测试,希望我们在将文件存储到基于日期的文件夹结构时不会遇到麻烦。示例:2020/05/06/123.json 2020/05/06/345.json 2020/05/07/678.json 2020/05/07/988.json
    • 看起来按设计工作,感谢您的意见。我们真的不需要单独创建文件夹结构。
    猜你喜欢
    • 1970-01-01
    • 2018-01-03
    • 2014-10-13
    • 1970-01-01
    • 1970-01-01
    • 2016-06-09
    • 1970-01-01
    • 2017-11-08
    • 2018-07-13
    相关资源
    最近更新 更多