【问题标题】:What is the optimal way of setting Blob index tag in Azure Blob storage for large amount of data在 Azure Blob 存储中为大量数据设置 Blob 索引标记的最佳方法是什么
【发布时间】:2022-01-02 22:05:07
【问题描述】:

我需要为 azure blob 存储(近 40TB)中存在的大量数据添加 blob 索引标签。应该对将来上传的所有 blob 执行相同的操作。对于后者,我需要创建一个定期执行的 powershell 脚本,它应该只获取最后修改日期大于给定日期时间的 blob,并添加一个索引标签,其值等于最后修改日期。这可能吗 ?如果是,如何? .另外,在对性能影响最小的情况下,向大量数据添加索引的理想方法是什么?
注意:我是 azure 的新手。更好的想法表示赞赏。

我的目标是定期备份 blob,比如每周一次。现在,由于 blob 的大小很大,遍历所有这些都需要 1 天以上的时间。我希望减少利用索引标签的时间,为了实现这一点,我不想在 blob 上传期间设置索引标签。(这是一种“不要碰”遗留代码)。 总而言之,我需要一种机制来快速找到上周添加的 blob(而不遍历所有 blob),用 blob 的最后修改日期和将来的某个时间设置索引标签,我将通过过滤这些索引标签来备份.

【问题讨论】:

    标签: azure blob azure-blob-storage


    【解决方案1】:

    您能否通过将 Last-Modified 时间添加为索引标签来澄清您要完成的工作?你打算如何使用这个标签?

    此存储帐户中有多少 Blob?

    可以使用Set Blob Tags API 或等效的PS/CLI(例如Set-AzStorageBlobTag)设置Blob 索引标签。

    对于现有的 blob,您需要调用 Get Blob Properties 以提取 Last-Modified 时间,然后将其设置为标签。

    对于上传到存储帐户的新 blob,您是否可以控制正在上传 blob 的客户端?如果是这样,如果客户端在上传 blob 时将当前时间设置为标签,效率会更高。您可以强制客户端在使用 ABAC 上传期间包含带有特定密钥的标签 - 请参阅 Example Azure role assignment conditions (preview) - Azure RBAC - Azure Storage | Microsoft Docs.

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2015-02-25
    • 2012-07-18
    • 2012-04-25
    • 1970-01-01
    • 2017-04-18
    • 1970-01-01
    • 2021-02-18
    相关资源
    最近更新 更多