【问题标题】:S3 eventual consistency for read after writeS3 写后读的最终一致性
【发布时间】:2020-12-02 22:19:02
【问题描述】:

我阅读了很多关于 s3 最终一致性以及如何处理它以避免出现 404 错误的不同场景和问题。但是在这里我有一个有点奇怪的用例/需求!我正在做的是将一堆文件写入s3存储桶中的临时/临时文件夹(使用火花作业并确保作业不会失败),然后如果上一步成功则删除主/目标文件夹,最后将文件从 temp 复制到同一存储桶中的主文件夹。这是我的代码的一部分:

# first writing objects into the tempPrefix here using pyspark
...
# delete the main folder (old data) here
...

# copy files from the temp to the main folder
for obj in bucket.objects.filter(Prefix=tempPrefix):

    # this function make sure the specific key is available for read 
    # by calling HeadObject with retries - throwing exception otherwise
    waitForObjectToBeAvaiableForRead(bucketName, obj.key)

    copy_source = {
        "Bucket": bucketName,
        "Key": obj.key
    }
    new_key = obj.key.replace(tempPrefix, mainPrefix, 1)
    new_obj = bucket.Object(new_key)
    new_obj.copy(copy_source)

这似乎可以避免写入后立即读取的任何 404 (NoSuchKey) 错误。我的问题是bucket.objects.filter 会一直给我新写的对象/键吗?最终的一致性也会影响到这一点吗?我之所以问这个问题是因为 HeadObject 调用(在 waitForObjectToBeAvaiableForRead 函数中)有时会为 bucket.objects.filter 返回的键返回 404 错误!!!我的意思是 bucket.objects 返回一个不可读取的密钥!!!

【问题讨论】:

  • 当您说“将一堆文件写入 s3 存储桶中的临时/临时文件夹”时,您是否确保以前没有使用过“临时/临时文件夹”名称?跨度>
  • @user212514 代码中终于有块在复制操作完成后进行清理并删除 temp/transient 文件夹。
  • 临时/临时文件夹名称是否可能被重用?
  • 是的!但我总是确保在写入新文件之前不存在临时/临时文件夹。

标签: amazon-s3 boto3


【解决方案1】:

当您在 S3 中删除一个对象时,AWS 会为该对象写入一个“删除标记”(这假定存储桶是版本化的)。该对象似乎已被删除,但这是 AWS 制造的一种错觉。

因此,如果您在以前存在但现在已删除的对象上写入对象,那么您实际上是在更新导致“最终一致性”而不是“强一致性”的对象。

来自AWS docs的一些有用的cmets:

删除标记是版本化对象的占位符(标记) 在一个简单的 DELETE 请求中命名。因为对象在一个 启用版本控制的存储桶,该对象未被删除。删除 但是,标记使 Amazon S3 的行为就像它已被删除一样。

如果你尝试获取一个对象并且它的当前版本是一个删除 标记,Amazon S3 响应:

404(找不到对象)错误

一个响应头,x-amz-delete-marker: true

具体答案

我的问题是 bucket.objects.filter 会一直给我新写入的对象/键吗?

是的,如果您的存储桶中的对象少于 1,000 个,则将包含新写入的对象/键。 API 最多返回 1,000 个对象。

最终的一致性也会对此产生影响吗?

最终一致性会影响对象最新版本的可用性,而不是对象在过滤结果中的存在。 404 错误是由于尝试读取上次删除的新写入对象(尚未实现完全一致性)。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-06-25
    • 1970-01-01
    • 1970-01-01
    • 2015-06-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多