【发布时间】:2020-12-02 22:19:02
【问题描述】:
我阅读了很多关于 s3 最终一致性以及如何处理它以避免出现 404 错误的不同场景和问题。但是在这里我有一个有点奇怪的用例/需求!我正在做的是将一堆文件写入s3存储桶中的临时/临时文件夹(使用火花作业并确保作业不会失败),然后如果上一步成功则删除主/目标文件夹,最后将文件从 temp 复制到同一存储桶中的主文件夹。这是我的代码的一部分:
# first writing objects into the tempPrefix here using pyspark
...
# delete the main folder (old data) here
...
# copy files from the temp to the main folder
for obj in bucket.objects.filter(Prefix=tempPrefix):
# this function make sure the specific key is available for read
# by calling HeadObject with retries - throwing exception otherwise
waitForObjectToBeAvaiableForRead(bucketName, obj.key)
copy_source = {
"Bucket": bucketName,
"Key": obj.key
}
new_key = obj.key.replace(tempPrefix, mainPrefix, 1)
new_obj = bucket.Object(new_key)
new_obj.copy(copy_source)
这似乎可以避免写入后立即读取的任何 404 (NoSuchKey) 错误。我的问题是bucket.objects.filter 会一直给我新写的对象/键吗?最终的一致性也会影响到这一点吗?我之所以问这个问题是因为 HeadObject 调用(在 waitForObjectToBeAvaiableForRead 函数中)有时会为 bucket.objects.filter 返回的键返回 404 错误!!!我的意思是 bucket.objects 返回一个不可读取的密钥!!!
【问题讨论】:
-
当您说“将一堆文件写入 s3 存储桶中的临时/临时文件夹”时,您是否确保以前没有使用过“临时/临时文件夹”名称?跨度>
-
@user212514 代码中终于有块在复制操作完成后进行清理并删除 temp/transient 文件夹。
-
临时/临时文件夹名称是否可能被重用?
-
是的!但我总是确保在写入新文件之前不存在临时/临时文件夹。