【问题标题】:How to check if local file is same as S3 object without downloading it with boto3?如何在不使用boto3下载的情况下检查本地文件是否与S3对象相同?
【发布时间】:2017-11-15 20:33:26
【问题描述】:

如何在不下载的情况下检查本地文件是否与存储在S3中的文件相同?以避免一次又一次地下载大文件。 S3 对象具有电子标签,但如果文件是分段上传的,则它们很难计算,并且来自 question 的解决方案似乎不起作用。有没有一些更简单的方法可以避免不必要的下载?

【问题讨论】:

  • 为什么不直接比较上次修改时间?

标签: python amazon-web-services amazon-s3 boto3


【解决方案1】:

如果它们不同,我会比较最后修改时间并下载。此外,您还可以在下载前比较大小。给定一个bucket、key 和一个本地文件fname:

import boto3
import os.path

def isModified(bucket, key, fname):
  s3 = boto3.resource('s3')
  obj = s3.Object(bucket, key)
  return int(obj.last_modified.strftime('%s')) != int(os.path.getmtime(fname))

【讨论】:

  • 同意。文件名 + 大小 + 修改时间通常就足够了。如果您需要 100% 确定事情没有改变,请使用 ETag。
  • 有什么方法可以在保留修改日期的同时从 S3 下载文件?否则,使用它永远不会起作用,因为每次下载文件时,本地副本的创建和修改日期都会比远程副本更新。 (至少在 MacOS 中)
  • 作为记录,我意识到我可以更改下载对象的修改日期并将其设置为远程对应对象,因此此解决方案将像魅力一样发挥作用。
  • 如何“更改下载对象的修改日期”?
【解决方案2】:

您可以使用小型本地数据库吗?文本文件?

  • 下载一个 S3 对象一次。不是它的 ETag。
  • 计算您想要的任何签名。
  • 将(ETag,签名)对放入“数据库”。

下次,在继续下载之前,请在“数据库”中查找 ETag。如果存在,请计算现有文件的签名,并与对应于 ETag 的签名进行比较。如果它们匹配,则远程文件与您拥有的相同。

同一文件可能会以不同的分块方式重新上传,从而更改 ETag。除非这很可能,否则您可以忽略误报并在这种极少数情况下重新下载文件。

【讨论】:

  • “数据库”很可能是一个 S3 对象标签。这样您就不需要额外的资源,并且如果对象路径/键发生变化,您也不必重新计算签名。
  • 我想它会起作用,或者我可以计算签名并将其作为元数据附加到 S3 对象。似乎这是非常标准的操作,应该有一些方法可以在不编写自己的解决方案的情况下做到这一点。另外我想知道aws s3 sync 控制台命令是如何工作的。
  • 您也可以使用What is the algorithm to compute the Amazon-S3 Etag for a file larger than 5GB?自己计算Etag,但将其存储在数据库中可以避免重复计算。
【解决方案3】:

如果您不需要即时库存,您可以生成s3 storage inventory,然后将它们导入您的数据库以备将来使用。

计算本地文件 Etag,如 here for normal file and huge multipart file 所示。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2010-12-05
    • 2013-04-12
    • 1970-01-01
    • 2017-02-01
    • 2010-12-16
    • 1970-01-01
    • 1970-01-01
    • 2010-09-21
    相关资源
    最近更新 更多