【问题标题】:AWS S3 API - search by meta dataAWS S3 API - 按元数据搜索
【发布时间】:2016-02-26 04:18:43
【问题描述】:

我使用 AWS s3 每小时存储几千个文件,它就像一个魅力。我很想知道我是否可以根据时间或日期或我对这些对象拥有的任何元数据来过滤它们。我能够运行一个节点进程来获取对象列表并玩弄日期和时间,而不是元数据。有没有其他方法或更好的选择?。

【问题讨论】:

  • 您使用的是什么 AWS 开发工具包?
  • 它不是重复的,因为我正在寻找使用 SDK 的选项。不是通过对象名称进行简单查找,而是根据对象获取一些统计信息。

标签: amazon-web-services amazon-s3


【解决方案1】:

不,您不能使用 S3 API 过滤元数据。

要执行您的要求,您需要列出存储桶上的对象 (GET Bucket) 以获取所有密钥,然后单独询问每个密钥的元数据 (HEAD Object)。然后在自己的代码中,就可以过滤掉不匹配的对象了。

显然,如果您有超过几千个对象,实时运行会非常慢。您需要根据前缀过滤到可管理的数字,或者自己保留索引(也许是弹性搜索?)。在对象键中编码一些元数据是很常见的,以便您可以按前缀进行过滤。

【讨论】:

  • 谢谢,我可以尝试为对象添加前缀。
  • 这个答案自 2015 年以来有变化吗?我现在正在调查这个。
  • 我也在研究基于元数据值的生命周期规则,并想知道这是否已经改变。
  • 2019年,s3selectAWS AthenaAWS Glue可能值得关注。
猜你喜欢
  • 2020-09-14
  • 2013-04-11
  • 2017-05-25
  • 1970-01-01
  • 2011-03-23
  • 2021-06-03
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多