【问题标题】:Whats the best way to get all objects from a S3 bucket从 S3 存储桶中获取所有对象的最佳方法是什么
【发布时间】:2021-01-14 04:04:53
【问题描述】:

为了以编程方式从我的 S3 存储桶中取出所有对象,我目前首先使用 ListObjectsV2Request。然后我遍历所有收到的键并使用GetObjectRequest 获取每个键的各个对象。

我遇到了性能问题,导致我的对象在前端显示的速度不够快。

有没有其他更好的方法从 S3 存储桶中获取所有对象,可能只需要一个请求?

【问题讨论】:

  • 很遗憾没有,更糟糕的是,如果您有很多需要分页的对象。
  • 请在此处添加一些细节: 1. 你的程序的输出应该是什么(你发送到前端的东西)? 2. 你所说的性能问题是什么——内存高或者只是处理速度慢或其他什么?
  • @scholl123 请编辑您的问题以添加更多详细信息。 “获取所有对象”是什么意思-您是指下载,还是只想在前端“列出”它们?桶中有多少个对象? (请使用这些详细信息编辑您的问题,而不是在评论中回答)。

标签: java amazon-web-services amazon-s3 aws-lambda


【解决方案1】:

【讨论】:

  • 但这意味着我必须将文件放在某个地方,对吗?我只想处理程序中的内容,类似于 S3AsyncClient.GetObject 我可以使用 AsyncResponseTransformer.toBytes
【解决方案2】:

如果您的任务是将所有文件从一个存储桶复制到另一个存储桶,我建议您尝试https://rclone.org/

【讨论】:

  • 感谢您的回答,但我的任务是从 S3 存储桶中读取所有对象并在我的前端使用数据,所以不,我不想将文件存储在其他地方,我只是想要使用数据。
猜你喜欢
  • 1970-01-01
  • 2019-11-21
  • 1970-01-01
  • 2011-03-20
  • 1970-01-01
  • 2011-03-23
  • 2011-01-24
  • 2013-04-07
  • 2021-06-02
相关资源
最近更新 更多