将 s3 上的 svs 文件直接下载到 AWS Lambda 中的 RAM 或无需本地下载即可打开

Question

我想使用 AWS Lambda (Python) 进行图像 (svs) 预处理（创建图块等）。不幸的是，图像大约 1 GB，不适合 /tmp (512MB)。因此，我希望通过以下方式将图像直接加载到 RAM 中：

s3_response_object = s3_client.get_object(Bucket=bucket, Key=key)
object_content = s3_response_object['Body'].read()
inmemoryfile = io.BytesIO(object_content)
Image.open(inmemoryfile)

或者直接下载图片到ramfs或者类似的东西：

from memory_tempfile import MemoryTempfile 
import memory_tempfile

在 svs 文件中也只需要 10 个级别中的 1 个。因此，如果有一种方法只能从 s3 存储桶中读取文件中的特定信息，那就太好了。

谢谢

Answer 1

我推荐 s3fs https://github.com/dask/s3fs

import s3fs
fs = s3fs.S3FileSystem()

# You don't need "s3://" in your path if you don't want it
with fs.open('s3://file/path') as fh:
    do_stuff(fh)